Bol.com
MarktMentor schat verkoopcijfers op bol met een eigen algoritme in plaats van de winkelwagenmethode. Dat model combineert databronnen als de Retailer, Open en Advertising API met machine learning en regressiemodellen. Voor 80% van de producten ligt de schatting binnen een foutmarge van 25% van de werkelijke verkoop.
MarktMentor is gestopt met de winkelwagenmethode omdat die structurele beperkingen heeft in nauwkeurigheid, niet schaalbaar is voor het volgen van miljoenen producten, en omdat intensief gebruik ervan botst met het beleid van bol. In plaats daarvan gebruiken we een zelf ontwikkeld systeem op basis van algoritmische schattingen.
MarktMentor begon oorspronkelijk, net zoals veel andere trackingtools, met het schatten van verkoopcijfers via de welbekende winkelwagenmethode. Deze methode houdt in dat je op een bepaald moment bij een product kijkt wat de voorraadstand is, en op een later tijdstip de voorraad opnieuw meet. Door naar de verschillen te kijken, kun je een schatting maken van hoeveel stuks er van een product tussen de twee meetmomenten verkocht zijn.
De winkelwagenmethode kent echter een aantal beperkingen die het moeilijk maken om altijd accurate schattingen te maken:
Hoewel sommige van deze problemen kunnen worden geminimaliseerd door frequenter te meten, brengt dit weer andere uitdagingen met zich mee op het gebied van schaalbaarheid. We zijn later dieper ingegaan op de technische grenzen van de winkelwagenmethode in waarom de winkelwagenmethode op bol niet meer werkt.
De winkelwagenmethode is niet schaalbaar omdat je voor honderdduizenden of miljoenen producten meerdere keren per dag de voorraad zou moeten meten, terwijl bol limieten stelt aan het ophalen van voorraadgegevens.
Als je dagelijks honderdduizenden of zelfs miljoenen producten wilt volgen, wordt het uitdagend om meerdere keren per dag de voorraden te meten. Dit hangt samen met de omvang van de data, de complexiteit van de systemen en vooral de limieten die bol stelt aan het ophalen van voorraadgegevens van hun website. In feite belanden we in een soort kat-en-muisspel wanneer we proberen om op grote schaal en frequent de voorraadniveaus van producten op bol te meten. Dit komt door de beperkingen die bol oplegt aan het scrapen van hun website.
Scrapen is een proces waarbij geautomatiseerde programma's webpagina's 'lezen' en waardevolle informatie, zoals voorraadniveaus van producten, extraheren. Om hun website te beschermen tegen overbelasting of misbruik, heeft bol maatregelen ingevoerd om excessief of intensief scrapen tegen te gaan. Als we dagelijks miljoenen producten willen volgen, vereist dit frequent scrapen, wat kan leiden tot extra aandacht van bol. Dit resulteert in een complex spel waarin we proberen onder de radar te blijven, terwijl we nog steeds de benodigde informatie verzamelen. Dit kan deels bereikt worden door technieken zoals IP-rotatie of 'rate limiting' toe te passen, maar deze oplossingen zijn verre van perfect.
Daarom, ondanks dat het technisch mogelijk is om de voorraden van miljoenen producten meerdere keren per dag te meten, maken de beperkingen van bol en het resulterende kat-en-muisspel dit in de praktijk zeer uitdagend. Dit betekent dat we mogelijk de frequentie van onze voorraadmetingen moeten verminderen om te voorkomen dat we door bol geblokkeerd worden. Dit heeft onvermijdelijk gevolgen voor de schaalbaarheid en frequentie van onze voorraadmetingen. Kortom: de winkelwagenmethode wordt onpraktisch wanneer je de verkoop van miljoenen producten wilt volgen. Om deze en andere redenen hebben we besloten om niet langer de winkelwagenmethode te gebruiken, maar over te stappen op een door onszelf ontwikkeld systeem dat gebaseerd is op algoritmische schattingen.
Daarnaast hecht MarktMentor veel waarde aan een goede verstandhouding met bol. Bol tolereert het scrapen van hun website tot op zekere hoogte, maar het intensieve gebruik van de winkelwagenmethode, zeker op grote schaal, wordt niet gewaardeerd. Dit kan de prestaties van hun website negatief beïnvloeden en de ervaring van andere gebruikers hinderen. Wij respecteren dit standpunt en volgen hun beleid en wensen hierin. Doordat wij ons aan deze regels houden, hebben wij ook Gold Partner van bol kunnen worden.
Deze uitdagingen rond schaalbaarheid en het respecteren van de wensen van bol, gecombineerd met de beperkingen van de winkelwagenmethode, hebben ons doen besluiten om over te stappen op een algoritmische aanpak voor het schatten van verkoopcijfers. Dit stelt ons in staat om op grote schaal schattingen te maken die we nooit zouden kunnen bereiken met de winkelwagenmethode. Hoe die schaal zich verhoudt tot losse producttrackers, hebben we naast elkaar gezet in MarktMentor vs product trackers.
Het algoritme van MarktMentor is gebouwd op grote hoeveelheden data uit meerdere bronnen en schat daarmee de historische afzet van producten via machine learning en regressiemodellen.
Om die data te verzamelen, hebben wij databronnen nodig. De databronnen die wij gebruiken zijn onder andere de Retailer API, Open API en Advertising API van bol. De informatie uit deze bronnen combineren wij met web scraping om aanvullende informatie te verkrijgen.
Nadat de data is verzameld, starten we met de grondige verwerking ervan. Dit betekent allereerst dat wij de data moeten "cleanen", waarbij we mogelijke fouten of inconsistenties verwijderen. Vervolgens bereiden wij de data voor zodat die in onze algoritmes gebruikt kan worden.
Onze volgende stap is de analyse van de gegevens met behulp van geavanceerde technieken zoals machine learning en regressiemodellen. Hiervoor gebruiken wij onder meer de volgende variabelen:
Op basis van onder andere deze databronnen wordt vervolgens een schatting gemaakt van de historische afzet. Hierbij gebruiken we machine-learningtechnieken die vallen onder de categorie "supervised learning": we trainen ons model op een dataset met echte afzetdata, met als doel parameters te krijgen die kunnen schatten hoe veranderingen in de variabelen zich vertalen naar een afzetschatting. In het algemeen betekent dit dat naarmate het model meer data ziet, de afzetschattingen verbeteren. Wij testen de nauwkeurigheid van ons model dan ook op bestaande data.
Om de nauwkeurigheid van ons systeem te bepalen en op basis daarvan te verbeteren, kijken wij zowel naar de productpopulatie als geheel als naar geconditioneerde subpopulaties (bepaald op basis van de gemiddelde historische afzet van producten). De nauwkeurigheid op basis van de gehele productpopulatie gebruiken we om de algemene parameters te optimaliseren, terwijl de nauwkeurigheid van de geconditioneerde subpopulaties gebruikt wordt om de nauwkeurigheid in specifieke situaties te verbeteren. Voor de geconditioneerde subpopulaties kijken wij naar de verschillende ordergroottes van producten (op basis van de gerealiseerde gemiddelde historische afzet) en optimaliseren we de parameters aan de hand van iedere subpopulatie.
Voor 80% van de producten ligt de schatting binnen een foutmarge van 25% van de werkelijke verkoop. Geen enkel schattingsmodel is perfect, dus het is belangrijk om te begrijpen wat die nauwkeurigheid betekent.
Hoewel ons systeem een aanzienlijke verbetering is ten opzichte van de winkelwagenmethode, blijft het een schatting. Voor 80% van onze producten hebben we een maximale foutmarge van 25%. Dit betekent dat voor 80% van de producten onze schatting van de verkoop binnen een bereik van 25% van de werkelijke verkoop ligt. We illustreren dit het beste aan de hand van een voorbeeld.
Stel je voor dat je een e-commerce winkel runt die verschillende soorten producten verkoopt, zoals kleding, elektronica en boeken. Je moet regelmatig schatten hoeveel van elk product je in de toekomst gaat verkopen om je voorraad effectief te beheren.
Die schattingen zijn niet altijd perfect. Soms schat je dat je 100 paar schoenen gaat verkopen, maar uiteindelijk verkoop je er 80. Er is dan een verschil tussen je schatting en de daadwerkelijke verkoop, ook wel een foutmarge genoemd. In dit geval is de foutmarge 20 paar schoenen, of uitgedrukt in procenten 20% (omdat 20 van de 100 geschatte paar schoenen niet zijn verkocht).
Je doet dit voor elk product dat je verkoopt, waardoor je uiteindelijk een hele lijst met foutmarges voor al je producten krijgt. Wanneer je die foutmarges van laag naar hoog sorteert, blijkt dat bij 80% van je producten de foutmarge 25% of minder is. Voor die 80% van je producten lag je schatting van de verkoop dus binnen een bereik van 25% van de werkelijke verkoop.
Als je bijvoorbeeld 100 verschillende producten op je website verkoopt, lag je schatting voor 80 van die producten binnen 25% van de daadwerkelijke verkoop. Bij de overige 20 producten was het verschil tussen je schatting en de daadwerkelijke verkoop groter dan 25%. Dit laat zien dat het schattingssysteem vrij nauwkeurig is voor het merendeel van de producten die je verkoopt.
Gebruik de afzetdata van MarktMentor als indicatie van de vraag naar een product, niet als een exact verkoopcijfer. Bekijk de data over langere periodes en vergelijk meerdere soortgelijke producten voor een algemener beeld.
De afzetdata die wij in onze productonderzoek-features tonen zijn schattingen. De algoritmes zijn zo ingericht en geoptimaliseerd dat ze een goede indruk geven van de ordergrootte van een product. Je kunt de data dus gebruiken om een goede indicatie te krijgen van hoeveel vraag er is naar producten op bol.
Voor 80% van onze producten is de foutmarge beperkt tot 25%. Dat wil zeggen: meestal komen we vrij dicht bij de daadwerkelijke verkoopcijfers. Let wel op: het kan voorkomen dat we voor een specifiek product op een bepaald moment meer dan 25% afwijken van de werkelijkheid.
Om de meest waardevolle inzichten te verkrijgen, adviseren we je om de data op verschillende manieren te onderzoeken:
Houd er rekening mee dat we de verkoopgegevens dagelijks bijwerken. De informatie in de Product Database verandert dus voortdurend, en ook in de Chrome-extensie worden de gegevens elke dag bijgewerkt. Focus daarom niet alleen op maandcijfers, die binnen een paar dagen aanzienlijk kunnen veranderen. Kijk ook naar data over langere perioden, zoals de afgelopen drie maanden of het afgelopen jaar. Hoe je historische data meeweegt in je productkeuzes, werken we verder uit in historische data en productkeuze op bol.
MarktMentor is overgestapt van de traditionele winkelwagenmethode naar een algoritmische aanpak met geavanceerde technieken zoals machine learning en regressiemodellen. Er zit een zekere foutmarge in de schattingen, maar het nieuwe systeem is significant beter dan de voorgaande methode. We blijven onze methodes verfijnen om waardevolle en nauwkeurige inzichten te bieden voor productonderzoek op bol. Waar je op let bij het kiezen van een product research tool, hebben we samengevat in een product research tool kiezen voor bol.
