Data-driven marketeers opgelet: Niet alles is verklaarbaar

Als data driven online marketeers houden wij continu onze campagnes in de gaten. Met regelmaat rapporteren we de voortgang naar onze opdrachtgevers. We proberen de resultaten van de campagnes continu te verbeteren. Daarvoor is het belangrijk om zo goed mogelijk te weten waardoor de cijfers stijgen of dalen. En hier schuilt een gevaar in: alles willen verklaren.

Regressie naar het gemiddelde

Dit gevaar wil ik uitleggen aan de hand van het statistische fenomeen regressie naar het gemiddelde. 

Dit fenomeen gaat uit van het volgende: wanneer er een imperfecte correlatie is, zullen extreme resultaten over het algemeen gevolgd worden door resultaten die dichterbij het gemiddelde liggen. 

Een imperfecte correlatie houdt in dat er een verband is, maar dat het niet 100% is. Neem nou mijn dartkunsten. Ik werp op een werkdag graag wat pijltjes om even los te komen van het computerscherm, maar ben zeker geen geweldige darter. Over het algemeen krijg ik de pijlen goed in de buurt van waar ik ze wil krijgen (dus mijn worpen zijn niet compleet willekeurig), maar het is ook zeker niet zo dat 100% van mijn worpen eindigt in het vakje waar ik op mikte.

Hoe nauwkeurig mijn worpen zijn hangt af van een aantal zaken zoals mijn vaardigheid en concentratie, maar ook van ondefinieerbare factoren zoals geluk of toeval.

Wanneer ik een een aantal uitzonderlijk goede worpen gooi, is de verwachting dat dit gevolgd wordt door resultaten die dichter bij mijn gemiddelde liggen. Dat gemiddelde kan ik wel op termijn verbeteren door veel te werpen en te werken aan mijn techniek, maar ik moet niet teveel waarde hechten aan een geweldige worp. En ik hoef niet in paniek te raken als ik een slechte dag heb.

Regressie naar het gemiddelde voor online marketeers

Voor online marketing betekent regressie naar het gemiddelde dat wanneer je eerste meting extreem is, de kans groot is dat de tweede meting dichter bij het gemiddelde is.

De grote uitzondering is hier alles wat logisch verklaarbaar is. Grote wijzigingen in de campagne of de landingspagina kunnen een groot effect hebben. Ook kunnen externe factoren (zoals een corona-lockdown, een media-schandaal, een hype of simpelweg het seizoen) een grote invloed hebben.

Maar wanneer je zowel vanuit jouw campagne als vanuit externe factoren de extreme veranderingen niet kunt verklaren, kan het goed zijn dat je te maken hebt met regressie naar het gemiddelde.

Houd er ook rekening mee dat de meeste metingen niet 100% nauwkeurig zijn. Lees ook onze blog over de nauwkeurigheid van metingen: De rapportages kloppen niet, wat nu?

Hoe voorkom je dat je in de val trapt?

Het grootste gevaar is dat je onnodige (of zelfs schadelijke) wijzigingen doorvoert of voorbarige conclusies trekt.

• Laat je niet teveel leiden door de waan van de dag. Blijf gefocust op het gemiddelde. Let minder op de uitschieters (die je niet kunt verklaren) en blijf gefocust op de rode lijn. Zolang je gemiddelde stijgt, is een slechte week geen probleem.
• Wees voorzichtig met aannames op basis van te weinig data. Het kan goed zijn dat je bij een A/B-test na een week denkt een duidelijke winnaar te hebben, terwijl de resultaten na vier weken veel dichter bij elkaar liggen.

Lees ook onze blog over conversieoptimalisatie en A/B-testen: Verbeter je website met conversieoptimalisatie

Conclusie

Dus onthoud: uitschieters naar boven en beneden horen erbij. Zolang het gemiddelde over langere tijd maar een positieve ontwikkeling doormaakt.

Disclaimer: deze blog is geen pleidooi om niks te doen. Als je huis in de brand staat, kun je de stijging van de temperatuur ook als een extreme afwijking van het gemiddelde zien. De temperatuur zal dan wel degelijk teruggaan naar het gemiddelde, maar wel pas nadat je volledige huis is afgebrand. Kijk dus altijd eerst of je de uitschieters kunt verklaren en als dat zo is (bijvoorbeeld vuur), klik dan deze blog weg en pak er een brandblusser bij! 

Nuchtere online marketeers

Ben jij benieuwd hoe wij jouw bedrijf écht verder kunnen helpen? Als nuchtere online marketeers laten we ons niet gek maken door de waan van de dag, en focussen we ons op duurzame resultaten waar je echt wat aan hebt. Ontdek wat wij voor jou kunnen betekenen en neem contact op.