Onlangs publiceerde eBay de resultaten van een onderzoek naar paid search effectiveness. De belangrijkste conclusie van dat onderzoek was dat de effectiviteit van het adverteren in zoekmachines eigenlijk heel erg tegenviel. Deze conclusie maakte veel reacties los en werd vooral ook door veel mensen in de wind geslagen.
Toen ik er achter kwam dat eBay deze conclusie baseerde op een wetenschappelijk ingestoken onderzoek, was mijn interesse als academicus gewekt om hier wat dieper in te duiken. Gezien de grote hoeveelheid niet wetenschappelijk verantwoorde onderzoeken die in dit vakgebied gepubliceerd wordt, wilde ik wel eens weten hoe dit onderzoek dan in elkaar stak. Hoe hebben ze dit eigenlijk goed kunnen onderzoeken? Wat waren de daadwerkelijke resultaten? En wat kunnen we hier uiteindelijk van leren? In dit artikel zullen niet alle resultaten tot in detail besproken worden, maar wordt vooral geprobeerd een beeld te scheppen van de belangrijkste bevindingen. Voor alle resultaten en cijfers verwijs ik je graag door naar het daadwerkelijke onderzoek.
Online adverteren is de laatste jaren het snelst groeiende advertentiekanaal, waarbij het meeste geld besteed wordt aan advertenties in zoekmachines. In dit onderzoek worden resultaten gepresenteerd uit een serie veldexperimenten op grote schaal uitgevoerd bij eBay, met als doel de causale effectiviteit van betaalde advertenties in zoekmachines te bepalen.
De resultaten laten zien dat advertenties op merkgerelateerde zoektermen geen korte-termijnvoordelen hebben en dat alle andere zoekwoorden slechts een fractie opleveren van conventionele schattingen. Uit het onderzoek blijkt verder dat nieuwe en onregelmatige gebruikers positief beïnvloed worden door de advertenties, maar dat bestaande loyale gebruikers van wie het aankoopgedrag niet beïnvloed wordt door deze advertenties verantwoordelijk zijn voor het grootste deel van de advertentiekosten, met als resultaat dat gemiddeld de opbrengsten van deze advertenties negatief uitvallen. In het onderzoek worden verder nog alternatieve kanalen en de implicaties voor advertentiekeuzes voor grote merken.
eBay geeft aan dat inzicht krijgen in de effectiviteit van advertenties altijd moeilijk wordt gevonden.
“I know half the money I spend on advertising is wasted, but I can never find out which half.”
Traditionele kanalen hebben per definitie eigenlijk weinig mogelijkheden om direct inzicht te krijgen in de effectiviteit van advertenties. Online marketing biedt meer mogelijkheden, aan de ene kant door specifiekere targetingmogelijkheden en aan de andere kant door uitgebreidere meetmogelijkheden. Omdat kosten en opbrengsten direct inzichtelijk zijn, zou dit de adverteerder de mogelijkheden moeten geven om de ROI van advertenties te bepalen. Toch lijken problemen als endogeniteit een serieuze uitdaging te vormen om de causale relatie tussen uitgaven en opbrengsten echt goed te kunnen bepalen.
Het grote probleem hierbij volgens eBay is dat degene die goed reageren op advertenties in zoekmachines vaak al bestaande loyale gebruikers zijn. Hierdoor lijken deze advertenties goed te werken, terwijl deze gebruikers zonder deze advertenties waarschijnlijk de website ook wel op een andere manier gevonden hadden. Met dit onderzoek wil eBay onderzoeken of dit probleem daadwerkelijk zorgt voor een vertekend beeld.
eBay is begonnen met een onderzoek naar brand keywords, zoektermen waar de bedrijfsnaam in voorkomt. In het geval van eBay dus alle zoektermen waar “ebay” in voorkomt. De verwachting van eBay was dat gebruikers die zoeken naar eBay zonder advertenties ook wel bij eBay uit zouden komen en de advertenties daardoor dus geen additionele bezoekers en verkopen zouden generen.
In het onderzoek pauzeerde eBay alle advertenties op brand keywords binnen de zoekmachines van Yahoo! en Microsoft en lieten ze deze advertenties ter controle binnen Google doorlopen. Het resultaat was dat de daling in bezoekers via de advertenties vrijwel geheel gecompenseerd werd door de stijging in bezoekers via organische resultaten. Het aantal bezoeken daalde slechts met 0,53% door het uitzetten van de advertenties.
Een paar maanden later werd dit experiment nog eens herhaald waarbij de advertenties binnen Google werden uit gezet. Hierbij ging 3,21% van de bezoeken verloren. Volgens eBay levert dit een sterk bewijs dat organisch zoekverkeer vrijwel een perfecte vervanging is van betaald zoekverkeer op brand keywords.
Het tweede deel van het onderzoek richt zich op non-brand terms, zoektermen waar de bedrijfsnaam niet in voorkomt. In het geval van eBay zijn dit veelal zoekopdrachten van gebruikers gericht op informatie over producten of diensten die ze verder willen bekijken of zelfs kopen. Wanneer hier advertenties vertoond worden aan gebruikers die niet weten dat deze producten worden aangeboden door de adverteerder (in dit geval eBay) dan kunnen hiermee additionele verkopen gegenereerd worden die zonder de advertenties niet tot stand waren gekomen. Maar deze advertenties zullen ook gebruikers bereiken die eBay al wel kennen. Hierdoor bestaat de kans dat deze gebruikers op de advertentie klikken terwijl ze uiteindelijk toch wel bij eBay terecht waren gekomen.
Om te onderzoeken wat de waarde van advertenties voor deze zoektermen is, heeft eBay een test ingericht waarbij een deel van de gebruikers wel advertenties ziet bij deze zoekopdrachten en een controlegroep geen advertenties ziet. Deze scheiding is gemaakt op basis van regiotargeting, waarbij verschillende regio’s binnen de VS willekeurig werden ingedeeld in één van de twee groepen. Hierna is er gekeken naar het effect van het deactiveren van de advertenties op de totale omzet binnen deze regio´s. Hieruit komt naar voren dat in de regio’s waar wel advertenties draaiden de inkomsten geen statistisch siginificant verschil vertoonden in vergelijking met de regio’s waar geen advertenties draaiden.
Door de dataset verder te analyseren is er nog gekeken voor welke groepen gebruikers advertenties in zoekmachines wel impact hebben. Hieruit kwam naar voren dat bij gebruikers die in de afgelopen periode weinig bij eBay gekocht hebben en waarbij de aankoop lang geleden is, de impact van de advertenties groter is op het aantal verkopen. Oftwel: SEA heeft de meeste toegevoegde waarde op de minst actieve klanten van eBay. En: grote bedrijven als eBay, met een sterk merk, profiteren maar in kleine mate van SEA omdat de meeste gebruikers eBay al kennen en weten wat ze te bieden hebben. Het nadeel is echter dat het grootste deel van de advertenties juist die terugkerende bezoekers bereikt.
Omdat bij het uitzetten van betaalde advertenties in zoekmachines er een “deur” naar de website gesloten wordt en er toch evenveel verkocht wordt, heeft eBay gekeken via welk kanaal deze verkopen dan 
Om inzichtelijk te maken wat de daadwerkelijke impact is van de resultaten van dit onderzoek heeft eBay de implied return on investment van SEA berekend. Dit hebben ze simpelweg gedaan door de verandering van de uitgaven aan SEA als ze de advertenties terug zouden brengen naar 0 te vergelijken met de verwachte totale verandering aan inkomsten (op basis van de eerder geconstateerde effecten). Hiermee kunnen ze dus benaderen wat de toegevoegde waarde van de uitgaven aan SEA in het afgelopen jaar zou hebben gehad op het bedrijfsresultaat. Ze benoemen hierbij wel dat deze berekening alleen gaat over de kortetermijnresultaten. De beste berekening volgens het onderzoek komt uit op een ROI van -75% op de uitgaven aan SEA.
Een opvallend resultaat dus: de effectiviteit van SEA voor een bekend merk als eBay is op zijn hoogst beperkt te noemen. Een resultaat dat totaal niet in lijn ligt met wat veel adverteerders ervaren en wat bijvoorbeeld Google wil uitdragen.
Gelukkig valt er dan ook nog genoeg over te discussiëren. Dit resultaat zal bijvoorbeeld alleen representatief zijn voor vergelijkbare grote merken. Denk aan merken waarbij mensen in de oriëntatie voor een bepaald product of dienst ergens tijdens de oriëntatie zelf wel bij het merk uitkomen. Voorbeelden hiervan in Nederland zouden bijvoorbeeld kunnen zijn:
Maar fundamenteler is er nog veel meer kritiek op het onderzoek. De belangrijkste daarvan: eBay zou simpelweg slechte SEA-campagnes hebben, waardoor de effectiviteit van de campagnes erg laag is. Maar eigenlijk wil ik hier een beetje van deze discussie wegblijven en vooral kijken wat je hiervan wél kunt leren. Of in ieder geval waar je over na moet denken, wat mij betreft.
eBay heeft namelijk wel een punt dat veel adverteerders zich met SEA richten op de zoekwoorden die de beste ROI hebben. Maar het risico daarbij is dat je je met je advertenties gaat richten op de gebruikers die toch wel bij je zouden gaan kopen. Door de herkenning van je merk haal je die makkelijker binnen met je advertenties en die gebruikers converteren ook nog eens lekker goed. Bovendien is het systeem van Google AdWords er op gericht om dit soort advertenties hoger te vertonen in de lijst met advertenties. De bijbehorende hoge kwaliteitscores en daarmee lagere CPC’s zorgen er ook nog eens voor dat je als adverteerder sneller geneigd bent deze advertenties te blijven inzetten omdat de directe ROI eerder hoger wordt dan lager.
Het probleem is echter dat je op dat moment niet bezig bent om je producten en diensten onder de aandacht te brengen bij de doelgroep die je merk nog niet kent, of nog niet weet dat je de betreffende producten aanbiedt. Je bent ook niet geneigd om dit te doen, omdat bij deze groep de kans dat ze op je advertenties klikken kleiner is, je kwaliteitscores daardoor lager zijn, je CPC’s daardoor hoger worden en je directe ROI uiteindelijk lager wordt (lijkt).
Maar de vraag is: draagt deze laatste categorie uiteindelijk niet veel meer bij aan de totale inkomsten omdat je een doelgroep bereikt die anders niet zou kopen? Terwijl de eerste groep uiteindelijk misschien heel weinig bijdraagt aan de totale inkomsten, omdat die doelgroep zeer waarschijnlijk toch al bij je kocht. Aan de andere kant kan je je afvragen of de hoge kosten die je hebt om de tweede groep te overtuigen bij je te kopen wel genoeg opbrengt, terwijl de minimale extra inkomsten van de eerste groep misschien genoeg zijn om de lage kosten van die advertenties te dekken.
Hoe dan ook een zeer interessant onderzoek van eBay met een gedurfde conclusie. Mijn doel van dit artikel is niet geweest het onderzoek te bevestigen dat wel te ontkrachten, maar te laten zien hoe het tot stand is gekomen en te laten zien dat cijfers altijd op meerdere manieren te interpreteren zijn. En dat het daardoor gevaarlijk kan zijn om je te veel te laten leiden door cijfers als ROI, zonder te beseffen wat ze daadwerkelijk betekenen en vooral wat ze niet betekenen. Iets waarover ik al eerder het artikel Meetbaarheid en ROI: de grote valkuilen van online marketing schreef.
Ik ben heel benieuwd naar de reacties van verschillende mensen in verschillende rollen die met SEA te maken hebben. Is dit allemaal onzin? Twijfel je zelf ook wel eens over adverteren op je eigen merknaam? Kan je niet geloven dat SEA daadwerkelijk zoveel effectief is? Of ben je allang gestopt met SEA omdat je het gevoel hebt dat je betaalt voor bezoekers die je anders ook wel krijgt? Laat het weten! Credits afbeelding: brainc (CC)
BRAND MANAGEMENT
