SES San Jose – Landing Page testing & tuning

Mijn eerste sessie van de dag is “Landing page testing and tuning” met Tim Ash (Site Tuners), auteur van het boek Landing Page Optimization. Tim schiet meteen los en laat een aantal voorbeelden zien van landing pages voor en na optimalisatie. De verschillen zijn heel subtiel, het is erg moeilijk om in een oogopslag precies te zien wat er veranderd is. Toch noemt hij conversie verbeteringen van 30-50%. De moraal van het verhaal is dat zelfs kleine verschillen in de layout van de pagina enorme verbeteringen in de clickthrough kunnen verzorgen. Het enige dat telt is dat er voldoende data is om mee te werken: hij noemt een minimaal niveau van 10 conversies per dag.

Het moge duidelijk zijn: dit wordt een sessie over multivariate testing. Tim kijkt hierbij echter alleen naar de conversie. Hij zegt dat als je conversie niet goed is, “… then you’re aiming a firehose at a keyhole. You need to open the door”. Als voorbeeld krijgen we een eenvoudig conversie-formulier voorgeschoteld, met een koptekst (“Register now”) en rechts ernaast een blok met klantlogo’s (6 logo’s in totaal). Vervolgens wordt met multivariate testing de koptekst en het aantal logo’s gevarieerd:

In de tabel staan de verschillende mogelijke combinaties en het effect op de conversie. De beste combinatie gebruikt de nieuwe koptekst en het oude aanntal logo’s. Tim hamert er bij het publiek in dat een veel voorkomende rekenmethode, “Fractional Factorial” deze combinatie over het hoofd ziet. Fractional Factorial controleert alleen mogelijkheden op de diagonaal om rekentijd te besparen. Die methode had hier de optimale oplossing dus gemist.

Grappig detail: terwijl ik deze tekst aan het tikken ben in de perskamer komt ineens Frans Keylard (Widemile) binnen lopen. Hij is een van de sprekers van de Landing Page Utopia – Expert Roundtable sessie waar ik niet naartoe ben gegaan. We hebben een leuke discussie over de Fractional Factorial methode (hij spreekt Nederlands!). Frans is het niet eens met het bij voorbaat afwijzen van Fractional Factorial. Zijn bedrijf gebruikt (als ik het goed begrijp) een systeem van wegingsfactoren waarmee ongecorreleerde combinaties uit de test-set worden verwijderd (of minder prominent meedoen). Door alleen te kijken naar zinvolle combinaties kan Widemile de resultaten van een Full Factorial test combineren met de rekentijd van Fractional Factorial.

Het klinkt geweldig en het is volgens mij ook goed te doen. Denk maar eens aan een heading boven en een button ver onder de fold. Het is onwaarschijnlijk dat een bezoeker beïnvloedt zal worden door een combinatie van die twee omdat ze nooit tegelijk in beeld komen. Ik blader nog even door de whitepapers die ik van Frans gekregen heb maar ik zie helaas nergens een (technische) uitleg hoe ze het precies doen.

Ik snap het standpunt van Tim Ash ook wel. Hij zegt: je weet nooit van te voren welke correlaties van belang zijn dus je moet altijd alle combinaties testen. Als het optimum op een plaats zit die je van tevoren niet had verwacht is de kans groot dat je er overheen kijkt. Helaas neemt het aantal mogelijke combinaties zo snel toe dat Full Factorial voor grote tests niet te doen is. Je krijgt dan zo weinig views op je combinaties dat de onnauwkeurigheid in de resultaten onbruikbaar hoog is.

Terug naar de sessie. Tim eindigt met een lijst van “7 pitfalls of landing page design”. Hier is de hele lijst:

• Hou het simpel voor de bezoeker. Geen ‘schreeuwend’ design, zo min mogelijk keuzes en duidelijke content

• Frustreer de gebuiker niet. Hij noemt als voorbeeld een local search die steeds nul resultaten oplevert, of een complexe navigatiestructuur met veel doodlopende paden. Ook een mooi voorbeeld: het feit dat je alleen met sommige creditcards kunt afrekenen pas vermelden halverwege de checkout, in plaats van aan het begin.

• Gebruik “risk reducers” en zet ze prominent in beeld. Risk reduces zijn geruststellende boodschappen voor de bezoeker, zoals bijvoorbeeld een TRUSTe logo of een lijst van gerenommeerde klanten. Hij laat een voorbeeld zien waarbij de logos onder de fold zitten, en een ander voorbeeld van een site met een logo linksboven waar normaal het bedrijfslogo zit. Tim noemt een gebrek aan risk reducers “Lack of social proof”: de bezoeker kan niet zien of de site betrouwbaar is.

• Een slecht transactioneel ontwerp. We zien sites met popups tijdens een checkout (“bent u ook geïnteresseerd in…”) en een orderpagina die halverwege vraagt: “bent u een nieuwe of een bestaand klant?” – en bij het beantwoorden floepen er ineens nieuwe invoervelden in beeld.

• Probeer je bezoekers zo min mogelijk te verassen of te verwarren. Dus geen dynamische invulformulieren, en geen onderbrekingen tijdens de checkout.

• Hou de baseline in de gaten, oftewel de performance van je ongewijzigde site. Hier moet je de performance van je muiltivariate-aangepaste site mee vergelijken om te kunnen zien of je in relatieve zin beter scoort of niet.

• Hou de foutmarge in de gaten. Lijkt me logisch, een verbetering die binnen de foutmarge valt zegt niet zoveel.

Er zitten veel inkoppers tussen, maar ik moet bekennen dat ik zelf ook altijd de partnerlogos in een “Over ons” pagina stop. Het zou niet zo snel in mij opkomen om ze als risk reducers naast het conversieformulier te plaatsen. Dat geeft wel aan dat multivariate testing tot leuke nieuwe inzichten kan leiden die misschien logisch lijken maar die je niet zo snel van te voren zou hebben bedacht.