Kein A/B-Testing sollte ohne eine ausführliche strategische Planungsphase starten. Dabei halten sich viele Marketer an ein striktes Grundprinzip:
1. Probleme identifizieren
Eine Optimierung kann man nur planen, wenn es etwas zu verbessern gibt. Der erste Schritt ist deshalb immer die Identifikation eines Problems. Das kann z. B. eine zu geringe Klickrate eines Buttons sein. Mit der Problemerkennung erfolgt meist auch die Zielsetzung. In diesem Fall: mehr Klicks auf den CTA-Button.
2. Recherche und Ideensammlung
Bevor man gezielt Hypothesen formuliert, sollte man sich Hintergrundwissen aneignen und entsprechend recherchieren. Zu behaupten, ein blauer Button würde besser funktionieren als ein roter, ist leicht – doch hat diese These ohne einen empirischen Beweis weder Hand noch Fuß. Beschäftigt man sich im Vorhinein z. B. mit Studien, die den Einfluss der Farbauswahl auf das Nutzerverhalten untersuchen, ist man oft schlauer. Außerdem bekommt man möglicherweise gute Anregungen, welche Elemente sich wie verändern lassen.
3. Definition von Hypothesen
Aufgrund der Rechercheergebnisse formuliert man nun seine These. Diese könnte sein: Ein gelber CTA-Button wird zu einer höheren Klickrate führen. Oder man hat die Positionierung eines Menüpunktes verändert und die Hypothese besagt, dass dieser in der neuen Version leichter zu finden sein wird als in der alten.
4. Testphase
Man erstellt nun zwei Varianten der zu testeten Seite, also z. B. Variante A mit einem blauen CTA-Button und Variante B mit dem neuen, gelben CTA-Button. Im Rahmen des Split-Tests laufen die beiden Versionen nun gegeneinander im Test. Das kann zeitlich getrennt oder durch verschiedene URLs erfolgen. Mit einer A/B-Testing-Software ist es möglich, die Nutzer per Zufallsprinzip zu einer der beiden Versionen weiterzuleiten.
5. Analyse und Report
Hat der Test über einen bestimmten Zeitraum eine genügend große Stichprobe von Nutzern erreicht, kann die Auswertung erfolgen. Stellt sich hierbei heraus, dass die Klickrate sich mit dem gelben CTA-Button erheblich verbessert hat, wird diese Version zum neuen „Original“.
Diese Abfolge kann man beliebig oft wiederholen: Im nächsten Schritt könnte man nun testen, ob die Position des CTA-Buttons auf der Seite einen zusätzlichen Einfluss auf die Klickrate hat. Im Grunde kann man jedes noch so kleine Element testen – bei der Definition der Hypothese legt jeder Anwender selbst fest, was getestet werden soll.