Was ist A/B-Testing?

Ob bei der Gestaltung von Newslettern oder Online-Werbeanzeigen: Marketer versuchen ständig ihre Maßnahmen zu verbessern, nutzerfreundlicher zu gestalten und das Beste aus den Möglichkeiten des Onlinemarketings herauszuholen. Das Ziel: mehr Conversions und damit mehr Umsatz für das Unternehmen. Ob zur Optimierung von ganzen Websites, einzelnen Funktionen oder Landingpages: Das A/B-Testing hat sich als gute Methode bewährt, um Schritt für Schritt zur optimalen Gestaltung zu kommen.

A/B-Testing: Das Grundprinzip

Das A/B-Testing (auch „Split-Test“ genannt) ist eine Methode zum Vergleich von verschiedenen Versionen einer Website bzw. einzelner Elemente oder Funktionen. In der Regel wird die Originalversion gegen eine leicht veränderte, womöglich verbesserte Version getestet.

Dafür teilt man die Zielgruppe, also die Website-Besucher oder die Nutzer, denen eine Anzeige ausgespielt wird, in Gruppe A und Gruppe B auf. Im Folgenden werden die zwei verschiedenen Varianten des Testobjekts (Version A und Version B) der jeweiligen Gruppe gezeigt, deren Reaktionen gemessen und mit denen der anderen verglichen. Die gewünschten Reaktionen hat man vorher definiert bzw. sie ergeben sich aus dem getesteten Objekt. Bei einer Werbeanzeige könnte dies der Klick oder die Conversion sein, bei einer Landingpage ein Download oder die Anmeldung zum Newsletter.

Wofür wird A/B-Testing eingesetzt?

Das Website-A/B-Testing wird in vielen verschiedenen Disziplinen des Onlinemarketings eingesetzt. Ob man dabei ganze Seiten, einzelne Elemente, das Wording oder nur die Farbgebung testet, bleibt einem selbst und dem jeweiligen Interesse überlassen. Im Gegensatz zum multivarianten Testing wird beim Split-Testing nur eine These, also eine Variable getestet. Mithilfe der Gegenüberstellung verschiedener Version lassen sich zum Beispiel diese Aspekte testen und optimieren:

Webdesign

überarbeitete Features und Funktionen

Landingpages

Website-Elemente wie Call-to-Action-Buttons

AdWords-Anzeigen

Newsletter

Dabei kann man beliebig viele individuelle Anwendungsszenarien durchspielen. Nur drei Beispiele:

Ein Onlinehändler registriert viele Warenkorb-Abbrüche. Er versucht einzelne Elemente im Warenkorb-Prozess deutlicher hervorzuheben und lässt die veränderte Version gegen die Originalversion testen.

Ein Webservice möchte gezielt Werbeanzeigen für eines der angebotenen Produkte schalten. Man testet dafür zwei unterschiedliche Versionen einer Anzeige, bei denen jeweils ein anderes Keyword genutzt wird.

Ein Blogger, der seine Arbeit über Werbeanzeigen finanziert (= Publisher), möchte die Besucherzahlen steigern. Er testet bei einzelnen Artikeln verschiedene Überschriften oder variiert den Einsatz von Bildern.

Website-A/B-Testing: Schritt für Schritt

Kein A/B-Testing sollte ohne eine ausführliche strategische Planungsphase starten. Dabei halten sich viele Marketer an ein striktes Grundprinzip:

1. Probleme identifizieren

Eine Optimierung kann man nur planen, wenn es etwas zu verbessern gibt. Der erste Schritt ist deshalb immer die Identifikation eines Problems. Das kann z. B. eine zu geringe Klickrate eines Buttons sein. Mit der Problemerkennung erfolgt meist auch die Zielsetzung. In diesem Fall: mehr Klicks auf den CTA-Button.

2. Recherche und Ideensammlung

Bevor man gezielt Hypothesen formuliert, sollte man sich Hintergrundwissen aneignen und entsprechend recherchieren. Zu behaupten, ein blauer Button würde besser funktionieren als ein roter, ist leicht – doch hat diese These ohne einen empirischen Beweis weder Hand noch Fuß. Beschäftigt man sich im Vorhinein z. B. mit Studien, die den Einfluss der Farbauswahl auf das Nutzerverhalten untersuchen, ist man oft schlauer. Außerdem bekommt man möglicherweise gute Anregungen, welche Elemente sich wie verändern lassen.

3. Definition von Hypothesen

Aufgrund der Rechercheergebnisse formuliert man nun seine These. Diese könnte sein: Ein gelber CTA-Button wird zu einer höheren Klickrate führen. Oder man hat die Positionierung eines Menüpunktes verändert und die Hypothese besagt, dass dieser in der neuen Version leichter zu finden sein wird als in der alten.

4. Testphase

Man erstellt nun zwei Varianten der zu testeten Seite, also z. B. Variante A mit einem blauen CTA-Button und Variante B mit dem neuen, gelben CTA-Button. Im Rahmen des Split-Tests laufen die beiden Versionen nun gegeneinander im Test. Das kann zeitlich getrennt oder durch verschiedene URLs erfolgen. Mit einer A/B-Testing-Software ist es möglich, die Nutzer per Zufallsprinzip zu einer der beiden Versionen weiterzuleiten.

5. Analyse und Report

Hat der Test über einen bestimmten Zeitraum eine genügend große Stichprobe von Nutzern erreicht, kann die Auswertung erfolgen. Stellt sich hierbei heraus, dass die Klickrate sich mit dem gelben CTA-Button erheblich verbessert hat, wird diese Version zum neuen „Original“.

Diese Abfolge kann man beliebig oft wiederholen: Im nächsten Schritt könnte man nun testen, ob die Position des CTA-Buttons auf der Seite einen zusätzlichen Einfluss auf die Klickrate hat. Im Grunde kann man jedes noch so kleine Element testen – bei der Definition der Hypothese legt jeder Anwender selbst fest, was getestet werden soll.

Vor- und Nachteile des A/B-Testings

Das A/B-Testing hat viele Vorteile für Onlinemarketer. Vor allem ermöglicht sie einen subjektiven Vergleich, der unabhängig von der eigenen Sichtweise erfolgt und die Betrachtungsweise der Zielgruppe fokussiert. Dank zahlreicher (teils auch kostenloser) Testing-Tools kann man auch ohne technische Vorkenntnisse einen Split-Test durchführen, der eindeutige Ergebnisse liefert. Diese lassen sich im Anschluss direkt umsetzen.

Auf der anderen Seite ist das Testing nur sinnvoll, wenn man einzelne Elemente miteinander vergleicht. Verändert man gleich mehrere Aspekte, ist die Auswertung nicht mehr eindeutig. Es besteht außerdem immer die Gefahr, Nutzer zu überfordern oder zu verwirren, indem man Änderungen vornimmt und wieder rückgängig macht. Es ist deshalb sinnvoll, die Tests vorrangig an Neukunden durchzuführen. Schließlich stellt sich noch die Frage nach der statistischen Signifikanz. Bei kleinen Seiten mit nur wenig Traffic ist es schwieriger und langwieriger, auf Zahlen zu kommen, die wirklich aussagekräftig sind.

Vor- und Nachteile im Überblick

Vorteile	Nachteile
• Subjektiver Vergleich	• Immer nur eine Hypothese pro Test
• Spiegelt das Interesse der Zielgruppe wider	• Verwirrung bei Nutzern möglich
• Einfache Umsetzung dank Testing-Tools	• Statistische Signifikanz für kleine Seiten schwer zu erreichen
• Eindeutige Analyse möglich
• Unmittelbare Umsetzung der Ergebnisse möglich

Testing-Tools

Auf dem Markt gibt es zahlreiche mehr oder weniger umfangreiche Testing-Tools, die Split-Tests für Websites ermöglichen. Eine kostenlose Option ist das Angebot „Content Experiments“, das man über Google Analytics nutzen kann. Der Funktionsumfang der Google-Lösung ist dabei geringer als der von Programmen wie Optimizely, das gegen eine monatliche Gebühr ein relativ einfach zu bedienendes Testing-Tool für kleine und mittelständische Unternehmen bietet.

Ein ähnliches Angebot hat das Tool Kameleoon, das als sehr intuitiv und leicht zu installieren gilt. Kameleoon bietet außerdem einen kostenlosen Freemium-Account für bis zu 2.500 Besucher pro Monat und ist somit eine gute Einsteigerlösung für kleine Websites.

Etwas hochpreisiger, dafür mit Zusatzfunktionen wie Heat- und Clickmaps, ist der Visual Website Optimizer. Für große Unternehmen, die Website-A/B-Testing nutzen wollen, gibt es umfangreichere, aber auch teurere Optionen wie HP Optimost oder SiteSpect.