Ohne Zweifel ist es bereits eine große Herausforderung, geeignete KPIs zu finden, treffende Hypothesen zu formulieren und den A/B-Test letztendlich zu organisieren und durchzuführen. Die wirkliche Herausforderung erwartet Sie allerdings erst ganz zum Schluss, wenn es darum geht, die gesammelten Werte zu analysieren und deren Nutzen für den Erfolg Ihres Webprojektes herauszuarbeiten. Dass dabei selbst Profis Fehlentscheidungen treffen können, steht außer Frage. Anfängerfehler wie solche, die in den folgenden Abschnitten beleuchtet werden, sollten Sie hingegen unbedingt vermeiden.
Fehler 6: Sich lediglich auf die Ergebnisse des Testing-Tools verlassen
Ihr verwendetes Testing-Tool unterstützt Sie nicht einfach nur dabei, den Test zu initiieren und alle gesammelten Daten visuell darzustellen, sondern liefert auch gleich komplette Angaben darüber, ob die jeweilige Variante eine Verbesserung bedeuten und inwiefern ein Umstieg Ihre Conversion-Rate beeinflussen würde. Außerdem wird auch gleich eine Variante zum absoluten Gewinner erklärt. Einen KPI wie den absoluten Umsatz oder Retouren können diese Tools dabei nicht messen, weshalb Sie unbedingt auch den entsprechenden externen Datenbestand miteinbeziehen müssen. Insbesondere, wenn die Ergebnisse nicht den Erwartungen entsprechen, lohnt sich auch ein Blick auf die separaten Ergebnisse Ihres Webanalyse-Programms, das in der Regel einen wesentlich detaillierteren Überblick über das Verhalten der User bietet.
Die gezielte Inspektion der einzelnen Daten ist auch der einzige Weg, um Ausreißer festzustellen und eventuell aus dem Gesamtergebnis herauszufiltern. Warum dies ein ganz entscheidendes Kriterium zur Vermeidung einer falschen Annahme sein kann, verdeutlicht das folgende Beispiel: Variante A wird vom Tool zur optimalen Version erklärt und auch ein Blick auf den erzielten Umsatz zeigt, dass mit Variante A das beste Ergebnis erzielt wurde. Bei der genaueren Untersuchung fällt allerdings auf, dass dieser Umstand insbesondere auf den Einkauf eines einzelnen Users – eines B2B-Kunden – zurückzuführen ist. Rechnet man diesen einen Einkauf aus der Statistik heraus, weist plötzlich Variante B das bessere Umsatz-Ergebnis auf.
Das gleiche Beispiel ließe sich auch auf den Warenkorb, die Bestellrate oder verschiedene andere KPIs anwenden. In jedem dieser Fälle werden Sie feststellen, dass Extremwerte den Mittelwert stark beeinflussen und so schnell falsche Schlussfolgerungen entstehen können.