Multivariate Testing: Das komplexe Verfahren zur Optimierung der Conversion-Rate
Die Optimierung der Conversion-Rate ist das Ziel eines jeden Entwicklers bzw. Betreibers eines Webprojekts. Erstklassige Inhalte und Produkte sowie ein steigender Traffic sind in der Regel zwar erfolgversprechende Elemente für aufstrebende Shops und Unternehmen, allerdings auch nahezu wirkungslos, wenn die gewünschten Resultate wie ein Kaufabschluss, ein Button-Klick oder das Ausfüllen eines Formulars nicht erzielt werden. Während die Besucherzahlen durch ganz verschiedene Maßnahmen (Social-Media-Marketing, SEO, SEA, Link-Building etc.) beeinflusst werden können, ist die Zahl der Conversions vor allem an zwei Faktoren gebunden: Das Vertrauen der Nutzer in den Shop bzw. die Website und die Nutzerfreundlichkeit des Webprojekts, die auch als Usability bezeichnet wird.
Um Letztgenannte konsequent zu verbessern, findet Multivariate Testing unter Entwicklern und Marketern immer größeren Anklang. Mit dem modernen Testverfahren, das noch komplexer als das ebenfalls oft ausgeführte A/B-Testing ist, sollen die Schwächen der überprüften Elemente ausfindig gemacht und behoben werden, um Usern den Zugang zu den Inhalten zu erleichtern. Fühlen die Besucher sich wohl, verbringen sie mehr Zeit im Shop bzw. auf der Website und führen häufiger die erwünschte Aktion (Conversion) aus.
Multivariate Testing: Definition
Im Onlinemarketing beschreibt Multivariate Testing ein Testverfahren zur Verbesserung der Nutzerfreundlichkeit von Webprojekten, bei dem mehrere Elemente verändert und den Nutzern in verschiedenen Versionen präsentiert werden. Das Ziel ist es, diejenige Kombination herauszufiltern, die den größten Erfolg verspricht. Zu diesem Zweck muss für jedes einzelne Testelement zunächst eine Hypothese aufgestellt werden, die am Ende durch die Testergebnisse bestätigt bzw. widerlegt wird. Im Prinzip handelt es sich bei multivariaten Tests um mehrere gleichzeitig ausgeführte A/B-Tests, bei denen eine Alternativ-Version des Webprojekts mit nur einer einzigen Variable getestet wird. Außer im Onlinebereich kommen multivariate Testverfahren u. a. in der Konsum- und Marktforschung oder bei der Qualitätskontrolle und -sicherung in der Industrie zur Anwendung.
So funktioniert das variantenreiche Analyseverfahren
Die Vorgehensweise beim Multivariate Testing wird durch folgendes Beispiel verdeutlicht: Die Webseite eines bestimmten Produkts soll optimiert werden. Die Beschreibung und das verwendete Bild wurden als die entscheidenden Testkriterien ausgewählt. Das Analyseverfahren soll Aufschluss darüber geben, ob und inwiefern die beiden verschiedenen Produktbeschreibungen A und B sowie die unterschiedlichen Produktbilder 1 und 2 die Conversion-Rate beeinflussen. Zu diesem Zweck werden die Bilder und Beschreibungen miteinander kombiniert, sodass sich die folgenden Kombinationen ergeben:
- Beschreibung A, Bild 1
- Beschreibung A, Bild 2
- Beschreibung B, Bild 1
- Beschreibung B, Bild 2
In diesem einfachen Beispiel gibt es also maximal vier verschiedene Kombinationsmöglichkeiten – mit jeder weiteren Variable stiege logischerweise auch die Anzahl an möglichen Kombinationen. Die vier unterschiedlichen Versionen werden nun den potenziellen Kunden präsentiert, die die entsprechende Produktseite im Shop aufrufen. Dabei wird der gesamte Traffic gleichmäßig auf alle vier Varianten aufgeteilt. Die erzielten Conversions, in diesem Fall also die getätigten Kaufabschlüsse, werden während des Überprüfungszeitraums mithilfe eines Analyse-Tools wie Maxymiser oder Webtrends Optimize aufgezeichnet, sodass nach Abschluss des Multivariate Testings eine Conversion-Rate für alle vier Varianten errechnet werden kann. Je höher der Traffic und je länger der Beobachtungszeitraum, desto aussagekräftiger sind auch die Ergebnisse.
Vor- und Nachteile von Multivariate Testing
Da Multivariate-Tests – wie A/B-Tests – erst ausgeführt werden, wenn die Website, die App oder der Shop bereits online ist, haben sie gegenüber Usability-Tests, die in der Entwicklungsphase des Projekts stattfinden, den Vorteil einer viel größeren Anzahl an Testnutzern. Daher spricht man auch von quantitativen Erhebungsmethoden. Obwohl die Durchführung multivariater Tests äußerst komplex erscheint, ist sie dank der verschiedenen Tools relativ einfach. So sind die verschiedenen Testseiten schnell konfiguriert und per JavaScript-Code-Snippet im Webprojekt implementiert. Die Ergebnisse werden in Echtzeit in übersichtlichen Tabellen visualisiert, sodass sich problemlos feststellen lässt, welche Kombinationen den größten Erfolg versprechen.
Anders als A/B-Testing ist Multivariate Testing nicht auf zwei Vergleichsversionen beschränkt, sondern prinzipiell ohne Limitierung. Das erleichtert die Überprüfung mehrerer verschiedener Elemente ungemein und gewährt dem geschulten Beobachter darüber hinaus übergreifende Erkenntnisse über das Zusammenspiel der verschiedenen Komponenten. Denn die Zahlen der Multivariate-Tests verraten nicht nur, welche Zusammenstellungen sich in einem einzelnen Fall negativ bzw. positiv auf die Conversion-Rate auswirken; sie vermitteln daneben auch ein konkretes, statistisch belegtes Bild darüber, welche Komponenten auf welche Art und Weise zum allgemeinen Erfolg eines Webprojekts beitragen. Das beim Multivariate Testing gewonnene Wissen kann somit auch eine große Rolle bei der Entwicklung zukünftiger Projekte spielen.
Damit die Resultate eines Multivariate-Tests allerdings die gewünschte Aussagekraft besitzen, ist ein durchgängig hoher Traffic unabdingbar – allein schon deshalb, weil dieser auf mindestens vier und oftmals noch mehr Testexemplare verteilt wird. Ein weiteres Problem des Testverfahrens äußert sich immer dann, wenn eine oder mehrere der getesteten Variablen keinerlei Einfluss auf das Conversion-Ziel besitzen – insbesondere wenn es um die Interpretation der Ergebnisse geht. Hier kann Multivariate Testing sich schnell als falsche Wahl herausstellen, die den Evaluationsprozess im Gegensatz zu einem einfachen A/B-Test unnötig verkompliziert.
Wie Sie das geeignete Testverfahren finden
Mit welcher Methode Sie die Usability Ihres Webprojekts am besten testen können, hängt von verschiedenen Faktoren ab, wobei die Höhe des Traffics sicherlich die größte Rolles spielt. Stehen Sie mit Ihrem Webauftritt am Anfang und blicken nur auf eine sehr eingeschränkte Anzahl an Besuchern, werden Sie mit Multivariate Testing auch in einem längeren Beobachtungszeitraum keine verlässlichen Statistiken erhalten, die Aufschluss über den Erfolg der einzelnen Varianten geben. In einem solchen Fall empfiehlt es sich, die Funktionalität einzelner Variablen in aufeinanderfolgenden A/B-Tests zu validieren. Weist Ihre Webpräsenz andererseits einen hohen Traffic auf, sind Multivariate-Tests wesentlich zeitsparender und mit weniger Aufwand verbunden.
Eine Voraussetzung für beide Methoden ist, dass Sie klare Hypothesen und Ergebnisgrößen für die getesteten Elemente formulieren können. Andernfalls werden Sie die Ergebnisse der Tests nur schwer interpretieren können. Im Gegensatz zur Usability-Untersuchung während des Entwicklungsprozesses müssen Sie bei einem solchen Live-Test auch damit rechnen, dass sich die Conversion-Rate vorübergehend verschlechtert. Wenn es also einzig um das Ausprobieren neuer Ideen bzw. Varianten geht, sind multivariate Tests weder effizient noch zielführend und das A/B-Testing häufig zu eingeschränkt. Hier stellen Vorabuntersuchungen in kleinerem Rahmen und mit klar formulierten Fragestellungen eine wesentlich effektivere und zudem risikofreie Lösung dar.
Wenn Ihr Webprojekt genügend Traffic aufweist und Sie sich fürs Multivariate Testing entscheiden, sollten Sie dies nicht als Freibrief verstehen und unnötig viele Variablen einbauen bzw. Versionen kreieren. Für ein optimales Ergebnis ist es empfehlenswert, möglichst strategisch vorzugehen und nur die wichtigsten Kontrahenten gegeneinander antreten zu lassen, indem Sie eine Vorauswahl treffen. Um auf Nummer sicher zu gehen, können Sie das Testergebnis mit einem anschließenden A/B-Test sogar noch einmal zusätzlich überprüfen. Behalten Sie allerdings bei jeglicher Testmethode im Hinterkopf, dass keinerlei Garantie für die statistisch ermittelte Steigerung der Conversion-Rate besteht, sondern dieser Wert lediglich eine Tendenz besschreibt.
Multivariate Testing Tools im Überblick
Nicht jedes Tool, mit dem man einem A/B-Test durchführen kann, eignet sich auch für das Multivariate Testing. Nachfolgend hat man eine kurze Übersicht über bekannte Tools, die sowohl A/B-Testing als auch multivariates Testing unterstützen.
| Anbieter | Technologie | Multiple Ziele | Traffic-Segmentierung |
| AB Tasty | Client-Side | ✓ | ✓ |
| Adobe Target | Server-Side | ✓ | ✓ |
| Convert | Client-Side | ✓ | ✓ |
| Kameleoon | Client-Side | ✓ | ✓ |
| Optimizely | Client-Side | ✓ | ✓ |
| Visual Website Optimizer | Client-Side | ✓ | ✓ |