A/B-Tests auswerten: Wann ist ein Ergebnis belastbar?
Variante B hat mehr Conversions als A. Aber ist der Unterschied echt oder Zufall? Hier steht, wie Sie das prüfen und welche Fehler Tests entwerten.
Die Grundidee
Bei einem A/B-Test sehen zufällig ausgewählte Gruppen zwei Varianten, zum Beispiel zwei Anzeigen oder zwei Landingpages. Sie vergleichen eine Kennzahl, meist die Conversion-Rate. Weil jede Gruppe nur eine Stichprobe ist, schwanken die Werte auch dann, wenn beide Varianten gleich gut sind. Die Auswertung klärt, ob der Abstand größer ist als diese Schwankung.
Ein Rechenbeispiel
Variante A: 10.000 Besucher, 500 Conversions, also 5,0 %. Variante B: 10.000 Besucher, 580 Conversions, also 5,8 %. Der Unterschied beträgt 0,8 Prozentpunkte.
Der z-Test ergibt einen Wert von etwa 2,50 und einen p-Wert von etwa 0,012. Bei einem Niveau von 95 % ist der Unterschied damit signifikant. Das Konfidenzintervall für die Differenz reicht von etwa 0,17 bis 1,43 Prozentpunkten. Der wahre Unterschied kann also deutlich kleiner oder größer sein als die gemessenen 0,8.
Was der p-Wert aussagt
Der p-Wert beantwortet diese Frage: Wenn es in Wahrheit keinen Unterschied gäbe, wie oft würde man dann einen mindestens so großen Abstand sehen? Im Beispiel wäre das in etwa einem von 80 Tests der Fall. Das ist selten genug, um den Zufall als Erklärung unwahrscheinlich zu machen.
Was Signifikanz nicht heißt
- Sie sagt nicht, dass der Unterschied groß ist. Mit sehr vielen Besuchern wird auch ein winziger Unterschied signifikant.
- Sie sagt nicht, dass er sich wirtschaftlich lohnt. Das beurteilen Sie anhand der Spanne und Ihrer Kosten.
- Sie ist kein Beweis. Bei 95 % Sicherheit ist in etwa einem von 20 Tests ohne echten Unterschied trotzdem ein Ausschlag zu erwarten.
Die Testgröße vorher festlegen
Legen Sie vor dem Start fest, wie viele Besucher Sie brauchen. Das hängt von der bisherigen Rate und dem kleinsten Effekt ab, den Sie erkennen wollen. Beispiel: Bei einer Rate von 3 % und dem Ziel, eine relative Verbesserung von 10 % (auf 3,3 %) zu erkennen, brauchen Sie bei 95 % Sicherheit und 80 % Trennschärfe etwa 53.000 Besucher je Variante. Für kleine Effekte braucht es sehr viele Besucher.
Planen Sie volle Wochen ein, damit alle Wochentage gleich oft vorkommen.
Typische Fehler
- Zwischendurch nachsehen und beim ersten signifikanten Wert stoppen. Das erzeugt viele Scheinerfolge.
- Viele Varianten oder Kennzahlen gleichzeitig prüfen. Bei 20 unabhängigen Vergleichen mit 5 % Fehlerrisiko ist im Schnitt einer rein zufällig auffällig.
- Die Aufteilung nicht prüfen. Wenn bei geplanten 50 zu 50 plötzlich 52 zu 48 herauskommt, obwohl es Zehntausende Besucher sind, stimmt technisch etwas nicht (Sample Ratio Mismatch).
- Den Test in eine Sonderaktion legen, etwa Feiertag oder Rabattwoche, und das Ergebnis auf den Normalbetrieb übertragen.
- Nachträglich so lange Teilgruppen auswerten, bis irgendwo ein Unterschied erscheint.
Wenn die Zahlen klein sind
Bei sehr wenigen Conversions ist die übliche Näherung ungenau. Sammeln Sie mehr Daten, bevor Sie entscheiden. Als Faustregel sollten in jeder Variante mindestens zehn Conversions und zehn Nicht-Conversions vorliegen. Besser sind deutlich mehr.
Direkt ausprobieren
Der A/B-Test-Signifikanzrechner wertet Ihren Test aus, prüft die Aufteilung und plant die nötige Testgröße. Einzelne Kennzahlen erklärt der Reporting-Erklärer.
Häufige Fragen
Was ist besser: 90, 95 oder 99 %?
Die Wahl hängt vom Risiko ab. 95 % ist üblich. Wenn eine Fehlentscheidung teuer ist, nehmen Sie 99 %, brauchen dann aber mehr Besucher.
Wie lange soll ein Test laufen?
Bis die geplante Stichprobe erreicht ist, mindestens aber eine volle Woche. Die Testplanung im Rechner nennt die Dauer bei Ihrem Verkehr.
Kann ich auch drei Varianten testen?
Ja, aber die Auswertung wird komplexer, und das Risiko für Scheinerfolge steigt. Bleiben Sie zunächst bei zwei Varianten.
Weiterlesen
Fragen oder Wünsche?
Brauchen Sie eine Auswertung oder ein Tool, das genau zu Ihrem Alltag passt? Schreiben Sie mir.