A/B-Test-Signifikanzrechner KOSTENLOS
Tragen Sie Besucher und Conversions beider Varianten ein. Sie sehen, ob der Unterschied belastbar ist, wie groß er mindestens und höchstens sein dürfte und ob die Aufteilung auffällig ist. Darunter planen Sie die Testgröße.
Ergebnis auswerten
Auswertung
Zweiseitiger Test auf Unterschied zweier Anteile (z-Test). Das Ergebnis ist eine Entscheidungshilfe, kein Beweis.
Testgröße vorab planen
Wer die Größe vorab festlegt und erst dann auswertet, vermeidet die häufigste Fehlerquelle: zu früh hinschauen und beim ersten Ausschlag stoppen.
Häufige Fragen
Was bedeutet „signifikant“?
Wenn es in Wahrheit keinen Unterschied gäbe, wäre ein so großer Abstand nur selten zu erwarten, nämlich in weniger Fällen als das gewählte Niveau erlaubt. Signifikant heißt nicht, dass der Unterschied groß oder wirtschaftlich wichtig ist.
Warum soll ich nicht zwischendurch nachsehen?
Wer während des Tests immer wieder auswertet und beim ersten signifikanten Wert stoppt, erzeugt viele Scheinerfolge. Legen Sie Dauer oder Stichprobe vorher fest und werten Sie einmal am Ende aus.
Was heißt Aufteilung auffällig?
Bei geplanter Gleichverteilung sollten beide Gruppen fast gleich groß sein. Weicht die Verteilung deutlich ab, deutet das auf einen technischen Fehler hin (Sample Ratio Mismatch). Das Ergebnis ist dann nicht verlässlich.
Reicht eine Woche Testdauer?
Mindestens ein voller Wochenzyklus ist sinnvoll, weil sich Wochentage unterscheiden. Die nötige Länge hängt außerdem von der Besucherzahl ab. Dafür gibt es die Testplanung unten.
Wie rechnet das Werkzeug?
Es nutzt den z-Test für zwei Anteile mit gemeinsamer Varianz für den p-Wert und ein Konfidenzintervall für die Differenz. Bei sehr kleinen Zahlen ist die Näherung ungenau, darauf weist das Werkzeug hin.
Ein Werkzeug für Ihr Team?
Ich passe das Werkzeug an Ihre Abläufe an, zum Beispiel mit eigenen Feldern, Zielwerten und Ihrem Branding.