UX-Glossar
A/B-Test
Ein A/B-Test ist ein Experiment, bei dem zwei Varianten einer Seite oder eines Elements gleichzeitig an zufällig aufgeteilte Besuchende ausgespielt werden. So entscheidest du anhand echter Daten, welche Variante besser funktioniert.
Stell dir vor, ein Onlineshop für Gartenbedarf überlegt, ob der Button im Warenkorb besser „Zur Kasse“ oder „Jetzt sicher bezahlen“ heißen sollte. Im Team gibt es zu beiden Varianten starke Meinungen, aber keine Daten. Statt weiter zu diskutieren, lässt das Team die Besuchenden entscheiden: mit einem A/B-Test.
Einfach erklärt
Bei einem A/B-Test zeigst du zwei Versionen derselben Seite gleichzeitig verschiedenen Menschen. Die bisherige Version heißt Kontrollvariante (A), die veränderte Version ist die Testvariante (B). Wer die Seite aufruft, landet per Zufall in einer der beiden Gruppen und sieht nur diese eine Version. Am Ende vergleichst du eine vorher festgelegte Kennzahl, zum Beispiel die Kaufabschlüsse.
Das Prinzip kennst du vielleicht aus der Medizin: Eine Gruppe bekommt das neue Medikament, eine andere nicht, und die Zuteilung erfolgt zufällig. Genau diese Zufälligkeit macht den Vergleich fair, denn beide Gruppen sind im Schnitt gleich zusammengesetzt. Im Fachjargon heißen A/B-Tests deshalb auch kontrollierte Online-Experimente oder Split-Tests.
Worauf es ankommt
Ein A/B-Test braucht eine klare Hypothese, also eine überprüfbare Annahme: „Wenn der Button Sicherheit betont, schließen mehr Menschen den Kauf ab.“ Idealerweise änderst du dabei nur ein Element. Änderst du mehrere Dinge gleichzeitig, weißt du hinterher nicht, was den Unterschied gemacht hat.
Außerdem brauchst du genug Traffic. Ob ein Unterschied echt ist oder nur Zufall, prüfst du mit der statistischen Signifikanz. Sie gibt an, wie unwahrscheinlich ein solcher Unterschied wäre, wenn beide Varianten in Wahrheit gleich gut wären. Üblich ist ein Konfidenzniveau von 95 Prozent. Dafür sind oft Tausende Besuche nötig. Die Nielsen Norman Group empfiehlt, Tests mindestens ein bis zwei Wochen laufen zu lassen und nicht vorzeitig abzubrechen, nur weil eine Variante kurz vorne liegt.
Ein Beispiel
Zurück zum Gartenshop. Vorher: Der Button heißt „Zur Kasse“, und das Team rätselt, warum so viele Warenkörbe verwaist bleiben. Nachher: Zwei Wochen lang sieht die Hälfte der Besuchenden „Jetzt sicher bezahlen“. Die Variante B bringt spürbar mehr Abschlüsse, und der Unterschied ist signifikant. Gleichzeitig beobachtet das Team eine Kontrollkennzahl, etwa die Zahl der Retouren, um sicherzugehen, dass der Erfolg nicht an anderer Stelle Schaden anrichtet. Mehr über Kaufentscheidungen erfährst du im Artikel Warum konvertieren Besucher zu Käufern?.
Häufige Missverständnisse
Ein A/B-Test zeigt dir, was besser funktioniert, aber nicht, warum. Warum Menschen zögern, findest du eher in einem Usability-Test heraus, bei dem du ihnen über die Schulter schaust. Und ein statistisch signifikantes Ergebnis ist nicht automatisch relevant: Ein winziger Unterschied kann messbar sein und trotzdem den Aufwand nicht lohnen.
In der Praxis
- Hypothese vor dem Start notieren. Schreib auf, was du änderst, welche Kennzahl sich bewegen soll und warum. Gute Hypothesen stammen aus Beobachtungen in der User Research.
- Nur ein Element pro Test ändern. So kannst du den Effekt eindeutig zuordnen. Für mehrere Änderungen gleichzeitig gibt es multivariate Tests, die aber noch mehr Traffic brauchen.
- Laufzeit festlegen und einhalten. Plane mindestens ein bis zwei volle Wochen ein, damit Wochentage und Wochenenden gleichermaßen enthalten sind.
Verwandte Begriffe
Usability-Test, User Research, Microcopy, Dark Patterns