„Wir testen das mal” ist einer der häufigsten Sätze in Marketingrunden – und einer der folgenlosesten. Meist wird eine neue Variante eingebaut, ein paar Tage beobachtet, und wenn die Zahlen besser aussehen, bleibt sie. Fallen sie schlechter aus, war vermutlich die Saison schuld. Mit einem Experiment hat das wenig zu tun. Mit einer Entscheidungsgrundlage noch weniger.
Seriöses Testen ist unbequemer, als es klingt, weil es Sie zwingt, vorher festzulegen, was als Erfolg gilt. Dieser Beitrag beschreibt, wie ein belastbarer Test aufgebaut ist, welche Fehler die Ergebnisse regelmäßig wertlos machen und wo bei Tests an Inhalten die Grenze zu etwas verläuft, das Google ausdrücklich verbietet.
Was unterscheidet einen Test von einer Änderung?
Ein A/B-Test vergleicht mindestens zwei Varianten unter möglichst gleichen Bedingungen. Besucher werden zufällig zugewiesen, und anschließend wird eine vorher definierte Zielgröße verglichen.
Die beiden entscheidenden Wörter sind „zufällig” und „vorher”. Wer die neue Version einfach ab Montag ausspielt und mit der Vorwoche vergleicht, hat keinen Test durchgeführt, sondern zwei unterschiedliche Zeiträume verglichen. Dazwischen liegen Wetter, Feiertage, Kampagnen, Wettbewerber und Zufall.
Zu einem sauberen Aufbau gehören:
- Eine Kontrollgruppe, die die bestehende Version sieht.
- Eine Variante mit genau einer geänderten Sache.
- Eine Primärmetrik, die vorab festgelegt wurde.
- Sekundärmetriken, die Nebenwirkungen sichtbar machen – etwa Umsatz pro Besucher oder Fehlerrate.
- Eine statistische Auswertung, die einschätzt, ob der beobachtete Unterschied noch mit Zufall erklärbar ist.
Der vierte Punkt wird am häufigsten übersehen. Eine Variante, die mehr Anfragen bringt, aber schlechtere Anfragen, ist keine Verbesserung. Das merken Sie nur, wenn Sie danach schauen.
Womit testen Unternehmen, seit Google Optimize weg ist?
Google Optimize und Optimize 360 wurden zum 30. September 2023 eingestellt. Wer damals kostenlos getestet hat, braucht seitdem eine Alternative. Google selbst verwies nach der Einstellung auf Integrationen mit Anbietern wie AB Tasty, Optimizely und VWO.
Für kleinere Unternehmen lohnt die Überlegung, ob es überhaupt ein Testing-Werkzeug braucht. Bei wenigen hundert Conversions im Monat werden klassische A/B-Tests schwierig – dazu gleich mehr. In solchen Fällen bringt es oft mehr, Nutzerverhalten qualitativ zu untersuchen als statistisch, etwa über Aufzeichnungen oder Befragungen.
Wie groß muss eine Stichprobe sein?
Hier beginnt der unangenehme Teil. Eine allgemeingültige Mindestzahl gibt es nicht. Wie viele Besucher Sie brauchen, hängt mindestens ab von:
- der bisherigen Conversion-Rate,
- der Mindestwirkung, die Sie überhaupt erkennen wollen,
- dem gewählten Signifikanzniveau,
- der Teststärke,
- und der Anzahl der Varianten.
Pauschalempfehlungen wie „5.000 Besucher pro Variante” kursieren zwar, lassen sich aber nicht auf jedes Experiment übertragen. Als Orientierung, ausdrücklich mit Methodikvorbehalt: Eine Auswertung des Anbieters Convert verortet den häufigsten Bereich bei 10.000 bis 50.000 Besuchern pro Test; 37 Prozent der dort erfassten Experimente fielen in diese Spanne. Das ist eine Anbieterauswertung, kein unabhängiger Marktbenchmark.
Unbounce nennt als Praxisempfehlung mindestens 100 Conversions je Variante, besser etwa 200, bei 95 Prozent Konfidenz. Auch das ist eine Faustregel und keine statistisch universell ausreichende Stichprobe.
Rechnen Sie das vorher aus, nicht hinterher. Wenn die Rechnung ergibt, dass Sie bei Ihrem Traffic sieben Monate testen müssten, um eine Verbesserung von fünf Prozent nachzuweisen, dann ist das die eigentliche Erkenntnis – und Sie sparen sich ein Experiment, das nie ein Ergebnis liefern kann.
Welche Fehler machen Ergebnisse wertlos?
Vier Muster sehen wir immer wieder.
Das vorzeitige Abbrechen, sobald die Zahlen gut aussehen. Wer täglich nachsieht und stoppt, sobald die Variante vorn liegt, findet fast immer einen Gewinner – auch wenn keiner existiert. Legen Sie Laufzeit und Stichprobengröße vorher fest und halten Sie sich daran.
Die zu kurze Laufzeit. Eine feste Dauer von zwei oder vier Wochen lässt sich nicht allgemein begründen. Der Test muss lang genug laufen, um die nötige Stichprobe zu erreichen und typische Schwankungen abzudecken: Wochentage, laufende Kampagnen, saisonale Effekte. Ein Test, der nur von Dienstag bis Donnerstag lief, misst Dienstag bis Donnerstag.
Das gleichzeitige Ändern mehrerer Dinge. Wenn Sie Überschrift, Bild und Formular zusammen austauschen und die Variante gewinnt, wissen Sie nicht, warum. Für die nächste Entscheidung haben Sie dadurch nichts gelernt.
Und die Fehlinterpretation der Signifikanz. Die verbreitete Schwelle von 95 Prozent bedeutet nicht, dass eine Variante „zu 95 Prozent besser” ist. Sie beschreibt lediglich die gewählte Entscheidungsgrenze dafür, wie oft man bereit ist, einen Unterschied zu sehen, der keiner ist.
Der Vollständigkeit halber: Die oft zitierte Aussage, rund 80 Prozent aller A/B-Tests seien nicht signifikant, wird in Fachbeiträgen dem Anbieter CXL zugeschrieben. Eine frei zugängliche Primärstudie dazu ließ sich nicht finden. Als Stimmungsbild taugt die Zahl, als Beleg nicht.
Wo verläuft bei SEO-Tests die Grenze?
Dieser Punkt ist der riskanteste, weil er technisch harmlos aussieht. Google verbietet Cloaking, also das Ausspielen unterschiedlicher Inhalte an Googlebot und an menschliche Besucher – unabhängig davon, ob das im Rahmen eines Tests geschieht.
Praktisch heißt das: Varianten müssen für alle gleich zugänglich sein. Wer den Crawler bewusst auf der alten Version hält, während Besucher die neue sehen, testet nicht mehr, sondern verstößt gegen die Richtlinien. Für Tests an Seiteninhalten gelten außerdem die üblichen technischen Anforderungen an Crawling, Indexierung und Weiterleitungen. Bei Tests mit zwei getrennten URLs gehört ein Canonical auf das Original, und temporäre Weiterleitungen bleiben temporär – wer hier eine dauerhafte Weiterleitung setzt, verschiebt ungewollt die Signale auf die Testvariante.
Bei Tests, die sich nur auf Gestaltung und Reihenfolge beziehen, ist das unproblematisch. Sobald Sie Texte, Titel oder Seitenstrukturen testen, sollten Sie die technische Umsetzung prüfen lassen, bevor der Test startet.
Was lohnt sich, wenn der Traffic für Tests nicht reicht?
Für viele mittelständische Websites ist das der Normalfall. Drei Alternativen liefern trotzdem Erkenntnisse.
Qualitative Verfahren: Aufzeichnungen von Sitzungen, kurze Befragungen auf der Seite, Nutzertests mit fünf Personen. Sie liefern keine Signifikanz, aber sie zeigen, woran Menschen scheitern – und das ist oft offensichtlicher als jede Prozentzahl.
Vorher-Nachher-Vergleiche mit klarer Dokumentation. Methodisch schwächer, aber ehrlich, solange Sie sie nicht als Test ausgeben und den Zeitraum sauber festhalten.
Und Änderungen an Dingen, die ohnehin unstrittig sind: Ladezeit, Verständlichkeit, funktionierende Formulare. Wer ein Formular mit elf Pflichtfeldern betreibt, braucht keinen Test, um es zu kürzen. Wie Sie dabei systematisch vorgehen, beschreibt unser Beitrag zur Conversion-Rate-Optimierung im B2B.
Welche Fragen sollten Sie vor dem Start beantworten?
Eine kurze Checkliste erspart die meisten Enttäuschungen. Wenn Sie eine dieser Fragen nicht beantworten können, ist der Test noch nicht startbereit.
Welche einzelne Kennzahl entscheidet? Nicht drei, nicht „mehr Anfragen und mehr Umsatz und weniger Absprünge”, sondern eine. Alles andere sind Nebenbeobachtungen.
Welcher Unterschied wäre Ihnen eine Umsetzung wert? Wenn eine Verbesserung von zwei Prozent für Sie ohnehin keine Konsequenz hätte, brauchen Sie keinen Test, der zwei Prozent nachweisen könnte – und der wäre ohnehin der teuerste.
Wie lange läuft der Test mindestens, und wann sehen Sie zum ersten Mal hinein? Beides gehört vor dem Start schriftlich festgelegt, sonst entscheidet die Ungeduld.
Was passiert bei einem negativen Ergebnis? Diese Frage klingt akademisch, entscheidet aber über den Wert der gesamten Übung. Wenn die Variante ohnehin eingeführt wird, weil die Geschäftsführung sie gut findet, sparen Sie sich den Aufwand und stehen Sie dazu.
Was tun Sie mit dem Ergebnis?
Ein Testergebnis ist kein Urteil, sondern eine Beobachtung unter bestimmten Bedingungen. Drei Punkte helfen bei der Einordnung.
Dokumentieren Sie auch die Tests, die nichts gebracht haben. Sie sind der wertvollere Teil des Archivs, weil sie verhindern, dass dieselbe Idee in zwei Jahren erneut durchgespielt wird. In der Praxis landen fast nur die Erfolge in Präsentationen, und genau deshalb wiederholen sich die Versuche.
Übertragen Sie Ergebnisse vorsichtig. Was auf einer Produktseite wirkt, muss auf der Startseite nicht wirken. Die Besucher kommen dort mit anderer Absicht an.
Und prüfen Sie nach der Umsetzung, ob der Effekt bleibt. Viele gemessene Verbesserungen verschwinden nach einigen Wochen wieder, weil der Neuheitseffekt abklingt oder der Test eine ungewöhnliche Phase erwischt hatte.
Fazit
Ein Test ist kein Werkzeug, sondern eine Disziplin. Er verlangt, dass Sie vorher festlegen, was Sie messen, wie lange Sie messen und welches Ergebnis Sie überzeugen würde. Wer das überspringt, produziert Zahlen, die jede vorgefasste Meinung bestätigen.
Die ehrlichste Frage vor jedem Experiment lautet deshalb: Reicht mein Traffic, um den Unterschied zu erkennen, der mich interessiert? Fällt die Antwort negativ aus, ist das kein Rückschlag. Es spart Ihnen Wochen, in denen Sie einem Ergebnis hinterhergelaufen wären, das Ihre Datenlage nie hergegeben hätte. Wie Sie Ihre Messgrundlage dafür sauber aufsetzen, zeigt unser Beitrag zu GA4 in der Praxis.
