Amazon A/B Tests: Mit Amazon Experimenten die Conversion Rate maximieren

1. Was sind A/B Tests?
2. Wer kann auf Amazon A/B-Tests durchführen?
3. Wie führe ich A/B Tests in Vendor Central und Seller Central durch?
4. Die Ergebnisse des A/B-Tests
   1. Die Wahrscheinlichkeit, dass eine Version effektiver ist als die andere
   2. Detaillierte Kennzahlen der Versionen im Vergleich
   3. Graphik zu verkauften Einheiten, dem Gesamtverkauf und der Konversionsrate
   4. Zu erwartende Auswirkungen über ein Jahr
5. Tipps für Amazon A/B-Tests
6. Fazit

Mit Hilfe von A/B Tests können Amazon Seller und Vendoren derzeit zwei verschiedene Versionen eines Produkttitels, eines Hauptbilds und eines A+ Contents zeitgleich testen und untersuchen, welche Variante zu mehr Verkäufen führt. Während des Tests (auch "Experiment" genannt) werden die Kunden in zwei Gruppen eingeteilt: eine Gruppe sieht die bestehende Version und die andere Gruppe sieht die neue veränderte Variante. Nach Abschluss des Experiments zeigt Amazon, bei welcher Gruppe es zu mehr Verkäufen kam und mit welcher Wahrscheinlichkeit das Ergebnis statistisch valide ist.

Durch A/B-Experimente können Seller und Vendoren herausfinden ...

• welche A+ Inhalte geeignet sind,
• welche Produktbilder auf Kunden ansprechender wirken und
• welche Produkttitel für Kunden informativer sind.

In diesem Artikel erhalten Sie einen Überblick über Amazon A/B Tests und wir erklären Ihnen, wie Sie die Tests aufsetzen und auswerten.

Was sind A/B Tests?

A/B Tests bieten die Möglichkeit, zwei Versionen eines Produkttitels, eines Produktbildes oder des A+ Contents miteinander zu vergleichen, um festzustellen, welche Version zu mehr Verkäufen führt. Die beiden Versionen werden Version A und Version B genannt.

Sobald das Experiment gestartet wurde, sehen die Kunden zufällig ausgewählt eine der beiden Version. Das bedeutet, eine Gruppe an Amazon Kunden sieht dauerhaft Version A des Inhalts, die andere dauerhaft Version B. Außerdem sehen Amazon Kunden den gleichen Inhalt an allen möglichen Stellen. So wird z.B. ein getesteter Produkttitel in den Suchergebnissen, auf der Produktdetailseite und im Warenkorb immer gleich angezeigt.

Die Dauer der A/B-Tests beträgt zwischen 4 und 10 Wochen. Nach Ablauf des Experiments wird statistisch ermittelt, ob und wenn ja welche Version besser verkauft. Sollte die neue Version B zu einem höheren Absatz führen, können Sie diese Version übernehmen und auch künftig auf eine bessere Conversionrate hoffen.

Wer kann auf Amazon A/B-Tests durchführen?

Grundsätzlich können auf Amazon Seller und Vendoren A/B-Tests durchführen. Vor dem Experiment müssen allerdings zwei Voraussetzungen erfüllt sein:

• Sie müssen Inhaber einer Marke sein und Ihre Marke muss in der Amazon Brand Registry registriert sein.
• Die ASIN, von der Sie den Titel, die Bilder oder A+ Content testen möchten, muss in den letzten Wochen ausreichend Traffic generiert haben. Nur so können genügend Daten gesammelt werden, um eine aussagekräftige Analyse durchführen zu können. Amazon gibt nicht an, wie viele Aufrufe die ASIN erzielen muss, aber ASINs mit zu geringem Traffic können beim Erstellen eines Experiments nicht ausgewählt werden.

Wie führe ich A/B Tests in Vendor Central und Seller Central durch?

Klicken Sie in Vendor Central unter “Marketing” auf “Ihre Experimente verwalten”. In Seller Central klicken Sie unter “Marken” auf “Experimente verwalten”. In beiden Fällen gelangen Sie zu der folgenden Übersicht:

Im folgenden erhalten Sie eine Schritt-für-Schritt-Anleitung, die Ihnen erklärt, wie Sie einen A/B-Test in Amazon durchführen. Die Schritte sind für Seller und Vendoren gleich.

1. Als erstes legen Sie fest, ob Sie ein A/B-Experiment für den Produkttitel, das Hauptbild oder den A+ Content durchführen möchten:

Wir zeigen Ihnen beispielhaft, wie Sie ein A/B-Experiment für einen Produkttitel durchführen.

2. Im nächsten Schritt wählen Sie die ASIN aus, für die Sie das Experiment durchführen möchten:

In dieser Liste werden Ihnen alle Produkte angezeigt, die Sie verkaufen. In der Spalte “ASIN-Berichtigungsstatus” erkennen Sie, ob Sie mit dieser ASIN das Experiment durchführen können. Bei ASINs, die nicht genügend Traffic generiert haben, steht in der Spalte “Nicht berechtigt, wenige Aufrufe”. Diese ASINs können Sie nicht auswählen.

3. Anschließend geben Sie die wichtigsten Informationen zu Ihrem Experiment an:

• Name des Experiments: den Namen sehen nur Sie und er ist wichtig, damit Sie das Experiment identifizieren können.
• Hypothese: das Experiment soll die Antwort auf die von Ihnen formulierte Hypothese sein. Eine Hypothese könnte z.B. lauten: “Wenn die Farbe des Artikels weiter vorn steht, so dass Sie auch auf Mobilgeräten im Titel sichtbar wird, wird das zu mehr Verkäufen führen”.
• Dauer und Startdatum des Experiments: die von Amazon empfohlene Dauer beträgt 8-10 Wochen.

4. Unter den Informationen zum Experiment sehen Sie die ASIN, die Sie für das Experiment ausgewählt haben sowie den aktuellen Produkttitel (Version A):

Als Version B geben Sie den alternativen Titel an, den Sie testen möchten.

Bei Produktbildern oder A+ Content ist dieser Schritt vom Aufbau gleich. Der Unterschied besteht darin, dass Sie anstatt eines Titels ein weiteres Bild oder A+ Content hochladen. So sieht das z.B. für A+ Content aus:

Da es sich bei der ASIN um eine Variantenfamilie handelt, müssen Sie nun zusätzlich für jede untergeordnete ASIN einen alternativen Titel hochladen. Ansonsten können Sie das Experiment nicht starten. Die Ergebnisse aller Varianten werden allerdings am Ende zusammengezählt.

5. Im letzten Schritt klicken Sie auf “A/B-Test einreichen”. Innerhalb von 1-2 Wochen erhalten Sie bereits erste Ergebnisse. Warten Sie aber die 8-10 Wochen ab, bevor Sie die Ergebnisse interpretieren und Schlüsse daraus ziehen.

Die Ergebnisse des A/B-Tests

Nach Ablauf des Experiments stellt Amazon Ihnen einige Kennzahlen zur Bewertung der beiden Versionen bereit.

Die Ergebnisse des Experiments können z.B. wie folgt aussehen:

Unter dem Zeitstrahl sehen Sie die in Schritt drei angegebenen wichtigen Informationen zu Ihrem Experiment: den Namen des Experiments, die Hypothese sowie das Start- und Enddatum.

Die Wahrscheinlichkeit, dass eine Version effektiver ist als die andere

In der Auswertung zeigt Amazon die Wahrscheinlichkeit an, dass eine Testversion besser als die andere ist. In diesem Beispiel ist Version B mit einer Wahrscheinlichkeit von 74 Prozent besser als Version A. Version A ist mit einer Wahrscheinlichkeit von 26 Prozent besser Version B.

Detaillierte Kennzahlen der Versionen im Vergleich

In der Tabelle zeigt Amazon Ihnen weitere Kennzahlen an:

• Einheiten pro eindeutigem Besucher: Amazon berechnet den Wert mit der Formel: Summe bestellte Einheiten / Gesamtzahl der Besucher. Amazon betont, dass nur Besucher, die den Titel, das Bild oder den A+ Content gesehen haben, in das Experiment mit einbezogen werden. Somit werden nicht alle Besucher der Produktdetailseite gezählt.
• Konversion: Amazon berechnet den Wert mit der Formel: Anzahl der Käufer (Kunden, die mind. 1 Produkt gekauft haben) / Gesamtzahl der Besucher.
• Verkaufte Einheiten: Summe der Einheiten die von Kunden bestellt wurden.
• Aus der Suche verkaufte Einheiten: Summe der Einheiten, die von Kunden bestellt wurden, die das Produkt auf der Suchseite zum ersten Mal gesehen haben.
• Verkauf: Umsatz, der mit den verkauften Einheiten erzielt wurde.
• Verkäufe aus der Suche: Umsatz, der mit den verkauften Einheiten erzielt wurde, wenn Kunden das Produkt zum ersten Mal auf der Suchseite gesehen haben.
• Stichprobenumfang: Anzahl der eindeutigen Besucher, die den Produkttitel gesehen haben.

Beim genaueren Hinsehen kommen allerdings Fragen auf. In unserem Beispiel sind die “Einheiten pro eindeutigem Besucher” bei beiden Versionen nahezu unverändert. 2.207 Amazon Besucher haben den Titel von Version A gesehen. Dabei wurden 6 Einheiten verkauft. Daraus ergibt sich die Kennzahl “Einheiten pro eindeutigem Besucher”: 6 / 2.207 = 0,003. In Version B wurden 0,001 Einheiten mehr verkauft. Das hört sich erstmal nach wenig an, macht aber einen Unterschied von 33,33 Prozent.

Außerdem ist die Conversion-Rate leider nicht nachvollziehbar. Amazon gibt an, dass Sie die Conversion Rate mit der Formel “Anzahl der Käufer / Gesamtzahl der Besucher” berechnen. Diese Kennzahlen gibt Amazon in der Tabelle aber nicht bekannt.

Graphik zu verkauften Einheiten, dem Gesamtverkauf und der Konversionsrate

Unter der Tabelle der Kennzahlen finden Sie ein Säulendiagramm für Verkaufte Einheiten, den Gesamtverkauf und die Konversionrate:

Wenn Sie sich die verkauften Einheiten anzeigen lassen, zeigt Ihnen das Diagramm, wie viele Produkte mit dem Produkttitel in Version A und B während des Experiments verkauft wurden. In unserem Beispiel sehen Sie, dass in der ersten Woche des Experiments eine Person, der Produkttitel A angezeigt wurde, das Produkt gekauft hat.

Hier sehen wir auch, dass in allen Wochen, außer der dritten Woche, von Version A und B gleich viele Einheiten verkauft wurden. Nur in Woche drei wurde keine Einheit von Version A verkauft. Das sollten Sie bei der Gesamtinterpretation der Ergebnisse berücksichtigen.

Zu erwartende Auswirkungen über ein Jahr

In einem weiteren Bereich zeigt Amazon Ihnen eine Schätzung des möglichen positiven Verkaufseffekts für das nächste Jahr an, der durch die Veröffentlichung der Inhaltsversion mit den besseren Ergebnissen erreicht werden kann.

Wenn mit einer hohen Wahrscheinlichkeit eine bessere Version bestimmt werden kann, sind die meisten erwarteten Auswirkungen positiv. Wenn nur mit einer geringen Wahrscheinlichkeit eine bessere Version werden kann, können die Auswirkungen auch negativ sein, wie in unserem Beispiel. Das begründet Amazon damit, dass die Version, die zwar im Test schlechter abgeschnitten hat, im Laufe der Zeit trotzdem besser abschneiden könnte.

Amazon berechnet die Werte mit der Formel: durchschnittliche Umsatzsteigerung pro Tag (die durch den besseren Inhalt erzielt wird) * 365 Tage. Das bedeutet für den wahrscheinlichsten Fall, dass Amazon davon ausgeht, dass Sie mit der besseren Version pro Tag ca 0,30 Euro (1.228 / 365) mehr Umsatz generieren.

Tipps für Amazon A/B-Tests

Damit die Testergebnisse möglichst aussagekräftig sind, haben wir Ihnen die wichtigsten Tipps zusammengefasst:

• Planen Sie für den Test genügend Zeit ein: Die Testdauer sollte zwischen 8-10 Wochen betragen, damit die Ergebnisse des Experiments aufschlussreich sind. Damit werden Unterschiede beim Nutzerverhalten je nach Woche und Wochentag ausgeglichen. Vor allem bei teuren Produkten dauert es länger, bis Kunden sich für einen Kauf entscheiden. Um die Conversion Rate zu messen ist deswegen ein langer Zeitraum des Experiments entscheidend. Verzichten Sie außerdem darauf, die Ergebnisse zu überprüfen, bevor der Test abgeschlossen ist. Vorläufige Ergebnisse sind möglicherweise nicht repräsentativ.
• Berücksichtigen Sie Werbeaktionen während eines Tests: Werbeaktionen können die Ergebnisse des Tests verfälschen, vor allem die zu erwartenden Auswirkungen über ein Jahr. Somit ist es besser, solche Nebeneffekte zu vermeiden.
• Warten Sie darauf, dass eine Version zu einer Wahrscheinlichkeit von über 90 Prozent besser ist: Bevor nicht mind. zu einer Wahrscheinlichkeit von 90 Prozent feststeht, dass eine Version besser ist als die andere, sollten Sie keine Entscheidung treffen. In unserem Beispiel liegt die Wahrscheinlichkeit, dass Version B besser ist als Version A, bei 74 Prozent. Die Unterschiede können auf dem Zufall beruhen.
• Führen Sie mehrere Tests durch: Sie können das Produktbild, den Produkttitel sowie den A+ Content kontinuierlich verbessern. Testen Sie eine Änderung nach der anderen, um Ihre Produktdetailseite Schritt-für-Schritt zu optimieren.

Fazit

Mit Hilfe von A/B-Experimenten können Vendoren und Seller verlässlich ermitteln, ob Listing-Änderungen zu einer höheren Conversion-Rate führen. Sie können Tests durchführen, um Erkenntnisse zu sammeln, wie Kunden auf eine Version des A+ Contents, des Titels oder des Hauptbildes reagieren.

Allerdings sollten Sie A/B-Tests mit Vorsicht auswerten. Die Ergebnisse sind nur dann statistisch relevant, wenn Sie in den Tests eine hohe Anzahl von Verkäufen über beide Varianten hinweg generieren können. Bei kleinen Fallzahlen ist Wahrscheinlichkeit vergleichsweise hoch, dass das Ergebnis nur zufällig entstanden ist.

Bevor Sie eine Änderung des Contents vornehmen, sollten Sie einen A/B Test durchführen, um zu überprüfen, ob die Änderung zu den gewünschten Ergebnissen führt. Wie Sie die Elemente Ihres Contents optimieren, können Sie in unseren Artikeln Amazon A+ Content, Optimierung des Amazon Produkttitels und Optimierung der Amazon Produktbilder nachlesen.