5 grobe Testing-Fehler, die viel Geld kosten können

Es war neulich, bei einem dieser 30° Sommer-Workshops mit 10 Leuten im Raum ohne Klimaanlage (ich glaube es ging um die Priorisierung von Test-Hypothesen). Ganz plötzlich passiert es. Mal wieder. 

Er: „Das müssen wir nicht testen, das ist bereits die Gewinner-Variante aus einem Test.“

Ich: „Die Probanden im Lab fanden es gar nicht gut und wollten hier aber abbrechen.“

Er: „Ja, aber wir haben es ausgetestet. Das war mit Abstand die beste Lösung.“

Ich: „OK….“

(Ich atme innerlich tief durch und überlege mir, wie ich diese Hirnverknotung wertschätzend entwirre. Weiter unten erkläre ich es.)

Diese Illustration von Matthias Henrici zeigt das Dillemma auch gut:

Testing-Fehler Visitor

Deshalb möchte ich heute noch einmal auf fünf grundlegende Denkfehler beim Testing eingehen, die mir (auch bei erfahrenen A/B-Testern) immer wieder begegnen:

Testing-Tools gibt es inzwischen wie Sand am Meer und bei fast jedem Unternehmen, das online echte Wertschöpfung betreibt, werden Sie auch benutzt. Die falsche Benutzung kann jedoch viel Optimierungspotenzial brach liegen lassen.

Der Reihe nach:

1) Testen ist nicht optimieren

Der Ablauf ist doch ganz einfach, oder? 1) Problem identifizieren 2) Optimierte Lösung ausdenken 3) Testen. Das Testen dient der Verprobung, ob man richtig lag bei 1) und 2) Dabei gilt die Regel: „Man weiss nicht, was man nicht weiß.“ Testergebnisse sind nur so gut wie die Hypothesen, die getestet werden. Und die Hypothesen sind nur so gut wie die Analyse der Seite.

Das ist der Unterschied zu „Ausprobieren“. Dabei hat man keinen Plan, was das wirklich Problem ist und probiert einfach alle möglichen Veränderungen – am besten in einem multivariaten Test – einfach aus.

Der multivariate Test wird dann zur Schrotflinte des Ahnungslosen. (Sorry)

So vermeiden Sie den Fehler: Missbrauchen Sie das Testing-Tool nicht zum Ausprobieren sondern bleiben Sie auf dem methodisch richtigen Pfad. Testen Sie ausschließlich Hypothesen, die Sie begründen können. Es gibt unzählige quantitative und qualitative Methoden um Hypothesen zu generieren – kombinieren Sie diese Methoden im Idealfall um eine höhere Stabilität der Hypothesen zu erhalten.

Weitere Informationen: Conversion Rate Optimization ist wie Fliegen (Schon 3 Jahre alt, stimmt aber immer noch)

2) Testergebnisse sind nicht die Realität

Ein Test, egal ob einfacher A/B Test oder komplexer multivariater Test – ist ein Experiment unter bestimmten Bedingungen. Es ist ein Experiment mit echten Nutzern und die Ergebnisse sind mit Sicherheit valide.

Aber: Wer jemals einzelne Kombinationen eines MVT im A/B-Test verprobt hat, wird schnell beobachten: Die Resultate der Siegervarianten im MVT entsprechen nie den Ergebnissen dieser Varianten AB gegeneinander.

Und ebenso wird das Endergebnis in der Webanalyse, wenn es denn ausgerollt ist, fast niemals exakt den gleichen Uplift zeigen. Zum einen gibt es dann zu viele andere Faktoren, die das Ergebnis beeinflussen, zum anderen ist der gemessene Uplift ein Durchschnittswert aus unzähligen Conversions, die man sich als Normalverteilung vorstellen kann.

Die gute Nachricht: Der echte Uplift kann rein theoretisch auch höher sein. Aber eben auch niedriger – wir werden es nie wirklich messen können.

Der Fehler liegt im Erwartungsmanagement – gerade bei größeren Unternehmen – die nach einem erfolgreichen Test die Resultate im Live-Betrieb reproduzieren wollen und dann meist enttäuscht sind.

So vermeiden Sie den Fehler: Interpretieren Sie Testergebnisse richtig (siehe nächster Fehler) und erklären Sie den Kollegen, Vorgesetzten und allen anderen Beteiligten, dass der im Test gemessene Wert das Resultat eines Experiments ist. Er kann als Indikator für die Wirksamkeit der getesteten Hypothese gelten – aber nicht als sichere Prophezeiung, was nach dem Ausrollen der Verbesserung passieren wird.

Weitere Informationen: “Cosmic Habituation” als Erklärung von Gabriel Beck

3) Der Uplift tritt nicht zu 96% ein

Leider bringen die Testing-Tools dem Anwender nicht das nötige Wissen in Statistik bei, um Testergebnisse richtig zu interpretieren. Einer der häufigsten Fehler ist die Fortsetzung des vorgenannten Problems. Das Testing-Tool zeigt bei der Siegervariante einen Uplift von 19% an – und das „bei einer Wahrscheinlichkeit von 96%“. Falsch. Unterschiedliche Tools zeigen dabei unterschiedliche Werte an, oft ist vom Konfidenzlevel die Rede oder von „Chance to beat Original“.

Das wichtigste Missverständnis: Die „96% CTBO“ geben die Wahrscheinlichkeit an, mit der die Siegervariante überhaupt besser performt als das Original. Der ermittelte Uplift ist meist der Durchschnitt aller Conversions der Siegervariante im Kontrast dazu. Der Wert sagt nicht, dass mit 96% Wahrscheinlichkeit, dieser Uplift erzielt werden kann. Das geht gar nicht.

So vermeiden Sie den Fehler: Ein hoher Wert bei „CTBO“ (oder wie auch immer der Wert in ihrem Tool heisst) sagt etwas über die „Robustheit“ der Ergebnisse im Experiment aus, d.h. sie sagen wie belastbar aus statistischer Sicht die Resultate und der ermittelte Durchschnitspunkt für den Uplift sind. Es ist nicht die Wahrscheinlichkeit, mit der dieser Uplift in der Realität eintritt. Erklären Sie das den anderen Beteiligten bei Tests vorab – sonst ist die Enttäuschung später groß.

Weiterführende Informationen: Wikipedia „Kofidenzintervall“ (Achtung, Theorie) oder: „Gefahren bei der Interpretation von A/B-Tests“ von David Kuruc

4) Der Sieger ist eventuell die zweitschlechteste Lösung

Testresultate geben Shop-Verantwortlichen, Designern und Online-Marketern ein omnipotentes Gefühl der Unbesiegbarkeit.

Das ist das Gute am Testen.

Der Nachteil ist das falsche Realitätsgefühl, das daraus entsteht. Ein Test sagt nur aus, wie die getesteten Varianten im Kontrast zueinander performen. Das heißt noch lange nicht, dass auch wirklich die beste Lösung gefunden wurde. (Das ist genau der Fehler, den ich im obigen Dialog beschrieben habe). Um das wahre Optimum zu finden braucht es eine ausgeklügelte Kombination aus qualitativen und quantitativen Methoden bei der Analyse, mutige und gut umgesetzte Testkonzepte, und vor allem:

Zeit, Traffic, Test, Geduld und auch Niederlagen

So vermeiden Sie den Fehler: Wiegen Sie sich nach einem ersten guten Test nicht in Sicherheit, das Optimum wirklich gefunden zu haben. Das ist sehr unwahrscheinlich. Testen Sie weiter in dem Bewusstsein, dass der Sieger eben nur die zweitschlechteste Lösung war (so lange, bis Sie auch einmal eine noch schlechtere Variante getestet haben). Wenn Sie zu wenig Traffic haben um wirklich kontinuierlich testen zu können, kombinieren Sie mehrere Methoden bei der Hypothesengenerierung um möglichst valide Hypothesen zu verproben und nicht unnötig Zeit und Traffic zu verschenken (siehe Fehler Nr. 1)

Weiterführender Artikel: Conversion-Optimierung ist von der Venus und Web-Analyse vom Mars

5) Ein Testresultat ohne Uplift ist ein Misserfolg

Jeder, der dieses „BÄM BÄM!“ Gefühl beim Betrachten eines erfolgreichen Test kennt, der kennt auch das umgekehrte Gefühl bei einem Test, bei dem die Varianten einfach nicht den gewünschten Effekt zeigen. Dieses „BLÖD BLÖD“ Gefühl liegt hirntechnisch ganz in der Nähe von Misserfolgen.

Dabei gibt es noch viele Möglichkeiten, aus dem Misserfolg noch einen Erfolg zu machen.

Denn: Der insgesamt gemessene Durchschnitts-Uplift ist nicht die ganze Wahrheit. Meist zeigen sich sehr interessante Erkenntnisse, sobald man in der Lage ist, die Testresultate nach Nutzersegmenten zu filtern und genauer zu betrachten. Bei genauerer Betrachtung wird auf einmal klar, dass die eine Variation 10% besser bei Erstbesuchern performt und die andere Variante besonder gut bei Traffic, der aus organischen Suchresultaten kommt.

So vermeiden Sie den Fehler: Zerlegen Sie Testresultate in dem Sie den Test-Traffic segmentieren. Analysieren Sie, wo / mit wem Uplifts entstehen und wo nicht. Implementieren Sie genügend Conversion-Goals um zu sehen, wo der Uplift auf der Strecke bleibt. Oft sind es Inkonsistenzen im Test, eine fehlerhafte Umsetzung oder aber auch oben beschriebene Phänomene.

Im Durchschnitt ist die Schweiz flach.

Verlassen Sie sich also nicht auf den Durchschnittbrei-Wert, den (vor allem die günstigen) Tools im Reporting ausgeben.

Weiterführende Informationen: Anleitung zur Verknüpfung von Visual Website Optimizer mit Google Analytics von Gabriel Beck

  • Send to Kindle
  • https://www.konversionskraft.de/?p=13659
André Morys André Morys ist Gründer und Vorstand der Web Arts AG und beschäftigt sich seit 1996 mit der Conversion Optimierung von Websites und Onlineshops. André Morys ist Dozent für User Experience an der TH Mittelhessen und Autor des Fachbuchs "Conversion Optimierung". Er ist häufiger Sprecher und Moderator auf Konferenzen. /// @morys auf Twitter folgen /// facebook /// Google+

25 Reaktionen auf  “5 grobe Testing-Fehler, die viel Geld kosten können”

Kommentare

  1. David Kuruc David Kuruc

    Sehr schön: Im Durchschnitt ist die Schweiz flach 🙂

    Super Artikel und danke auch für den Mention, LG David

  2. Markus Kehrer Markus Kehrer

    Toller Artikel, vielen Dank! 🙂

    Aber diese 30°C Meetings sind ja auch wirklich grenzwertig.

  3. André Morys André Morys

    @David: gerne, vielen Dank.
    @Markus: ja, das ist doch gegen die Genfer Konvention, oder?

  4. Kevin Wölfer Kevin Wölfer

    Ein hervorragender Artikel André.

  5. André Morys André Morys

    Vielen Dank!

  6. Stefan Ponitz Stefan Ponitz

    Sehr schöner Artikel! Königsklasse des Testings.

    Manchmal wäre ich froh, wenn der Shopbetreiber überhaupt ein Ohr für Testing und Shop-Controlling hätte und ich nicht erklären müsste was ein A/B test ist.

  7. Gerd Gerd

    Sehr schön beschrieben, dass so ein Test lediglich sagt, dass mit der Wahrscheinlichkeit von X die eine Variante besser war als die andere und die Vertrauenswahrscheinlichkeit sich nicht auf den Uplift-Wert bezieht.

    Man kann den Test aber auch so anlegen, dass eine Auskunft darüber möglich ist, ob Variante A um z. B. mindestens 50 % besser performt als Variante B. Das ist relativ einfach machbar, aber man muss den Test dafür eben entsprechend vorher konfigurieren.

    Nochmals vielen Dank für den Beitrag.

  8. Marcus Marcus

    Danke!!! Es geht runter wie Öl.

  9. Alexander Trust Alexander Trust

    Sie optimieren also „Onlinshops“? *G* Wie lange hat diese Webseite schon dieses Layout? Entsprechend häufig hätten Sie über den Fehler in der „Über den Autor“-Box stolpern können. Viel Spaß beim Testen, was bei Google besser ankommt. 😉

  10. André Morys André Morys

    1) Richtig
    2) 2009 (Design und Frisuren sind übrigens Geschmacksache 🙂
    3) welcher Fehler?
    4) Danke

  11. Alexander Trust Alexander Trust

    zu 3) Na ja „Onlinshops“ in der Autorenbox. Es sollte „Onlineshops“ heißen. Wenn der Fehler dort seit 2009 hockt, dann hat er sich gut versteckt. ^^

  12. Christian Rothe Christian Rothe

    Okay, ich oute mich: Von der ganzen Testerei halte ich nicht viel.

    Die Tests bringen doch keinen Fortschritt, sondern dienen nur zur Absicherung bekannter Standpunkte. Plakativ gesprochen: Während Firma M in aufwändigen A/B-Tests die Features von Windows Phone 6 gegeneinander testet, erfindet Firma A parallel zu gleicher Zeit das iPhone – und dies vermutlich ganz ohne Testing mit externen Usern.

    A/B-Testing schafft nur Frieden im Wettstreit unterschiedlicher Meinungen, aber selten Innovation. André Morys hat es in seinem Beitrag bereits angedeutet.

    Und noch schöner finde ich am A/B-Testing, dass derselbe Test bei mehrfacher Durchführung zu verschiedenen Zeitpunkten völlig konträre Ergebnisse liefern kann. Ich finde lustig, wie in Case Studies mit inbrünstiger Überzeugung mit Aussagen geworben wird wie „21,3% Uplift“. Da denke ich: „Macht den Test in drei Wochen doch noch einmal und staunt, welches Ergebnis rauskommt.“

  13. André Morys André Morys

    @Alexander, vielen Dank, Fehler ist korrigiert.

  14. André Morys André Morys

    @Christian: Das A/B Test unsinnig sind, möchte ich aber nicht sagen. Im Gegenteil. Es wird klar, dass es eben nicht die Experten-Tipps sind die am besten funktionieren. Tests kann man übrigens mit einer kleinen Kontrollgruppe immer zur Sicherheit mit laufen lassen, es wird sich zeigen, dass gute Testergebnisse sehr stabil sein können.

    Wer richtig testet, der lernt:

    a) Dass er selbst eben #NICHT# Steve Jobs ist und sich meistens irrt
    b) wie hoch der Einfluss verschiedener Faktoren ist
    c) dass es sich lohnt, kontinuierlich weiter zu optimieren

    Das hat in der Tat sehr viel mit Innovation zu tun, niemand hat behauptet, Innovation geschieht mit einem großen Knall. Das iPhone ist ein rabulistisches Beispiel, kein Vergleich zu Testing.

  15. Christian Rothe Christian Rothe

    @André Morys: Auch Steve Jobs hat zu seinen Lebzeiten ausreichend Irrtümer produziert. Außer einem Herrn in Rom ist niemand unfehlbar.

    Ich bleibe bei meiner Meinung:
    a) Testing dient mehr der Absicherung von vorhandenen Meinungen und weniger dem Finden völlig neuer Erkenntnisse. Insofern engt Testing das Blickfeld für mögliche neue, innovative Lösungen ein.
    b) Testing verschafft einen scheinbaren Blick auf mögliche Fakoren, die die Konversionrate nach unten oder oben treiben. In Wahrheit haben viele Firmen zu wenig Besucher und einen zu geringen Betrachtungszeitraum, um wirklich stichhaltige Ergebnisse zu produzieren. Auch wenn man es bei flüchtiger Betrachtung meinen könnte: Der Anstieg der Storchenpopulation rund um Baden-Baden und der Anstieg der Geburtenrate sind eben nicht miteinander verknüpft.
    c) Sieben Deppen erreichen auch mit den ausgefeiltesten Testing-Tools schlechtere Vorschläge für Optimierungsmaßnahmen als ein einzelner, mittelmäßig begabter Experte ohne.

  16. Kevin Wölfer Kevin Wölfer

    @Christian Rothe

    Ihre Aussagen sind teilweise wahr, doch ich frage mich wie Ihrer Meinung nach die Alternativen aussehen. Aufgestellte Hypothesen ohne einen Test einsetzen und den Mix der Indikatoren als Prophet interpretieren? Oder einfach gar nicht hinschauen, und nehmen was kommt?

    Innovationen werden durch Tests doch nicht gehemmt?

    Ich sehe den Widerspruch nicht. Eine Innovation beschreibt doch ebenso eine Neuerung einer bereits bekannten Methode. A/B Tests oder gar den multivariaten Tests liegen Varianten zu Grunde. Wo steht geschrieben, dass diese Varianten nicht innovativ oder übertrieben bahnbrechend anders, als bisherige Vorgehensweisen sein dürfen?

    Das die Testumgebung notwendige Bedingungen erfüllen muss, um annähernd aussagekräftige Zahlen zu generieren ist nicht neu und zählt definitiv zu grundlegenden Fehlern, die gemacht werden(!), aber auch das ist definitiv kein Argument gegen ein Testing. Auch der mittelmäßig begabte Experte hat in irgendeiner Form Erfahrungen aufbauen müssen. Sei es durch Eigenleistung im Try and Error Verfahren, oder durch Anlesen & -lernen frei verfügbarer Erfahrung.

    Die Frage ist nur, wie viel der Aufbau seiner Erfahrung gekostet hat. Sprich, wie effizient er dabei war … Try and Error ist hierbei mit Sicherheit nicht die kostengünstigste Methode, außer er ist ein wahrer Glückspilz.

  17. Christian Rothe Christian Rothe

    @Kevin Wölfer: Echte Innovation erfordert üblicherweise einen gravierenden Umbau einer Website / eines Shops. Der wahre A/B-Test bei einem solchen Szenario wäre, dass man den radikal umgebauten Shop gegen eine (verbesserte) alte Version antreten ließe. Doch wer kann und will sich diesen Aufwand schon leisten?

    Also werden immer nur geringfügige inkrementelle Veränderungen gegeneinander getestet („z.B. Farbe und Position von Bedienelementen“). Das Denken kreist dann um die Fragestellung: „Was können wir jetzt noch so verändern, dass es testbar bleibt?“ Eine solche Denke versperrt aus meiner Sicht den Weg zur wirklichen, mutigen Innovation.

    Je größer das Unternehmen, desto größer auch die Gefahr, dass man keine großen Schritte mehr wagt und dass sich eine Kultur des „Testen-von-Kleinigkeiten-bis-zum-Erbrechen“ entwickelt. In endlosen Meetings liefern sich die Protagonisten Zahlenschlachten mit Testergebnissen, statt sich über wahre Innovation Gedanken zu machen. Frage dazu: Sind die Onlineshops von Otto, Amazon, Neckermann und Co. in letzter Zeit durch besondere Innovationen aufgefallen? Wir können aber davon ausgehen, dass dort das gesamte Test-Instrumentarium intensiv genutzt wird.

    Was sind die Alternativen zum A/B Testing? Aus meiner Sicht ist es erfolgversprechend, jeweils einen etwas mutigeren, radikaleren Innovationsschritt zu wagen und ihn anhand von Prototypen zu evaluieren. Ein heuristische Evaluation mit Testusern in überschaubarer Zahl kann schon gute Ergebnisse liefern. A/B Testing kommt aus meiner Sicht später allenfalls für den Feinschliff von Details in Betracht.

    Vielleicht könnte ich mein Fazit so formulieren: Vergiss A/B Tests, wenn Du in der Innovationsphase steckst. Das ist mehr etwas für das Ende des Website-Lebenszyklus. Dann hält es Dich vielleicht davon ab, rechtzeitig den nächsten mutigen Schritt nach vorne zu tun.

  18. Kevin Wölfer Kevin Wölfer

    @Christian Rothe

    Wenn man einen radikalen/mutigen/innovativen Schritt als Vision formuliert und in kleine Häppchen aufbereitet und auf diesen in vielen A/B Tests inkrementell hin arbeitet, ist das sicher mit weniger Aufwand, Kosten und Risiko verbunden, als eine Gesamtlösung zu konzipieren, zu planen, zu realisieren, zu testen, anzupassen und live zu stellen. Um dann zu gucken, was wirklich passiert.

    Schlimmstenfalls stellt man dann nach den zwei Jahren, die man dafür verbraten hat, fest, dass die aufgestellten Hypothesen mittlerweile nicht nur veraltet sind, sondern sich auch das Verhalten der Zielgruppe, oder gar die Zielgruppe selbst derart geändert haben, dass man wieder von vorn beginnen muss.

    Ich respektiere Ihre Ansichten und weiß auch, dass wir weiterhin unterschiedlicher Meinung sein werden.

  19. Frank W. Demann Frank W. Demann

    @ Christian Rothe

    Ganz Ihrer Meinung. Deswegen haben wir einen alten Shop (jetzt offline) und einen völlig anderen neuen Shop ein paar Wochen parallel im Web laufen lassen. Das kurzsichtige verändern von Buttons, Farben und Bedienelementen hat nichts gebracht und war Zeitverschwendung. Als wenn es dem Kunden in einem richtigen Ladengeschäft interessiert, ob man die Kasse um einen Meter verückt oder grün streicht. 😉
    Mal ein paar Zahlen…

    Alter Shop:
    Conversionsrate: 2,8 Prozent
    Rücksendequote: 15 Prozent
    Google: Seite 1 Platz 10 mit zwei unterschiedlichen Keywords

    Meuer Shop:
    Conversionsrate: 8,77 Prozent
    Rücksendequote: 8 Prozent
    Google: Seite 1 Platz 3 mit zwei unterschiedlichen Keywords

    Nach unserer Erfahrung haben die wenigsten Agenturen Ahnung, wie man einen Shop baut. Ebenso wie die meisten Agenturen SEO anbieten und das Blaue vom Himmel versprechen, selbst jedoch bei Google auf Seite irgendwo ranken. 😉 Bei Shops ist das so ähnlich… Machen ein bisschen Web- und Printdesign und halten sich deswegen für kompetent. Wenn die drei Vorschläge machen und auch wirklich testen, dann gewinnt nicht die beste Variante, sondern die beste schlechte Variante von drei schlechten Shops. Wir kennen uns aus, wir hatten schon verschiedene Shop-Systeme, namhafte Agenturen, Designs usw. War alles Zeit- und Geldverschwendung.

    Danke muss ich hier dem Team vom Konversionsblog sagen. Vieles aus den Beiträgen haben wir in die Praxis umgesetzt. Dazu ein bisschen gesunder Menschenverstand und eine kleine Umfrage im Bekanntenkreis, was bei Onlien-Shops so nervt, haben gereicht.

    Totzdem bleibt manches unverständlich und unerklärlich: Hatten am Anfang auf der Startsite einen Slider mit 6 Bildern, die jeweils die Produktvorteile kommuniziert haben. Der Slider hat manchmal gesponnen und wurde in einigen Browsern nicht richtig dargestellt. Also haben wir jetzt nur ein Foto auf der Startseite. Die Konversionsrate ging sofort nach oben.

    Da denke ich mir so, wie viele Shops doch einen Slider auf der Startseite haben. Und eigentlich nur, weil alle einen haben oder weil sie es mal so gelernt haben oder weil es die technische Möglichkeit gibt. Was würde eigentlich passieren, wenn die mal ihren Slider weg lassen?

    Genauso ist es mit Bildern. Im alten Shop hatten wir mehr Produktbilder, im neuen Shop nur noch 5 pro Artikel. Trotzdem haben wir eine dreifache Conversionsrate. Da habe ich mir gedacht, Otto ist nur mit maximal zwei Produktfotos im Katalog zum Milliardenunternehem geworden. Nicht alles, was das Internet so bietet, ist auch sinnvoll. Der größte Schwachsinn ist die Shoplupe. Wer geht schon im Ladengeschäft bis auf 10 Zentimeter mit den Augen an eine Jeans und fährt dann die Naht runter? 😉 Jeder will doch wissen, wie er in der Jeans angezogen aussieht.

    Und dann vergessen doch viele eine ganz kleine 0815 Marketing Regel: In einem Blick auf der Startsite erkennen, um was es geht. Also welches Produkt und ob es ein Shop ist. Und am besten muss das einer erkennen, der kein Deutsch kann. Das ist der einfachste Test. Dann ist schon mal vieles gut…

    Na ja, egal. Danke noch mal an die Leutchen vom Blog und weiter so….

  20. Zinit Solutions Zinit Solutions

    Vielen Dank für so ein informativer und gut strukturierter Betrag über Kernaufgabe der Testing.Es ist auffallend dass der Autor den Prozess ganz professsionell und klar bescreibt. Außerdem ist der Screibstil auch leicht zu wahrnehmen. Ich bin sicher dass wir diesen Artikel bei der Testing unserer neuen Website benutzen werden.

  21. André Morys André Morys

    Hallo Zinit Solutions, Danke für Euer tolles Feedback. Bei jedem Blogpost. Immer wieder. Normalerweise sage ich dazu ja nichts, aber: ich glaube auch nicht, dass ihr dadurch irgendwie mehr Leute erreicht. Ich habe verstanden, dass ihr unsere Artikel toll findet und weiß es auch wirklich zu schätzen – aber bitte nicht jedes Mal. OK? Sonst ist das schon irgendwie Kommentar-Spam oder Blogpost-Stalking oder ich weiß es nicht… Danke für Euer Verständnis!

Trackbacks/Pingbacks

  1. […] heute bestimmt.Hier sind unsere heutigen 10 Lesetipps der Blog-Autoren. eBay goes for Olympic gold5 Testing-Fehler, die viel Geld kosten könnenNeckermann.de: Vertriebspartner verlassen das PortalEmail Marketing that Drives […]

  2. […] nur durchzuführen, sondern die Ergebnisse auch richtig zu interpretieren. André Morys stellt 5 grobe Testing-Fehler vor bzw. zeigt auch auf, wie diese zu vermeiden […]

  3. […] Informationen hierzu finden Sie in folgenden Blogposts:Die Testing-Falle, in die jeden mal tappt5 grobe Testing-Fehler, die viel Geld kosten könnenLimbic®-Personas helfen Kunden wirklich zu verstehenHannibals Fähigkeit in nahezu jede Rolle […]

Hinterlassen Sie einen Kommentar