Les 13 Erreurs les Plus Fréquentes en AB Testing (et comment les éviter)

90% des utilisateurs de solutions de A/B testing se disent insatisfaits des résultats de leurs tests AB, souvent parce-que les résultats sont faux par exemple, mais quelles sont les erreurs fréquentes qui conduisent à ce type de problèmes et comment les éviter ?

Le A/B testing s’est beaucoup démocratisé ces dernières années : selon une étude récente réalisée par Econsultancy, 67% des sociétés utilisent le AB testing pour optimiser leurs taux de conversion :

Si 90% des utilisateurs de solutions de A/B testing se disent insatisfaits des résultats, cela veut dire que 10% sont satisfaits, c’est logique ?

Dans tous les cas cela prouve que souscrire à un abonnement chez AB Tasty ou Optimizely est loin d’être suffisant et ne garantit en rien vos chances de succès.

[sta_anchor id= »ab-testing-echec »]Quand le AB Testing tourne mal[/sta_anchor]

Voici le témoignage de Laurent – qui travaille au sein de l’équipe Marketing d’un site de vente de chaussures en ligne. Il a découvert le A/B testing en 2014 :

Un lundi de septembre, je prends une décision importante : faire des A/B tests sur le site de mon entreprise !

Après une recherche Google sur les outils de AB testing, je fais une première sélection qui comprend : AB Tasty, Convertize, Optimizely et VWO.

Finalement, je prends un abonnement à AB Tasty. Après tout, ils sont Français, alors autant faire plaisir à Arnaud Montebourg !

Le pack AB Testing de départ ne coûte pas cher : seulement 29€€ pour 5.000 visiteurs testés. Cela me semble suffisant pour un premier test…

Après une inscription rapide, j’arrive sur une grande page blanche avec un bouton assez visible : « Créer une campagne ». Il y a aussi cette vidéo et ce tutoriel à droite de l’écran, mais les explications restent très … « techniques » !

Je me demande rapidement « Que vais-je bien pouvoir tester sur le site ? »

La plupart des articles sur internet disent que changer la couleur d’un bouton peut augmenter les conversions de 300%, alors je commence par faire ce genre de tests.

3 heures plus tard, le crédit de 5.000 visiteurs est épuisé et l’interface AB Tasty affiche un niveau de fiabilité du test AB très bas. Il faut donc que je continue mon test pour avoir une réponse.

Mais comment savoir combien de temps va durer mon test AB ? quel volume de visiteurs tester ? tout cela reste très flou… je passe donc sur le Pack à 99€€ pour avoir une chance d’arriver au bout de mon 1er test AB.

Le lendemain, le niveau de fiabilité est passé au Vert, avec un taux d’amélioration de 27%! Wahou ! Je suis impressionné par ce résultat et je vais tout de suite voir mon Manager pour lui annoncer la bonne nouvelle : +27% sur le Chiffre d’Affaires en changeant simplement le Call-To-Action !

Sauf que ce que je n’avais pas prévu, c’est que ce +27% hausse n’est pas visible sur le chiffre d’affaires à la fin du mois, le chiffre d’affaires augmente à peine et mon Manager ne semble pas attribuer cette hausse à mon travail sur les tests AB …

Bref, cette première expérience a été très peu concluante, mais cela me permet de comprendre que souscrire à un abonnement sur une solution de AB testing ne sert à rien si on ne sait pas quoi tester et si on ne gère pas son test correctement.

L’expérience de Laurent est très classique : les solutions d’AB testing n’apportent pas de solution magique pour optimiser vos taux de conversion, elles apportent seulement un outil nécessaire pour atteindre votre objectif.

[sta_anchor id= »erreurs-ab-testing »]13 erreurs fréquentes en AB Testing (et comment les éviter)[/sta_anchor]

[sta_anchor id= »erreur-ab-testing-1″]Erreur 1: Vous testez les mauvais trucs[/sta_anchor]

Changer la couleur d’un bouton est la solution classique présentée sur les blogs, mais – sauf si votre site contient des fautes de design importantes – cela n’augmentera pas vos taux de conversion de façon durable.

Le seul gagnant de ce type de test est généralement l’éditeur du logiciel de AB Test, car vous consommez des crédits de visiteurs testés.

Commencez par construire des hypothèses solides pour savoir quelle page et quel élément tester .

[sta_anchor id= »erreur-ab-testing-2″]Erreur 2 : Vous n’avez pas de méthodologie de test[/sta_anchor]

Sans méthodologie d’optimisation des conversions (CRO), sans analyse structurée, sans préparation, utiliser une solution de AB testing est une perte de temps et d’argent.

[sta_anchor id= »erreur-ab-testing-3″]Erreur 3 : Vous ne priorisez pas vos tests[/sta_anchor]

Le AB Testing pose un problème de paradoxe du choix :

Vous pouvez tout faire mais vous ne savez pas par où commencer

Une bonne méthodologie d’optimisation des conversions doit aussi vous aider à prioriser vos tests AB : elle doit aller au delà des processus d’analyse et du lancement des tests AB.

Si vous ne commencez pas par le bon test AB, vous perdrez du temps. La question est donc de savoir comment définir le bon test AB

Les Agences AB Testing et Agences CRO proposent différentes méthodes pour prioriser vos tests AB, avec en général les 3 critères pondérés suivants :

1. Potentiel : Quel est le potentiel d’amélioration généré par le test AB
2. Importance : Quelle est la qualité et quel est le volume de trafic sur la page testée
3. Facilité : Quelles sont les ressources nécessaires pour (1) lancer le test, (2) mettre en oeuvre la variation gagnante

Nous aimons considérer le « Time to market » : combien de temps sera nécessaire entre le lancement du test et la mise en oeuvre finale.

[sta_anchor id= »erreur-ab-testing-4″]Erreur 4 : Votre abonnement AB Testing ne suffit pas[/sta_anchor]

Prendre un pack avec 5000 visiteurs ne sert à rien, sauf si votre taux de conversion actuel est de 10%, et que vous arrivez à réaliser une amélioration de +15% sur votre test ! Sachant qu’il est déjà exceptionnel d’améliorer un taux de conversion de +10%.

[sta_anchor id= »erreur-ab-testing-5″]Erreur 5 : Vous n’optimisez pas les bons KPIs[/sta_anchor]

Le taux de conversion d’un test AB se mesure par rapport à un objectif, qui est en général une macro-conversion (vente ou lead), mais il est très facile de créer des objectifs qui se focalisent sur les micro-conversions (ajout au panier par exemple).

Choisir le bon objectif et donc le bon KPI est essentiel pour garantir les résultats de vos tests AB. Nous traitons ce sujet dans notre article sur les micro et macro-conversions.

[sta_anchor id= »erreur-ab-testing-6″]Erreur 6 : Vous ignorez le trafic mobile[/sta_anchor]

Comme avec une campagne Adwords ou Native Ads, il est important d’établir une segmentation de base en AB Testing : tester séparément les utilisateurs Mobile et Desktop.

Le web est passé du Desktop au Responsive, pour arriver au Mobile-First.

Si vous consulter votre Google Analytics, vous constaterez que votre taux de conversion mobile est différent de votre taux de conversion sur Desktop : les utilisateurs se comportent différemment sur Mobile et Desktop, réalisez donc vos tests AB pour prendre en compte ce paramètre.

[sta_anchor id= »erreur-ab-testing-7″]Erreur 7 : Vous ignorez vos clients actuels (et returning visitors)[/sta_anchor]

Que vont penser vos clients existants si vous mettez en ligne la refonte de votre site entre le lundi et le mardi ? Pensez-vous qu’ils se sentiront à la maison ?

Réponse : certains vont adorer, d’autres risquent de détester, mais dans quelles proportions ? êtes-vous prêt à prendre ce risque ?

La meilleure façon de gérer ce risque est donc de segmenter pour les Nouveaux Visiteurs et les Anciens (Returning users).

[sta_anchor id= »erreur-ab-testing-9″]Erreur 8 : Vous en faites trop, vraiment[/sta_anchor]

Par nature, un test AB signifie que l’on compare A, avec B : on teste 1 chose à la fois.

Donc limitez le nombre de changements dans une variation, sinon vous aurez du mal à comprendre quel « micro-changement » est responsable des résultats du test AB.

Ne testez pas non plus trop de variations : Cela revient à la question de Sample Size : Taille d’échantillons de vos tests AB.

Pour tester plusieurs variations, il faut avoir le traffic nécessaire, sinon il ne faut pas y aller.

Règle simple : la plupart des sites e-commerce ont un volume qui leur permet de tester 1 à 2 variations maximum dans de bonnes conditions.

[sta_anchor id= »erreur-ab-testing-10″]Erreur 9 : Vous gérez des tests AB en parallèle[/sta_anchor]

Chaque test AB influence une partie de votre traffic. Si vous influencer successivement la même portion de traffic au travers de différents tests AB, comment analyser les résultats ?

Réponse : c’est possible, mais compliqué, donc réservé aux Experts en CRO ou Analytics.

[sta_anchor id= »erreur-ab-testing-10″]Erreur 10 : Les résultats de vos tests AB ne sont pas valides[/sta_anchor]

L’AB Testing est indispensable pour vérifier des hypothèses instruites, mais vous devez toujours vérifier la validité de vos tests, sinon vous risquez de vous réveiller chaque matin en pensant avoir doublé vos ventes alors que ce n’est pas le cas !

[sta_anchor id= »erreur-ab-testing-11″]Erreur 11 : Vous arrêtez votre test trop tôt[/sta_anchor]

Trop tôt signifie que les résultats de votre test AB ne sont pas fiables. C’est un point redondant mais il est important de comprendre cette notion de temps qui est souvent liée à l’impatience de l’équipe qui gère le test AB, ou celle du Chef !

[sta_anchor id= »erreur-ab-testing-12″]Erreur 12 : Vous ne devriez pas faire de test AB [/sta_anchor]

L’AB testing n’est pas toujours applicable : si votre site ne génère pas suffisamment de conversions ou de trafic, lancer des tests AB sur votre site ne sert à rien car vous n’atteindrez « jamais » une représentativité statistique suffisante, c’est-à-dire un volume de conversions par test qui vous permet de confirmer la validité de vos résultats.

Dans ce cas, il faut très rapidement vous tourner vers la psychologie cognitive et l’économie comportementale.

[sta_anchor id= »erreur-ab-testing-13″]Erreur 13 : Vous n’utilisez pas le bon outil pour tester[/sta_anchor]

De nombreuses solutions proposent des options de AB Testing, mais pour réaliser sérieusement des tests AB vous avez besoin d’un sérieux outil de AB Testing.

Vous pouvez consulter ces 10 questions pour vous aider à choisir le meilleur outil de AB Testing

Par Philippe Aimé

Philippe est Directeur chez Convertize. Philippe a créé son premier site Internet en 1998. Il dirige aujourd'hui l'équipe de consultants en Optimisation des Conversions.