AB Test Significance :
le Guide Complet
Que signifient vos résultats? Calculez la signification de votre test AB et découvrez quoi faire ensuite
Entrez les données de vos pages «A» et «B» dans le calculateur de test AB pour voir si vos résultats ont atteint une signification statistique. La plupart des experts en tests AB utilisent un niveau de signification de 95%, ce qui signifie que 19 fois sur 20, vos résultats ne seront pas dus au hasard.
A/B Testing Significance Calculator
Trafic
Conversions
Trafic
Conversions
JE CALCULE
[sta_anchor id= »resultats-signification-ab-test » unsan= »resultats-signification-ab-test »]AB Test Significance:
Comment interpréter mes résultats?[/sta_anchor]
Taux de conversion
Il s’agit du nombre de conversions que vous prévoyez d’obtenir pour chaque visiteur de votre page. Il est donné en pourcentage et calculé comme ceci: 
Les tests AB sont le meilleur moyen de vous assurer d’augmenter votre taux de conversion à long terme.
Uplift
Uplift est l’augmentation relative du taux de conversion entre la page A et la page B. Il est possible d’avoir un uplift négatif si votre page d’origine est plus efficace que la nouvelle. Il est calculé comme ceci: 
Il est important de se rappeler qu’il s’agit d’une augmentation du taux de conversion, et non des ventes absolues.
AB Test Significance
Dans les statistiques de test AB, vos résultats sont considérés comme «significatifs» quand il est très peu probable qu’ils se soient produits par hasard. Atteindre une signification statistique avec un niveau de confiance de 95% signifie que vous savez que vos résultats ne se produiront que par hasard une fois toutes les 20 fois.
P-Value
Votre P-Value est la probabilité que vos résultats se soient produits à la suite d’un hasard. Si ce nombre est inférieur à votre valeur «Alpha» (qui est juste 100 moins votre niveau de confiance), alors vos résultats sont significatifs.
Une valeur P élevée signifie que vos résultats ne sont pas significatifs. Cela peut être dû à la taille de votre échantillon, à la taille de votre Uplift ou à la façon dont vos données sont dispersées.
[sta_anchor id= »resultats-significatifs-ab-test » unsan= »resultats-significatifs-ab-test »]AB Test Significance:
Comment obtenir des résultats significatifs?[/sta_anchor]
Pour augmenter la signification de vos tests AB, vous devez effectuer l’une des trois choses suivantes:
- Augmenter la taille de votre échantillon
- Créer un Uplift plus grand
- Produire des données plus cohérentes (avec moins de variance)
Concrètement, cela signifie que vous pouvez faire plusieurs choses…
Comment Augmenter la taille de votre échantillon
1) Exécutez vos tests plus longtemps au risque de polluer vos données. La plupart des navigateurs suppriment tous les cookies dans un délai d’un mois (certains les suppriment après deux semaines). Étant donné que les outils de test AB utilisent des cookies pour trier vos visiteurs dans le groupe A et le groupe B, les longs tests ont pour risque d’avoir un échantillonnage croisé.
2) Dirigez davantage votre trafic vers vos pages de test. Vous pouvez le faire en incluant un lien depuis la page d’accueil, en utilisant votre test comme page de destination ou en ajustant l’ordre de vos pages. Malheureusement, cela risque également de créer un biais, car votre trafic sera composé de différents types de personnes (recherche de choses).
Étapes pratiques pour créer un Uplift plus important
1) Essayez un changement plus important. Les couleurs des boutons, le texte d’appel à l’action (CTA) et les titres peuvent avoir un impact important, mais seulement dans certains cas. D’autres fois, des modifications plus importantes sont nécessaires pour créer un effet. Vos changements sont plus susceptibles de créer un Uplift lorsqu’ils communiquent votre offre ou votre valeur d’une nouvelle manière.
2) L’une des variations les plus réussies à essayer est une version de votre page Web avec des notifications persuasives. Celles-ci attirent l’attention de vos visiteurs et peuvent être utilisées pour créer des effets psychologiques tels que le la Preuve Sociale, FOMO et l’Urgence.
3) Une autre façon de créer un Uplift est de réduire la friction sur votre page. Vous pouvez le faire en supprimant le nombre de champs dans un formulaire, en ajoutant du contenu utile ou des repères visuels, ou avec des notifications de friction.
Comment produire des données plus cohérentes
1) Des dates particulières peuvent avoir un effet imprévisible sur votre taux de conversion. Si vous combinez un événement comme le Black Friday avec un “Multi-Armed Bandit”, vos tests pourraient avoir une plus grande variance. Essayez d’exécuter votre test à des jours ou des dates spécifiques pour exclure les anomalies.
[sta_anchor id= »atteignant-signification-ab-test » unsan= »atteignant-signification-ab-test »]AB Test Significance:
Que faire lorsque vous atteignez une signification[/sta_anchor]
Il est tentant de se précipiter et de modifier votre site Web dès que votre test atteint sa signification. Voici pourquoi vous ne devriez pas…
- La signification statistique ne signifie pas l’importance pratique. Il y a peut-être d’autres choses que vous devriez changer en premier.
- Même un test AB avec une signification statistique peut toujours être un faux positif. Il vaut mieux changer les choses progressivement.
- L’optimisation d’une partie de votre site Web peut avoir un effet négatif sur une autre partie, et l’optimisation pour une statistique (conversions) peut avoir un effet négatif sur une autre statistique (retour de clients).
Donc, la meilleure façon de faire est de changer les choses lentement et de garder un œil sur tous les KPI pour l’ensemble de votre site Web. Vous devez également prendre soin d’éviter les erreurs classiques associées à la signification du test AB.
Erreurs classiques liées à la signification du test AB
- Penser que la signification est la probabilité que votre page B soit meilleure que votre page A. En fait, c’est seulement la probabilité que vos résultats ne soient pas dus au hasard.
- Penser un résultat significatif «prouve» qu’une approche est meilleure qu’une autre. Vous ne pouvez pas prouver une telle hypothèse généralisée avec les tests AB. Au lieu de cela, vous pouvez montrer que:
Il y a une forte probabilité qu’un Uplift se produise pendant votre test, avec votre échantillon donné et dans le contexte de votre site Web.
- Penser que vos clients «préfèrent» la version B de votre page. Tout ce que vous mesurez, c’est l’impact de vos modifications sur le comportement de vos clients, et non leur incidence sur leurs perceptions.
