Ce que les Anniversaires Peuvent Vous Apprendre sur le AB Testing

Il y a 3 ans, nous étions 25 employés chez Convertize. Par un amusant hasard, deux membres de l’équipe étaient nés le 7 Juillet. C’était plutôt exceptionnel d’avoir deux collègues avec la même date d’e naissance parmi 25 personnes seulement. Nous en avions donc profité pour fêter la chose en allant dîner au restaurant. Mais était-ce vraiment si exceptionnel ? Quel aurait été le pourcentage de chances de retrouver ce même résultat pour un groupe de 25 personnes tirées complètement au hasard, dans la rue par exemple ?

Un résultat statistique très surprenant…

Ce problème semble simple, et pourtant beaucoup se trompent…

D’après vous, sachant qu’il y a 365 jours dans une année (on exceptera les années bissextiles), combien y a-t-il de chances d’avoir deux personnes nées le même jour dans un groupe de 25 individus ?

Tenez-vous bien ! La probabilité de trouver deux personnes ayant la même date d’anniversaire dans un groupe de 25 personnes tirées aléatoirement est de près de 56%. Soit plus d’une chance sur deux. Oui oui. Et ce chiffre monte jusqu’à près de 90% pour un groupe de 40 personnes ! Ce qui est réellement exceptionnel est, au contraire, de ne pas trouver deux personnes nées le même jour. Étonnant, non ?

Ces résultats sont empriques et incontestables, retrouvables par un rapide calcul, et vérifiés dans la réalité. Faites le test ! Regardez au bureau, dans votre entourage, dans les classes de vos enfants, vous trouverez plus de personnes nées le même jour que ce que vous pensez.

En rouge la probabilité de trouver deux individus ayant la même date d’anniversaire, en fonction du nombre de personnes dans le groupe

AB Testing et Significativité : Laissez-vous aider !

Soyez donc très prudents avec les statistiques, ce n’est pas intuitif. Si un chiffre vous parait exceptionnel, il est peut être en réalité tout à fait habituel : il en est de même en optimisation des conversions. Ne tirez pas de conclusions hâtives concernant vos données !

Il y a deux mois, un client m’a demandé pourquoi on ne mettait pas en place une version de son site qui avait amené 20 conversions de plus que la version originale au cours de la première semaine d’un AB test. Je lui ai expliqué qu’au vu des autres données (traffic sur la semaine : 10000 visiteurs uniques, taux de conversion de la version originale : 10%) ces 20 conversions n’avaient rien d’étonnant, et ne nous donnaient pas d’information sur la réelle performance de la variation.  En effet, trouver ce genre de différence par hasard est parfaitement habituel, tout comme trouver par hasard deux personnes nées le même jour dans un groupe de 25 individus est parfaitement habituel. Il aurait donc était mal avisé de conclure que la variation était meilleure que l’originale.

Dans ce genre de situations, ne vous risquez pas aux statistiques, il est si facile de se tromper. Si vous essayez de vous auto-former en vous renseignant sur internet, vous risquez de vous emmêler dans de nombreux concepts et sources contradictoires. Laissez vous plutôt guider ! Convertize (nouvelle solution actuellement accessible sur invitation) permet par exemple de valider  automatiquement la durée et la significativité de vos tests, sans que vous ayez besoin d’interpréter vos résultats.

Mais si vous adorez les statistiques, vous pouvez aussi utiliser abtesting.ninja pour calculer la significativité de vos A/B tests.

Par Benjamin Ligier

Benjamin est CRO Project Manager chez Convertize. Il est passionné par le design et le marketing en ligne.