Après la présentation des résultats d'une campagne marketing, il peut arriver qu'une question soit formulée pour savoir si les résultats sont statistiquement significatifs. En effet, les résultats sont différents des résultats précédents, mais peut-être ne sont-ils pas pertinents.

Communiquez efficacement grâce aux données [Guide gratuit]

Les marketeurs doivent non seulement mesurer les résultats des campagnes marketing, mais également prouver la validité des données. Ainsi, dans le cadre d'un A/B test réalisé entre deux CTA sur une page de destination, un marketeur peut observer un taux de conversion légèrement plus élevé pour l'une des versions, mais la question est de savoir si le résultat obtenu est statistiquement significatif.

Il existe de nombreux outils gratuits pour réaliser le calcul du seuil statistique, mais pour mieux déchiffrer la signification des résultats, il peut être utile de comprendre ce qui est calculé.

Comment calculer le seuil de signification statistique

1 - Déterminer quel facteur tester

Il est important de commencer par déterminer quel facteur sera tester. Peut-être s'agit-il de comparer le taux de conversion d'une page de destination comportant des images différentes ou celui de différents boutons de call-to-action à la fin d'un article de blog, ou encore les taux de clics sur des e-mails affichant des lignes d'objet différentes. Il est conseillé de choisir un contenu pour lequel deux versions différentes sont créées et de définir l'objectif à atteindre, comme obtenir un meilleur taux de conversion ou davantage de vues.

Il est possible de tester des versions supplémentaires ou de créer un test à plusieurs variables. L'exemple présenté ci-dessous consiste à connaître le seuil de signification statistique pour deux variantes d'une page de destination afin d'augmenter les taux de conversion.

2 - Commencer à collecter les données

Après avoir déterminé quel facteur tester, il est temps de collecter les données. Dans la mesure où un tel test est probablement effectué dans le but de déterminer le contenu le mieux adapté, il est nécessaire de définir une taille d'échantillon. Pour une page de destination, cela signifie choisir une durée prédéfinie pour exécuter le test, en rendant la page active pendant 3 jours, par exemple. Pour un e-mail, il est possible de choisir un échantillon aléatoire dans une liste et d'envoyer au hasard différentes versions. Déterminer la bonne taille d'échantillon peut s'avérer complexe, puisque celle-ci varie selon chaque test. En règle générale, il est préférable d'obtenir une valeur supérieure à 5 pour chaque version. Les valeurs attendues sont traitées plus bas.

3 - Calculer les résultats du test du χ2

Il existe un certain nombre de tests statistiques différents permettant de mesurer le seuil en fonction des données. Le test le plus adapté dépend de ce qui est testé et du type de données collectées. Dans la plupart des cas, un test du χ2 sera réalisé puisque les données sont dites discrètes. L'adjectif discret est utilisé pour signifier qu'il existe un nombre fini de résultats pouvant être produits. Par exemple, un visiteur se convertira ou ne se convertira pas : il n'existe pas d'autres degrés de conversion.

Avant de commencer à collecter des données, il est également utile de formuler une hypothèse au début du test et de déterminer le degré de confiance testé. Dans le cadre d'un test portant sur une page de destination, l'objectif est de savoir si l'une fonctionne mieux que l'autre, et l'hypothèse consiste à penser qu'il existe une relation entre la page que les visiteurs consultent et leur taux de conversion. Il est possible de la tester selon différents degrés de confiance, parfois appelés l'alpha du test. Ainsi, plus l'exigence d'un seuil statistique est élevée, plus l'alpha sera bas. Vous avez peut-être déjà trouvé un seuil statistique rapporté en termes de confiance, par exemple : « Les résultats sont statistiquement significatifs, avec un niveau de confiance de 95 % ». Dans ce scénario, l'alpha était 0,05 car la confiance est calculée comme 1 moins l'alpha, ce qui signifie que le risque de faire une erreur dans la relation concernée était de 1 sur 20.

Après avoir collecté les données, il est conseillé de les saisir dans un tableau pour pouvoir les organiser plus simplement. Puisque que le test porte sur 2 versions différentes (A et B) et qu'il existe 2 résultats possibles (converti/non converti), un tableau comme celui présenté ci-dessous permet de faire le total de chaque colonne et de chaque ligne afin de voir les résultats globaux.

Valeurs observées khi deux seuil statistique

Il est maintenant possible de calculer les valeurs attendues. Dans l'exemple ci-dessus, s'il n'existait pas de relation entre la page de destination et le taux de conversion des visiteurs, les mêmes résultats pour les versions A et B auraient dû être obtenus. Les totaux indiquent que 1 945 personnes ont été converties sur les 4 935 visiteurs, soit environ 39 %. Pour calculer les fréquences attendues pour chaque version de la page de destination, en supposant qu'il n'existe pas de différence, il faut multiplier le total de la ligne pour la cellule concernée par celui de la colonne pour la même cellule, puis diviser ce nombre par le nombre total de visiteurs. Dans cet exemple, la valeur de conversion attendue pour la version A correspond au calcul suivant : (1945*2401)/4935 = 946

statistical-significance-chi-squared-expected-values

Pour calculer la valeur χ2, il faut comparer les fréquences observées à celles attendues. Cette comparaison est réalisée en soustrayant la valeur observée à la valeur attendue, en élevant le résultat au carré, puis en le divisant par la fréquence attendue. Il s'agit là de calculer à quel point les résultats réels diffèrent des résultats attendus. La quadrature de la différence amplifie ses effets et la division de la valeur par la fréquence attendue normalise les résultats. L'équation est la suivante : (valeur attendue - valeur observée)^2)/fréquence attendue

Valeurs attendues khi deux seuil statistique

Il suffit ensuite d'additionner les quatre résultats pour obtenir le nombre χ2. Dans le cas présent, il s'agit de 0,95. Pour voir si les seuils statistiques des taux de conversion des deux versions de la page de destination diffèrent, il est nécessaire de les comparer à la valeur d'une table de distribution du χ2, en fonction de l'alpha (dans le cas présent, 0,05) et des degrés de liberté. Les degrés de liberté sont calculés selon le nombre de variables existantes. Avec un tableau 2x2 comme dans cet exemple, le nombre de degrés de liberté est égal à 1.

Dans le cas présent, la valeur χ2 doit être égale ou supérieure à 3,84 pour obtenir des résultats statistiquement significatifs. Puisque 0,95 est inférieur à 3,84, les résultats ne sont pas statistiquement différents. Cela signifie qu'il n'existe pas de relation entre la version de la page de destination qu'un visiteur reçoit et le taux de conversion présentant un seuil de signification statistique.

Pourquoi le seuil statistique est significatif

Comprendre comment est calculé le seuil statistique peut aider à déterminer comment mieux tester les résultats des expériences menées par les marketeurs. De nombreux outils utilisent un taux de confiance de 95 %, mais il peut être judicieux d'utiliser un taux inférieur si un test n'a pas besoin d'être aussi précis. Comprendre les calculs sous-jacents permet également d'expliquer aux personnes n'étant pas familières avec les statistiques en quoi les résultats obtenus peuvent être significatifs.

Pour aller plus loin, téléchargez ce guide pour apprendre à présenter vos données efficacement.

Communiquez efficacement grâce aux données [Guide gratuit]

Publication originale le 7 mai 2019, mise à jour le mai 07 2019

Sujet(s):

A/B testing