Après la présentation des résultats d'une campagne marketing, il peut arriver qu'une question soit formulée pour savoir si les résultats sont statistiquement significatifs. En effet si les résultats sont différents des résultats précédents, ils ne sont pas forcément pertinents.
Les marketeurs doivent non seulement mesurer les résultats des campagnes marketing, mais également prouver la validité des données. Ainsi, dans le cadre d'un A/B test réalisé entre deux CTA sur une page de destination, un marketeur peut observer un taux de conversion légèrement plus élevé pour l'une des versions, mais la question est de savoir si le résultat obtenu est statistiquement significatif.
Il existe de nombreux outils gratuits pour réaliser le calcul du seuil statistique, mais pour mieux déchiffrer la signification des résultats, il peut être utile de comprendre ce qui est calculé.
Qu'est-ce que la significativité statistique ?
La significativité statistique, ou seuil de signification, désigne le seuil à partir duquel les résultats d'un test sont jugés fiables. Autrement dit, ce seuil détermine la confiance dans la corrélation entre un test effectué et les résultats obtenus.
Comment calculer le seuil de signification statistique
1 - Déterminer quel facteur tester
Il est important de commencer par déterminer quel facteur sera testé. Peut-être s'agit-il de comparer le taux de conversion d'une landing page comportant des images différentes ou celui de différents boutons de call-to-action à la fin d'un article de blog, ou encore les taux de clics sur des e-mails affichant des lignes d'objet différentes. Il est conseillé de choisir un contenu pour lequel deux versions différentes sont créées et de définir l'objectif à atteindre, comme obtenir un meilleur taux de conversion ou davantage de vues.
Il est possible de tester des versions supplémentaires ou de créer un test à plusieurs variables.
2 - Commencer à collecter les données
Après avoir déterminé quel facteur tester, il est temps de collecter les données. Dans la mesure où un tel test est probablement effectué dans le but de déterminer le contenu le mieux adapté, il est nécessaire de définir une taille d'échantillon.
Pour une landing page, cela signifie choisir une durée prédéfinie pour exécuter le test, en rendant la page active pendant 3 jours, par exemple. Pour un e-mail, il est possible de choisir un échantillon aléatoire dans une liste et d'envoyer au hasard différentes versions. Déterminer la bonne taille d'échantillon peut s'avérer complexe, puisque celle-ci varie selon chaque test.
En règle générale, il est préférable d'obtenir une valeur supérieure à 5 pour chaque version. Les valeurs attendues sont traitées plus bas.
3 - Calculer les résultats du test du χ²
Il existe un certain nombre de tests statistiques différents permettant de mesurer le seuil en fonction des données. Le test le plus adapté dépend de ce qui est testé et du type de données collectées. Dans la plupart des cas, un test du χ2 (khi-deux) sera réalisé puisque les données sont dites discrètes.
L'adjectif discret est utilisé pour signifier qu'il existe un nombre fini de résultats pouvant être produits. Par exemple, un visiteur sera converti en lead ou ne le sera pas : il n'existe pas d'autres degrés de conversion.
Déterminer l'hypothèse et la significativité minimum
Avant de commencer à collecter des données, il est également utile de formuler une hypothèse au début du test et de déterminer le degré de confiance testé.
Dans le cadre d'un test portant sur une landing page, l'objectif est de savoir si l'une fonctionne mieux que l'autre, et l'hypothèse consiste à penser qu'il existe une relation entre la page que les visiteurs consultent et leur taux de conversion. Il est possible de la tester selon différents degrés de confiance, parfois appelés l'alpha du test.
Ainsi, plus l'exigence d'un seuil statistique est élevée, plus l'alpha sera bas. Vous avez peut-être déjà trouvé un seuil statistique rapporté en termes de confiance, par exemple : « Les résultats sont statistiquement significatifs, avec un niveau de confiance de 95 % ». Dans ce scénario, l'alpha était 0,05 car la confiance est calculée comme 1 moins l'alpha, ce qui signifie que le risque de faire une erreur dans la relation concernée était de 1 sur 20.
Collecter les données et calculer les résultats attendus
Après avoir collecté les données, il est conseillé de les saisir dans un tableau pour pouvoir les organiser plus simplement. Puisque que le test porte sur 2 versions différentes (A et B) et qu'il existe 2 résultats possibles (converti/non converti), un tableau comme celui présenté ci-dessous permet de faire le total de chaque colonne et de chaque ligne afin de voir les résultats globaux.
Il est maintenant possible de calculer les valeurs attendues.
Dans l'exemple ci-dessus, s'il n'existait pas de relation entre la landing page et le taux de conversion des visiteurs, les mêmes résultats pour les versions A et B auraient dû être obtenus. Les totaux indiquent que 1 945 personnes ont été converties sur les 4 935 visiteurs, soit environ 39 %.
Pour calculer les fréquences attendues pour chaque version de la landing page, en supposant qu'il n'existe pas de différence, il faut multiplier le total de la ligne pour la cellule concernée par celui de la colonne pour la même cellule, puis diviser ce nombre par le nombre total de visiteurs.
Dans cet exemple, la valeur de conversion attendue pour la version A correspond au calcul suivant (surligné dans le tableau) :
1 945 x 2 401 / 4 935 = 946
Calcul du Khi2
Pour calculer la valeur χ², il faut comparer les fréquences observées à celles attendues. Cette comparaison est réalisée en soustrayant la valeur observée à la valeur attendue, en élevant le résultat au carré, puis en le divisant par la fréquence attendue.
Il s'agit là de calculer à quel point les résultats réels diffèrent des résultats attendus. La quadrature de la différence amplifie ses effets et la division de la valeur par la fréquence attendue normalise les résultats.
L'équation est la suivante : (valeur attendue - valeur observée)²/fréquence attendue. Si l'on reprend l'exemple au-dessus, le calcul (pour A) serait donc :
(946 - 963)² / 963 = 0,29
Il suffit ensuite d'additionner les quatre résultats pour obtenir le nombre χ². Dans le cas présent, χ² = 0,95.
Interprétation et seuil de significativité
Pour voir si les seuils statistiques des taux de conversion des deux versions de la landing page diffèrent, il est nécessaire de les comparer à la valeur d'une table de distribution du χ², en fonction de l'alpha (dans le cas présent, 0,05) et du degré de liberté (dll).
Le degré de liberté est calculé selon le nombre de variables existantes. Avec un tableau 2x2 comme dans cet exemple, le nombre de degrés de liberté est égal à 1 ; vous n'avez besoin que d'une seule valeur pour en déduire les autres.
Il vous suffit ensuite de consulter une table de distribution, comme ci-dessous. La valeur p correspond à la probabilité d'erreur et ddl au degré de liberté.
Dans le cas présent, la valeur χ² doit être égale ou supérieure à 3,84 pour obtenir des résultats statistiquement significatifs. Puisque 0,95 est inférieur à 3,84, les résultats ne sont pas statistiquement différents. Cela signifie qu'il n'existe pas de relation entre la version de la landing page qu'un visiteur reçoit et le taux de conversion présentant un seuil de signification statistique.
Pourquoi le seuil statistique est significatif
Comprendre comment est calculé le seuil statistique peut aider à déterminer comment mieux tester les résultats des expériences menées par les marketeurs. De nombreux outils utilisent un taux de confiance de 95 %, mais il peut être judicieux d'utiliser un taux inférieur si un test n'a pas besoin d'être aussi précis. Comprendre les calculs sous-jacents permet également d'expliquer aux personnes n'étant pas familières avec les statistiques en quoi les résultats obtenus peuvent être significatifs.
Pour aller plus loin, téléchargez ce guide et ce modèle gratuits et mettez en place un A/B testing efficace pour augmenter considérablement les conversions sur votre site internet et optimiser l'engagement client.
