L'A/B testing est l'un des moyens les plus efficaces pour apporter des améliorations quantifiables à vos performances en ligne. Deux versions d'un contenu, comme une page de destination, sont exécutées simultanément auprès d'audiences de taille égale pour déterminer la page la plus performante.

Téléchargement  >> Le guide du growth hacking

Les A/B tests sont très fiables dans le domaine marketing. Lorsqu'ils sont réalisés correctement, ils fournissent en effet non pas des suppositions basées sur des intuitions, mais des preuves concrètes des modifications à même de générer davantage de conversions.

Les questions portant sur la façon de conduire correctement des A/B tests abondent cependant sur internet.

Pour vous aider à vous lancer dans les tests A/B, HubSpot a passé au peigne fin Linkedin, Quora et Focus pour recueillir et compiler toutes les questions les plus fréquemment posées sur l'A/B testing, et vous proposer des réponses.

1 - Quand faut-il effectuer de l'A/B testing ?

L'A/B testing échoue le plus souvent parce que le test lui-même n'a pas d'objectif clair. Il est impératif de savoir quoi tester. Utilisez un A/B testing pour tester une théorie, notamment pour vérifier si l'ajout d'une image ou d'une photo à une page de destination augmente le nombre de conversions, si les internautes sont plus enclins à cliquer sur un bouton rouge ou bleu, ou pour voir ce qui se passe si vous modifiez un titre pour souligner la date limite de l'offre. Tous ces changements peuvent être facilement quantifiés. Il est difficile de conduire un A/B testing lorsque les théories sont trop vagues, par exemple, pour tester deux conceptions totalement différentes avec de multiples variantes. Bien qu'il soit possible de procéder dans ce cas à un A/B testing, et à moins que la réponse ne soit évidente, le test de différentes conceptions peut mener à des conclusions plus floues et à une incertitude quant à la cause réelle de l'augmentation des conversions. 

2 - Combien de variations peut comporter un A/B testing ?

Supposez qu'après discussion avec votre équipe marketing, vous ayez trouvé quatre excellentes idées pour la conception d'une page de destination. Il peut être tentant de tester les quatre idées en même temps pour trouver la plus pertinente. Toutefois, comme dans le cas des variations ci-dessus, vous ne pourrez pas conduire un véritable A/B test si vous effectuez plusieurs tests en même temps. Pour chaque test, un certain nombre de facteurs peuvent en effet fausser les résultats. Un A/B test ne présente d'intérêt que si ses résultats sont clairs et concrets. Il est donc préférable de comparer deux versions à la fois, puis d'effectuer un second test pour comparer les deux solutions ainsi retenues. Vous aurez ainsi la certitude d'obtenir des résultats fiables.  

3 - Qu'est-ce qu'une hypothèse nulle ?

Une hypothèse nulle est une hypothèse selon laquelle toute différence dans les résultats est le résultat d'une erreur d'échantillonnage ou d'un écart standard. Prenez l'exemple de la pièce de monnaie. Bien que vous ayez 50 % de chances que votre pièce tombe côté face, il arrive parfois, en pratique, que le résultat soit de 51 contre 49 ou présente un tout autre écart lié au hasard. Or, plus vous jouez à pile ou face, plus le résultat s'approche de 50/50. Dans le domaine des statistiques, la façon de prouver ou de réfuter une idée est de contester l'hypothèse nulle. Pour réfuter une hypothèse nulle, il est nécessaire de mener l'expérience assez longtemps pour écarter un résultat accidentel. Ce concept correspond au fait d'atteindre une des statistiques significatives.

4 - Combien faut-il de visites sur une page pour obtenir des résultats intéressants avec un A/B test ?

Avant de pouvoir tester les résultats d'un A/B test, vous devez vous assurer que le test a atteint une signification statistique, c'est-à-dire une confiance d'au moins 95 % dans les résultats.  

Heureusement, de nombreux outils d'A/B testing intègrent la signification statistique. Vous pouvez donc savoir à quel moment votre test est prêt à être interprété.

5 - Qu'est-ce qu'un test à plusieurs variables, et en quoi se distingue-t-il d'un A/B test ?

Un A/B test est généralement utilisé pour tester l'efficacité d'une même idée de conception ou d'une théorie par rapport à un objectif (comme l'amélioration du taux de conversion). Les tests à plusieurs variables ont tendance à être utilisés pour des changements moins importants sur une plus longue période de temps. Ce type de test examine un certain nombre d'éléments de votre site et teste toutes les combinaisons possibles pour une optimisation continue.

L'A/B testing est idéal pour obtenir des résultats significatifs et rapides. Comme les différences d'une page à l'autre sont flagrantes, il est plus facile de déterminer quelle page est la plus efficace. L'A/B testing est aussi la méthode la plus adaptée lorsque le trafic vers un site n'est pas très important. Du fait des très nombreuses variables testées dans un test à plusieurs variables, il est nécessaire qu'un site soit très fréquenté pour parvenir à des résultats de test significatifs.

Si un site ne génère pas suffisamment de trafic pour justifier un test multivarié (un A/B testing reste possible si le test porte sur des designs et des mises en page entièrement repensés), vous pouvez tout de même effectuer ce test en cas de changements mineurs sur une page afin de déterminer comment certains éléments interagissent les uns avec les autres pour améliorer progressivement un design existant.

6 - L'A/B testing altère-t-il le SEO ?

Pour certains, l'A/B testing nuirait au référencement dans les moteurs de recherche dans le sens où il pourrait être considéré comme du contenu dupliqué, ce que les moteurs de recherche n'apprécient pas. Ce n'est absolument pas le cas, il est même conseillé d'effectuer des A/B tests pour améliorer le fonctionnement de votre site. Website Optimizer met également à mal une telle croyance. En cas d'inquiétude, il est toujours possible ajouter une balise « no index » à votre page de variation. 

7 - Comment et quand interpréter les résultats des A/B tests ?

Une fois le test lancé, les résultats commencent à se dessiner et il est normal d'avoir hâte de savoir quelle version est la plus efficace. Il est toutefois important de ne pas se précipiter pour interpréter les résultats. Il est conseillé d'attendre que le test ait atteint des statistiques significatives, puis de réexaminer l'hypothèse initiale. Ce n'est qu'à partir du moment où le test aura prouvé ou réfuté définitivement votre hypothèse que vous pourrez commencer à en tirer des conclusions. Lors de l'interprétation du test, il est important de faire preuve de la plus grande rigueur pour attribuer les résultats aux différents changements effectués. Il convient en effet de veiller à ce qu'un lien clair apparaisse entre un changement et le résultat, et qu'aucun autre facteur n'entre en jeu. 

8 - Combien de variables faut-il tester ?

La réalisation d'un A/B test est une tâche fastidieuse. Il est donc normal de chercher à obtenir une réponse claire et exploitable. Or, si plusieurs variables sont testées simultanément, il est difficile de déterminer avec précision laquelle des variables fait la différence. Ainsi, si chaque page comporte trois ou quatre variables et qu'il est possible d'affirmer qu'une page est plus performante que l'autre, il reste difficile d'en connaître la raison avec certitude, de savoir si l'une des variables nuit aux performances de la page ou de reproduire les éléments appropriés sur d'autres pages. Pour toutes ces raisons, il est conseillé de réaliser une série de tests de base à une variable pour itérer votre procédure sur une page dont les performances ont été démontrées.

9 - Que tester ?

Le choix des éléments à tester vous appartient, mais il est recommandé de commencer par les principaux éléments clés de votre page web. 

  • Call-to-action : même avec un simple call-to-action, il est possible de tester un certain nombre de choses. Il convient cependant au préalable d'identifier clairement quel aspect du CTA doit être testé. Vous pouvez ainsi tester le texte pour savoir ce que le CTA invite l'internaute à faire, tester le positionnement pour déterminer à quel endroit de la page se trouve le CTA, ou tester la forme et le style pour définir à quoi ressemble le CTA. 
  • Titre : il s'agit généralement de la première chose qu'un visiteur lit sur un site. Le potentiel d'impact est donc important. Essayez différents styles de titres dans vos A/B tests. Veillez à utiliser un positionnement clair pour chaque titre au lieu d'en modifier simplement la formulation. Vous serez ainsi mieux à même d'identifier la modification à l'origine du changement de comportement des utilisateurs.  
  • Les images : il est essentiel de déterminer l'élément qui, entre l'image d'une personne utilisant votre produit et celle du produit seul, a le plus de répercussions. Testez différentes versions de vos pages avec d'autres images annexes pour voir si cela peut avoir une incidence.
  • Longueur du texte : déterminez si le fait de raccourcir le texte de votre page donne lieu à un message plus clair ou si vous avez besoin de texte supplémentaire pour expliquer votre offre. En essayant différentes versions de votre texte, vous pourrez déterminer la quantité d'explications dont un lecteur a besoin avant la conversion. Pour que ce test fonctionne, essayez de garder le style et testez juste la longueur. 

10 - Pouvez-vous effectuer des A/B tests sur d'autres éléments que des pages Web ?

Oui. En plus des pages de destination et des pages web, de nombreux marketeurs conduisent des A/B tests sur des e-mails, des campagnes PPC et des call-to-action.  

  • Adresse e-mail : les variables de test d'e-mails comprennent, entre autres, la ligne d'objet, les fonctionnalités de personnalisation et le nom de l'expéditeur.
  • PPC : pour les campagnes de référencement payantes, vous pouvez effectuer des A/B tests sur le titre, le corps du texte, les liens hypertextes ou les mots-clés.
  • CTA : essayez de modifier le texte du CTA, sa forme, sa couleur ou son emplacement sur la page.

11 - Que faire en cas de doute vis-à-vis des résultats ?

Si vous n'avez pas confiance dans les résultats et que vous avez exclu toute erreur ou contestation de la validité du test, la meilleure chose à faire est de refaire le test. Considérez ce test comme un tout nouveau test et voyez si vous pouvez reproduire les résultats. Si vous pouvez le reproduire inlassablement, vous disposez probablement d'un solide ensemble de résultats.

12 - À quelle fréquence faut-il conduire un A/B testing ?

Les opinions divergent sur ce point. Il semble intéressant de tester et d'améliorer constamment votre site. Assurez-vous simplement que chaque test répond à un objectif clair, et qu'il donne lieu à un site plus fonctionnel pour vos visiteurs et votre entreprise. Si vous effectuez un grand nombre de tests qui donnent des résultats ou des améliorations minimes, reconsidérez votre stratégie de test.  

13 - Quels sont les éléments nécessaires pour commencer des A/B tests sur un site ?

La meilleure façon d'exécuter des A/B tests consiste à utiliser un outil logiciel conçu à cet effet.  HubSpot en propose un dans sa plateforme de logiciels marketing tout-en-un.  Parmi les autres fournisseurs figurent Unbounce et Visual Website Optimizer.  Si le code ne vous fait pas peur, Google dispose également d'un outil gratuit appelé Content Experiments in Google Analytics.  Il est un peu différent des A/B tests traditionnels, mais si vous vous débrouillez en programmation, vous pouvez l'essayer. 

14 - Au-delà de la taille de l'échantillon, quels sont les autres pièges de validité ?

Il existe deux types principaux d'erreurs dans les résultats :

  • Effet historique : un événement extérieur biaise les résultats des tests.
  • Effet instrumental : une erreur de votre logiciel de test sape les résultats des tests.

15 - Faut-il conduire un A/B test sur la page d'accueil ?

Bien que les A/B tests sur une page d'accueil ne soient pas à exclure complètement, ceux-ci sont difficilement concluants. Une page d'accueil génère un trafic d'origine très variable, des visiteurs accidentels aux leads et clients. Par ailleurs, une page d'accueil contient généralement une multitude de contenus : il peut donc être difficile après un test de déterminer ce qui pousse un visiteur à agir ou à ne pas agir. Enfin, en raison de la variété des personnes qui accèdent à la page d'accueil, il peut être difficile de déterminer un objectif clair pour la page et le test. Il peut sembler évident que l'objectif consiste à tester les conversions des leads en clients, mais si la visite de l'échantillon pendant le test met l'accent sur les clients et non sur les prospects, l'objectif défini pour ce groupe risque de changer. Si une entreprise souhaite tester sa page d'accueil, il est préférable qu'elle teste simplement ses CTA.  Au niveau de l'entreprise, le gestionnaire de CTA de HubSpot permet d'exécuter un A/B test sur un seul CTA du site plutôt que sur l'ensemble de la page. 

16 - Que faire en l'absence de contrôle ?

Un contrôle est la version existante de la page de destination ou de la page web sur laquelle un test est réalisé.  Parfois, les entreprises veulent tester deux versions d'une page jusque-là inexistante. Cela ne pose aucun problème. Il suffit de choisir l'une des variantes et de la considérer comme la page de « contrôle ». Il est préférable de choisir celle qui ressemble le plus à la conception actuelle des pages, et de réserver l'autre aux corrections.

17 - Pourquoi un test n'obtient-il pas un ratio de 50/50 ?

Parfois, pendant des A/B tests, le volume de trafic varie d'une variante à l'autre. Cela ne dénote pas une erreur de test, mais simplement que les variations aléatoires fonctionnent bien. Prenez l'exemple de la pièce de monnaie. Bien qu'il existe 50 % de chances que la pièce tombe côté face, il se peut qu'elle tombe trois fois de suite de ce côté. Plus le volume généré par un site augmente, plus la probabilité se rapproche de 50 %. 

Pour en découvrir plus sur l'A/B testing ainsi que sur d'autres techniques d'optimisation, téléchargez gratuitement notre ebook sur le Growth Hacking

Le guide du growth hacking

Publication originale le 21 mai 2019, mise à jour le 19 janvier 2023

Sujet(s):

a/b testing