Comment définir la durée et la taille d'échantillon pour l'A/B testing d'un e-mail ?

L'A/B testing des e-mails consiste à envoyer deux versions d'un même message de manière aléatoire à deux échantillons de votre base de contacts afin de déterminer la version la plus performante de votre e-mail, afin de l'envoyer ensuite au reste de vos contacts.

Mais si les différentes versions sont présentées à trop peu de contacts et pendant une durée trop courte, les résultats du test peuvent être faussés, et vous risquez de baser vos décisions sur des données qui ne sont pas pertinentes d'un point de vue statistique. 

Taille de l'échantillon et durée d'un A/B test pour un e-mail : entre la théorie et la pratique

En théorie, d'un point de vue statistique, pour déterminer si la variante A ou la variante B est la plus performante, vous devez attendre d'obtenir suffisamment de résultats afin de voir si l'une d'elles se démarque significativement de l'autre. 

Selon votre entreprise, la taille de l'échantillon et le mode d'exécution de l'A/B test, quelques heures, quelques jours ou plusieurs semaines peuvent être nécessaires pour pouvoir tirer une conclusion valide. D'un point de vue purement théorique, vous ne devriez donc pas limiter la durée du test.

Dans de nombreux cas, les tests peuvent durer aussi longtemps que nécessaire. Si vous testez le contenu d'un titre sur une page de destination, vous pouvez facilement attendre plusieurs mois avant de tirer des conclusions. Il en va de même pour les CTA de votre blog, puisque, par sa nature, cette stratégie de génération de leads s'étend sur le long terme. 

Cependant, lorsqu'il est question de tester des e-mails, attendre longtemps n'est pas toujours conseillé, pour plusieurs raisons :

1 - Chaque e-mail est destiné à une audience prédéterminée

Contrairement à une page de destination (dont l'audience croît au fil du temps), une fois que vous envoyez un e-mail dans le cadre d'un A/B test, vous ne pouvez plus y ajouter de destinataires. Vous devez donc déterminer comment tirer le meilleur parti possible de vos e-mails.

En règle générale, vous devez envoyer les versions de test au nombre minimum de personnes requises pour obtenir des résultats fiables, puis choisir la variante la plus performante et l'envoyer au reste de votre audience.

2 - Une campagne d'e-mail marketing peut comporter plusieurs e-mails par semaine

Attendre trop longtemps pour recueillir les résultats peut vous empêcher d'envoyer l'e-mail suivant, prévu dans votre workflow. Ainsi, dans de nombreux cas, vous ne pourrez pas vous permettre d'effectuer plusieurs tests avant d'envoyer la meilleure version à la plus grande partie de votre segment. 

3 - Les e-mails doivent souvent être envoyés à un moment précis

Que ce soit pour coïncider avec le lancement d'une nouvelle campagne ou pour optimiser les chances d'ouverture du message par les destinataires, les e-mails marketing sont généralement envoyés à une date et une heure précises. Dès lors, si vous attendez d'obtenir des statistiques suffisamment probantes pour envoyer vos e-mails, vous risquez de perdre tellement de temps qu'ils ne seront plus pertinents et que vos efforts seront vains. 

C'est pourquoi vous devez fixer une durée pour les A/B tests : au terme de ce délai, si aucun résultat n'est concluant d'un point de vue statistique, l'une des deux variantes (que vous choisissez au préalable) sera envoyée au reste de votre audience. De cette manière, vous pouvez effectuer des A/B tests pour vos e-mails tout en respectant les impératifs marketing en matière de planification.

Pour optimiser les performances de vos campagnes lorsque vous effectuez des A/B tests de vos e-mails, vous devez donc tenir compte à la fois de la durée de ces tests et de la taille de l'échantillon.

Comment préparer son A/B test pour un e-mail ?

Chaque e-mail que vous envoyez dans le cadre d'un A/B test est destiné à une audience prédéterminée. Vous devez donc choisir comment optimiser les résultats de ce test.

Pour ce faire, vous devez identifier le nombre minimum de personnes requises parmi tous vos destinataires pour obtenir des statistiques fiables. 

1 - Déterminez si le nombre de vos contacts est sufisant pour un A/B test 

Idéalement, pour procéder à un A/B test, vous devez disposer d'au moins 1 000 contacts. En deçà de cette valeur, moins vous avez de contacts, plus la proportion de vos contacts qui recevra une version de test sera importante. 

Par exemple, pour obtenir des statistiques probantes à partir d'un faible nombre de contacts, vous devrez peut-être tester 85 % ou 95 % des destinataires. Dans ce cas, le nombre de destinataires n'ayant pas reçu le test est si faible qu'il aurait sans doute mieux valu envoyer une variante d'e-mail à la moitié de vos contacts et l'autre variante aux 50 % restants afin de voir la différence.

Les statistiques que vous récolterez ne seront peut-être pas aussi parlantes que prévu, mais cette approche vous permet de recueillir des informations utiles sur votre audience en attendant que votre liste de destinataires atteigne au moins 1 000 contacts.

Clients HubSpot : vous devez également avoir au moins 1 000 contacts afin de pouvoir effectuer des A/B tests pour vos e-mails. Si ce n'est pas le cas, la version A de votre e-mail est envoyée automatiquement à la moitié de votre audience et la version B à l'autre moitié.

Selon votre programme de messagerie, vous devrez peut-être calculer la taille de l'échantillon en pourcentage plutôt qu'en nombre de contacts. Lorsque vous effectuez un A/B test pour un e-mail dans HubSpot, vous devez sélectionner le pourcentage de contacts auxquels l'envoyer, et non pas un nombre de contacts. 

Pour ce faire, il vous suffit de diviser la taille de l'échantillon par le nombre total de contacts qui constituent votre liste de destinataires. 

2 - Déterminez la durée adéquate d'un A/B test

Vous devez à présent déterminer la durée de l'A/B test de votre e-mail avant d'envoyer la version la plus performante au reste des destinataires. Même si les statistiques jouent un rôle un peu moins important au cours de cette étape, vous devez exploiter les données passées pour prendre la meilleure décision possible.

Si l'envoi de l'e-mail le plus performant au reste de vos contacts peut attendre, profitez-en pour analyser vos données. 

Identifiez le moment où le nombre d'ouvertures de votre e-mail (ou tout autre indicateur que vous utilisez comme référence) commence à chuter.

Pour ce faire, examinez le nombre d'e-mails envoyés par le passé. Observez, par exemple, le pourcentage de clics que vous avez obtenus le premier jour. Si l'envoi de votre e-mail a généré 70 % des clics lors des premières 24 heures, puis 5 % chaque jour suivant, il est logique de limiter la durée de l'A/B test à 24 heures. En effet, il serait inutile d'attendre quelques jours de plus vu le peu d'informations supplémentaires que vous récolteriez. Dans ce cas de figure, il serait également préférable de déterminer au bout des premières 24 heures si les statistiques permettent d'identifier une variante qui sort du lot.

Ce qui se passe ensuite dépend de vos résultats et de vos paramètres :

1. Si la taille de l'échantillon est suffisamment grande et si les statistiques ont permis d'identifier une variante plus performante dans le délai imparti, beaucoup de programmes d'e-mail marketing envoient automatiquement cette version.
2. Si la taille de l'échantillon est suffisamment grande, mais si les statistiques n'ont pas permis de distinguer une variante plus performante dans le délai imparti, certains programmes d'e-mail marketing vous permettent également d'envoyer automatiquement la version de votre choix.
3. Si la taille de l'échantillon est réduite ou si vous exécutez un A/B test de type 50/50, vous déciderez quand envoyer l'e-mail suivant en fonction des résultats de l'e-mail initial. 

Si vous devez distribuer la variante la plus performante avant une certaine heure ou une certaine date, déterminez jusqu'à quand vous pouvez attendre de l'envoyer sans nuire à sa pertinence ou aux autres e-mails que vous devez transmettre. 

Par exemple, si vous avez envoyé un e-mail à 6 h du matin pour faire la promotion d'une offre spéciale qui se termine à minuit le même jour, il est déconseillé d'attendre jusqu'à 23 h pour choisir la variante de l'A/B test à distribuer au reste des destinataires. Mieux vaut choisir d'envoyer la version la plus performante assez tôt, afin de laisser aux contacts qui n'ont pas été impliqués dans l'A/B test le temps de réagir.

Une fois que vous aurez effectué les calculs requis et que vous aurez analysé vos données, vous serez en bien meilleure position pour effectuer des A/B tests de vos e-mails qui génèrent des statistiques fiables et qui vous orientent dans la bonne direction.

Vous connaissez à présent un peu mieux les mécanismes de l'A/B testing. Pour aller encore plus loin, consultez notre e-book sur le Growth Hacking qui vous permettra de vous familiariser avec des modèles qui vous permettront d'augementer rapidement les performances ainsi que la croissance de votre entreprise.