Résultats d'Expérience
Consultez les résultats de l'expérience avec des indicateurs de significativité statistique — taux de conversion par variante, niveaux de confiance et recommandation sur la variante gagnante.
Ce que vous verrez
La page de résultats d'une expérience affiche :
Tableau de synthèse des variantes
| Variante | Utilisateurs exposés | Conversions | Taux de conversion | Amélioration | Confiance |
|---|---|---|---|---|---|
control | 2 450 | 147 | 6,0 % | — | — |
variante-a | 2 398 | 192 | 8,0 % | +33,3 % | 97,2 % |
- Utilisateurs exposés — nombre d'utilisateurs uniques qui ont reçu cette variante
- Conversions — nombre d'utilisateurs ayant effectué l'événement de conversion après exposition
- Taux de conversion —
conversions / utilisateurs exposés × 100 - Amélioration — différence relative par rapport au groupe
control - Confiance — probabilité statistique que la différence observée ne soit pas due au hasard
Indicateur de significativité
QuickMonitoring affiche un indicateur visuel selon le niveau de confiance :
- Confiance ≥ 95 % — Résultat statistiquement significatif. La différence est réelle avec haute probabilité.
- Confiance entre 80 % et 95 % — Tendance prometteuse mais pas encore conclusive. Attendez plus de données.
- Confiance < 80 % — Pas de différence statistiquement détectable. Attendez ou reconsidérez l'expérience.
Recommandation du système
En bas de la page, QuickMonitoring affiche une recommandation :
- "Déployer variante-a" — La variante a un taux de conversion significativement supérieur au contrôle.
- "Conserver le contrôle" — Le contrôle performe mieux que la variante ou de façon équivalente.
- "Données insuffisantes" — L'expérience n'a pas encore assez de données pour conclure. Continuez à collecter.
Graphique temporel
Un graphique d'évolution montre le taux de conversion de chaque variante jour par jour, permettant d'observer :
- La stabilisation des résultats au fil du temps
- Les effets de nouveauté (la variante performe mieux au début, puis converge)
- Les anomalies liées à des événements externes (jours fériés, campagnes marketing, etc.)
Comment interpréter les résultats
Comprendre le niveau de confiance (p-value)
Le niveau de confiance est calculé via un test du chi-deux (χ²) sur les taux de conversion. Un niveau de confiance de 95 % signifie qu'il y a seulement 5 % de probabilité que la différence observée soit due au hasard.
Important : un niveau de confiance de 95 % est le seuil standard pour la prise de décision. Ne prenez pas de décision sur la base de résultats à 70 % de confiance — la différence pourrait disparaître avec plus de données.
Taille d'échantillon minimale
Pour une expérience valide, chaque variante doit avoir :
- Au minimum 100 conversions (idéalement 200+)
- Au minimum 1 000 utilisateurs exposés par variante pour les taux de conversion faibles (< 5 %)
Si votre site a peu de trafic, envisagez d'allonger la durée de l'expérience plutôt que d'arrêter prématurément.
Effets de nouveauté et de primauté
- Effet de nouveauté — les utilisateurs interagissent plus avec une interface nouvelle par curiosité. Les résultats des premiers jours peuvent surestimer la performance de la variante.
- Effet de primauté — les utilisateurs fidèles à l'interface actuelle peuvent résister au changement. Les résultats à long terme peuvent sous-estimer la performance de la variante.
Attendez au moins 7 jours avant de conclure pour mitiger ces effets.
Comment agir sur les résultats
Si la variante gagne (confiance ≥ 95 %)
- Notez les résultats et archivez l'expérience dans le tableau de bord.
- Passez le déploiement du flag à 100 % pour exposer tous les utilisateurs à la variante gagnante.
- Planifiez la suppression du flag et la consolidation du code sur la variante gagnante.
Si le contrôle gagne
- Laissez le flag désactivé ou passez le déploiement à 0 %.
- Analysez pourquoi la variante n'a pas performé — les données qualitatives (heatmaps, enregistrements de session) peuvent apporter des éclairages.
Si les résultats ne sont pas significatifs
- Continuez l'expérience si vous avez encore de la capacité.
- Vérifiez que l'événement de conversion est correctement instrumenté.
- Envisagez de revoir la variante testée — la différence entre les deux conditions est peut-être trop faible pour générer un effet mesurable.
Condition de validation
Vous obtenez cet achievement lorsque : une expérience A/B en cours affiche des données de résultats — au moins une conversion enregistrée pour au moins une variante, et les statistiques de confiance sont calculées et visibles dans le tableau de bord.
Problèmes courants
La confiance reste à 0 % même après plusieurs jours.
Vérifiez que QMTracker.track() est bien appelé dans votre code avec le bon nom d'événement (identique à celui configuré dans l'expérience). Vérifiez également que le flag multivariant est activé et que les utilisateurs reçoivent bien des variantes différentes.
Les taux de conversion semblent trop faibles ou trop élevés. Vérifiez que l'événement de conversion n'est envoyé qu'une seule fois par utilisateur (et non à chaque page vue). Si l'événement se déclenche plusieurs fois, utilisez un mécanisme de déduplication :
let conversionEnregistree = false;
document.getElementById('btn-achat').addEventListener('click', () => {
if (!conversionEnregistree) {
QMTracker.track('achat_complete');
conversionEnregistree = true;
}
});
Le graphique temporel montre des pics erratiques. Des pics importants peuvent indiquer un événement externe (campagne marketing, article de presse, panne technique). Examinez ces dates et, si nécessaire, excluez-les de l'analyse en ajustant la période de l'expérience.
Je veux comparer plusieurs métriques, pas seulement une.
Actuellement, chaque expérience suit un seul événement de conversion principal. Pour suivre des métriques secondaires, créez des événements track() supplémentaires et consultez-les dans la section Analytics de votre site.