Aller au contenu principal

Expérience A/B

Open in QuickMonitoring→ Sites → [Votre Site] → Expériences → Nouvelle Expérience

Créez une expérience A/B formelle : définissez un contrôle et une ou plusieurs variantes, configurez votre métrique de succès (événement de conversion), et laissez QuickMonitoring assigner aléatoirement les utilisateurs et suivre les résultats.

Ce que vous verrez​

La page Expériences (accessible depuis la barre latérale de votre site) liste toutes vos expériences avec :

  • Nom de l'expérience
  • Statut — En cours, En pause, Terminée
  • Flag associé — le feature flag multivariant utilisé pour l'assignation des variantes
  • Objectif de conversion — l'événement suivi comme indicateur de succès
  • Période — dates de début et de fin
  • Résultat — En attente, Variante A gagne, Contrôle gagne, Non significatif

Le bouton Nouvelle Expérience ouvre le formulaire de création.

Comment l'utiliser​

Étape 1 — Créer le flag multivariant​

Avant de créer une expérience, créez un flag multivariant avec au moins deux variantes. Ce flag sera utilisé pour assigner chaque utilisateur à un groupe :

  • control — groupe de référence, comportement actuel
  • variante-a — première variation à tester

Consultez la documentation Variantes de Flag pour créer ce flag.

Étape 2 — Instrumenter la conversion dans votre code​

L'expérience mesure un événement de conversion — une action que l'utilisateur effectue et qui indique le succès. Envoyez cet événement avec QMTracker.track() :

// Exemple : mesurer le taux de clics sur le bouton principal
document.getElementById('btn-inscription').addEventListener('click', () => {
  QMTracker.track('inscription_completee', {
    source: 'page_accueil'
  });
});
// Exemple : mesurer la complétion d'un achat
async function finaliserCommande(commande) {
  await soumettreCommande(commande);

  QMTracker.track('achat_complete', {
    montant: commande.total,
    devise: 'CAD'
  });
}

Étape 3 — Créer l'expérience​

Cliquez sur Nouvelle Expérience et remplissez le formulaire :

ChampDescription
NomLibellé de l'expérience (ex. Test bouton CTA — couleur)
DescriptionHypothèse testée et contexte (ex. Un bouton rouge génère-t-il plus de clics que le bouton bleu actuel ?)
Flag associéSélectionnez le flag multivariant créé à l'étape 1
Événement de conversionNom de l'événement track() à mesurer (ex. inscription_completee)
Fenêtre de conversionDélai maximum entre l'exposition au flag et la conversion (ex. 7 jours)
Date de débutQuand l'expérience commence à collecter des données
Date de finOptionnel — l'expérience peut être arrêtée manuellement

Cliquez sur Lancer l'expérience.

Étape 4 — Activer le flag​

Assurez-vous que le flag multivariant associé est activé dans le tableau de bord Feature Flags. Les utilisateurs ne seront assignés à des variantes que si le flag est actif.

Étape 5 — Laisser l'expérience s'exécuter​

Pour des résultats statistiquement significatifs, l'expérience doit recueillir suffisamment de données. En règle générale :

  • Minimum 100 conversions par variante pour des résultats fiables
  • Durée minimale recommandée : 7 jours pour capturer les variations de comportement selon les jours de la semaine
  • Évitez d'arrêter une expérience dès les premiers résultats — les effets de "chance du débutant" (peeking problem) faussent les conclusions prématurées

Bonnes pratiques pour une expérience A/B valide​

  • Ne modifiez pas les poids des variantes une fois l'expérience lancée — cela invalide les données historiques.
  • Testez une seule variable à la fois — si vous changez à la fois la couleur et le texte du bouton, vous ne pouvez pas isoler quelle variable a causé l'effet.
  • Définissez votre hypothèse avant de lancer — ex. "Un bouton rouge augmentera le taux de clic de 15 % par rapport au bouton bleu actuel."
  • Ne regardez pas les résultats en temps réel pour prendre une décision — attendez la fin de la période ou l'atteinte de la significativité statistique.

Condition de validation​

Vous obtenez cet achievement lorsque : une expérience A/B est créée dans le tableau de bord pour ce site, avec un flag multivariant associé et un événement de conversion défini, et que l'expérience est en statut En cours.

Problèmes courants​

Aucun utilisateur n'est assigné aux variantes de l'expérience. Vérifiez que le flag multivariant associé est activé et que son pourcentage de déploiement est supérieur à 0 %. Vérifiez également que QMTracker.getFlag() est appelé dans votre code pour ce flag.

L'événement de conversion n'apparaît pas dans la liste. Les événements disponibles sont extraits des données reçues via QMTracker.track(). Si l'événement n'a jamais été envoyé depuis ce site, il n'apparaît pas dans la liste. Effectuez d'abord un appel test avec QMTracker.track('nom-de-levenement') pour le faire apparaître.

Les variantes ne sont pas distribuées équitablement. Avec peu d'utilisateurs, la distribution peut sembler déséquilibrée. Avec un grand nombre d'utilisateurs, la distribution convergera vers les poids configurés. Si le déséquilibre persiste avec un grand volume, contactez le support.

Je veux relancer une expérience terminée. Créez une nouvelle expérience avec le même flag et la même métrique. Ne réutilisez pas une expérience terminée — les données historiques resteraient mélangées avec les nouvelles données.