Shamalo

SYS/COCKPIT

Outils CRO

Pré-test, lecture post-test et regard séquentiel — le laboratoire d’expérimentation dans un seul espace.

Pré-testMDE

MDE donné n

Puissance inversée : avec le trafic dont vous disposez — en visiteurs, ou en débit × durée (jours, semaines, mois) — quel est le plus petit effet détectable ? Plusieurs MDE se comparent, et chacun dit s’il tient dans la fenêtre.

SYS/IN

5MDE (minimum detectable effect, l’effet minimal détectable) : le plus petit écart que ce trafic peut encore voir. Absolu = points de % ; relatif = fraction du taux de base. Définition dans le glossaire.
Comment fixer le trafic
La fenêtre multiplie le débit par la durée, puis répartit le total à parts égales entre les variantes.
Trafic du site entier, pas par variante. Semaine = 7 jours, mois = 365,25 / 12.
Unité du débit
Lire les durées en
Variantes
Le n statistique reste celui d’une comparaison à deux bras. 3 ou 4 variantes allongent le calendrier (trafic total = n × variantes). La correction multi-tests est un autre outil.
Sens du test
Unilatéral si seule une hausse compte. Bilatéral si une baisse aussi doit se voir.
MDE affiché en grand
5
80
Scénarios de MDECochez plusieurs effets. Chacun a son n et sa durée. Le MDE détectable, lui, se calcule sur le trafic disponible.

SYS/OUT

MDE détectable

1 pp

  • en points de pourcentage: 1 pp
  • en relatif du taux de référence: 20 %

n disponible par variante: 8 155 — Fenêtre couverte par ce n: 5,9 semaines

Durée selon le MDE choisi
MDEn / varianteDurée (semaines)Avec ce trafic
0,5 pp31 23122,4Hors fenêtre
1 pp8 1555,9Tenu
2 pp2 2101,7Tenu
10 % relatif31 23122,4Hors fenêtre
20 % relatif8 1555,9Tenu
Durée selon le MDE choisi

Barres : durée de chaque scénario coché, dans l’unité choisie. Le tableau se lit sans JavaScript.

Comment c’est calculé

Méthode

Puissance inversée : avec un budget de (n) visiteurs par variante et un taux de base (p_1), quel est le plus petit effet encore détectable au (\alpha) et à la puissance choisis ?

Le calcul inverse la formule de taille d’échantillon du test z sur deux proportions (bisection sur le MDE absolu, monotone en (\delta)). Le résultat est renvoyé dans le mode demandé :

  • Absolu : (\delta) en points de pourcentage.
  • Relatif : (\delta / p_1), fraction du taux de base.

Les deux lectures s’affichent toujours ensemble, pour qu’un « 20 % » ne puisse pas être lu en points. C’est la question honnête avant de lancer un test : ce trafic peut-il voir l’effet qu’on espère ?

Sources

Fenêtre et scénarios

Le n par variante peut être saisi tel quel, ou déduit d’un débit (visiteurs par jour, par semaine ou par mois) multiplié par une durée dans l’unité choisie, puis réparti à parts égales sur 2, 3 ou 4 variantes. Semaine = 7 jours. Mois = 365,25 / 12 jours — une moyenne, pas un mois nommé.

Chaque scénario coché est un MDE candidat, absolu (points) ou relatif (fraction du taux de base). Pour chacun, l’outil calcule le n requis et la durée dans l’unité d’affichage, puis dit si le trafic disponible le couvre. Le MDE détectable reste l’inversion de puissance sur ce trafic, pas la moyenne des scénarios.

Un test unilatéral remplace (z_{\alpha/2}) par (z_{\alpha}). Il ne se justifie que si une baisse n’a pas à être détectée.

Limites

  • Même modèle que la taille d’échantillon binaire : visiteurs indépendants, horizon fixe, deux variantes, une métrique.
  • Un (n) observé après coup n’est pas un (n) pré-enregistré. Si le test a déjà peeké, ce MDE n’est plus le MDE du protocole.
  • Ce n’est pas une décision « B gagne ». C’est un plancher de détectabilité sous H0, pas un verdict sur une variante.

SYS/VIEW

SYS/NAV