SYS/COCKPIT
Outils CRO
Pré-test, lecture post-test et regard séquentiel — le laboratoire d’expérimentation dans un seul espace.
Taille d’échantillon (continue)
La même question pour une métrique continue — panier moyen, revenu par visiteur. Plusieurs écarts, absolus ou en % de la moyenne, et la durée lue en jours, semaines ou mois. Le modèle de variance diffère du cas binaire.
SYS/IN
SYS/OUT
Visiteurs par variante
566
Durée au débit saisi: 0,4 semaines
Approximation 16 σ² / δ² (80 % / 5 %): 576. Règle de pouce de Kohavi / Evan Miller à α = 5 % et puissance 80 %, test bilatéral. Ce n’est pas le résultat unique : le n ci-dessus utilise zα et zβ de vos réglages.
| MDE | n / variante | Durée (semaines) | Face au δ de travail |
|---|---|---|---|
| 5 | 566 | 0,4 | Tenu par le réglage |
| 10 | 142 | 0,1 | Tenu par le réglage |
| 10 % de la moyenne = 5 | 566 | 0,4 | Tenu par le réglage |
Barres : durée de chaque scénario, dans l’unité choisie. Tableau lisible sans JavaScript.
Comment c’est calculé
Méthode
Taille d’échantillon par variante pour une métrique continue (panier moyen, revenu par visiteur), test t / z bilatéral sur deux moyennes de même variance :
[ n = \left\lceil \frac{2,\sigma^{2},(z_{\alpha/2}+z_{\beta})^{2}}{\delta^{2}} \right\rceil ]
(\sigma) est l’écart-type de la métrique, (\delta) le MDE dans la même unité (euros, pas un pourcentage du taux). Ce n’est pas le calcul binaire : la variance ne vient pas de (p(1-p)).
À (\alpha = 5,%) et puissance (80,%), (2(z_{\alpha/2}+z_{\beta})^{2} \approx 16), d’où la règle de pouce de Kohavi / Evan Miller (n \approx 16,\sigma^{2}/\delta^{2}). L’outil affiche les deux : le (n) exact et cette approximation, clairement étiquetée.
La moyenne de référence n’entre pas dans le n d’un δ absolu — elle sert à relire l’écart (« 5 € sur un panier à 50 € ») et à convertir un scénario relatif : δ = moyenne × pourcentage.
Les scénarios cochés relancent la même formule. La durée est ceil((n × variantes) / débit quotidien), lue en jours, semaines ou mois.
Sources
- Kohavi, Tang, Xu, Trustworthy Online Controlled Experiments (Cambridge, 2020) — la règle (16\sigma^{2}/\delta^{2}) à 80 % / 5 %.
- Evan Miller, Sample Size Calculator (continuous) — même famille, modèle de variance distinct du cas binaire.
Limites
- Variance homogène entre variantes. Une métrique très asymétrique (revenu) viole l’hypothèse ; CUPED ou une transformation aident, ce calcul ne le fait pas.
- Visiteurs indépendants, horizon fixe, pas de peeking.
- (\delta) est un écart de moyenne, pas un lift relatif. Si vous pensez en « +10 % de panier », convertissez-le en euros avant de lancer le calcul.