Outils CRO

Méthode

Taille d’échantillon par variante pour un test z bilatéral sur deux proportions (taux de conversion). Avec (p_1) le taux de référence, (p_2) le taux cible, (\alpha) le risque de première espèce et (1-\beta) la puissance :

[ n = \left\lceil \frac{(z_{\alpha/2}+z_{\beta})^{2}\bigl(p_1(1-p_1)+p_2(1-p_2)\bigr)}{(p_2-p_1)^{2}} \right\rceil ]

Le MDE (minimum detectable effect, l’effet minimal détectable) fixe (p_2) à partir de (p_1). Il a deux modes, jamais implicites :

• Absolu : (p_2 = p_1 + \delta) — (\delta) en points de pourcentage (5 % + 1 pp = 6 %).
• Relatif : (p_2 = p_1(1+\delta)) — (\delta) en fraction du taux de base (5 % × 1,20 = 6 %).

Les deux lectures de « 20 % » ne sont pas interchangeables : 20 % relatif sur une base à 5 % vaut 1 point ; 20 points absolus mènent à 25 %. C’est le piège classique des calculateurs de planification.

Sources

• Evan Miller, Sample Size Calculator — l’outil de référence pour le test z sur deux proportions, avec le basculeur Absolute | Relative.
• Kohavi, Tang, Xu, Trustworthy Online Controlled Experiments (Cambridge, 2020), chap. 17 — planification de la puissance pour une métrique binaire.

Plusieurs MDE et durée

Le MDE de travail fixe le n affiché en grand. Les scénarios cochés recalculent le même n pour d’autres effets, absolus ou relatifs, puis le traduisent en durée : jours = ceil((n × variantes) / visiteurs_par_jour), avec un débit saisi par jour, semaine ou mois. L’unité choisie ne change pas le n.

Un test unilatéral utilise (z_{\alpha}) au lieu de (z_{\alpha/2}).

Limites

• Visiteurs indépendants. Un même utilisateur recookie, un split mal fait (SRM) ou une métrique au niveau commande invalidant le modèle binomial.
• Horizon fixe. Arrêter le test dès que (p < \alpha) (peeking) gonfle le risque réel. Ce n’est pas un test séquentiel.
• Deux variantes, une métrique. Plusieurs bras ou plusieurs KPI demandent une correction (Bonferroni, Holm, BH).
• Le (n) est par variante, pas le trafic total.