SYS/COCKPIT
Outils CRO
Pré-test, lecture post-test et regard séquentiel — le laboratoire d’expérimentation dans un seul espace.
Peeking / test séquentiel
Combien de regards intermédiaires gonflent votre α, et ce que donnerait une frontière séquentielle (SPRT d’Evan Miller) à la place. Pédagogique et calculatoire, pas une implémentation Waudby-Smith.
SYS/IN
SYS/OUT
SYS/α
Inflation de α — k regards
α réellement dépensé = 22,62 %
seuil Bonferroni α/k = 1 % · k = 5 · α = 5 %
k regards naïfs à α sans ajustement. Bonferroni α/k est le correctif brut, pas un plan séquentiel.
SYS/SPRT
SPRT d’Evan Miller — |T − C| contre 2√N
|T − C| = 40 · borne 2√N = 28,284
La règle dit d’arrêter : |T − C| a atteint 2√N. Le traitement (T) est au-dessus de la borne.
Ce n’est pas une séquence de confiance Waudby-Smith / GrowthBook. Voir la méthode. Règle d’Evan Miller · Ce que font les plateformes (GrowthBook).
Comment c’est calculé
Méthode
Deux calculs distincts, volontairement séparés.
1. Inflation de α par k regards (Bonferroni)
Regarder un test fixe (k) fois sans ajuster multiplie les fausses détections. L’erreur familiale non corrigée est (1 - (1 - \alpha)^k). Le seuil de Bonferroni (\alpha / k) ramène le risque nominal sous (\alpha). C’est une pédagogie, pas un plan séquentiel.
2. Règle séquentielle d’Evan Miller (SPRT)
On s’arrête dès que (|T - C| \ge 2\sqrt{N}), où (T) et (C) sont des conversions et (N = T + C). Les visiteurs ne rentrent pas dans la règle ; ils ne servent qu’à l’affichage.
Source implémentée : Evan Miller — Sequential A/B Testing.
Ce que cet outil n’est pas
Ce n’est pas les always-valid confidence sequences de Waudby-Smith & Ramdas (2023) telles que les livrent les plateformes de production. GrowthBook documente cette famille ici : docs.growthbook.io/statistics/sequential. Shamalo cite cette page pour dire ce que font les plateformes ; le calcul de cette page reste la SPRT d’Evan Miller et le Bonferroni à (k) regards.
Pas de confetti. Un « stop » n’est pas « B gagne à 95 % ».
Sources
- Evan Miller — Sequential A/B Testing
- GrowthBook — Sequential Testing (Waudby-Smith 2023)
- Bonferroni, 1936 — inégalité union, seuil (\alpha/k).
Limites
La SPRT d’Evan Miller ignore le trafic et suppose un horizon ouvert. Bonferroni est conservateur et suppose des regards indépendants. Ni l’un ni l’autre ne remplace une séquence de confiance always-valid en production.