SYS/COCKPIT
Outils CRO
Pré-test, lecture post-test et regard séquentiel — le laboratoire d’expérimentation dans un seul espace.
Corrections tests multiples
Bonferroni, Holm et Benjamini–Hochberg appliqués à votre liste de p-values. Dix variantes et dix métriques, ce n’est plus un test : c’est une loterie à corriger.
SYS/IN
SYS/OUT
Corrections · α = 0,050
| # | p brute | Bonferroni | Holm | Benjamini–Hochberg |
|---|---|---|---|---|
| 1 | 0,010 | 0,040 — rejetée | 0,030 — rejetée | 0,020 — rejetée |
| 2 | 0,040 | 0,160 — conservée | 0,060 — conservée | 0,040 — rejetée |
| 3 | 0,030 | 0,120 — conservée | 0,060 — conservée | 0,040 — rejetée |
| 4 | 0,005 | 0,020 — rejetée | 0,020 — rejetée | 0,020 — rejetée |
Corriger une liste de p n’est pas un substitut à un plan séquentiel. Le peeking est un cousin : il gonfle α dans le temps, pas seulement entre tests. Voir Peeking / test séquentiel. Peeking / test séquentiel.
Comment c’est calculé
Méthode
Quand on lit plusieurs p-values (variantes, métriques, segments), le risque de fausse découverte n’est plus α. Trois corrections classiques, toutes à α = 0,05 ici :
- Bonferroni : seuil α/m, p ajustée = min(1, m·p). Contrôle du FWER, souvent trop sévère.
- Holm : Bonferroni pas-à-pas (step-down). Même FWER, un peu plus de puissance. On part du plus petit p ; au premier échec, on s’arrête.
- Benjamini–Hochberg : contrôle du FDR (step-up). On cherche le plus grand k tel que p(k) ≤ (k/m)α, puis on rejette tout ce rang et en dessous.
Coller une p-value par ligne. L’île appelle bonferroni, holm et benjaminiHochberg dans lib/stats — elle ne refait pas le tri.
Sources
- Holm, S. (1979), A simple sequentially rejective multiple test procedure, Scandinavian Journal of Statistics.
- Benjamini, Y. & Hochberg, Y. (1995), Controlling the false discovery rate, JRSS-B.
- Bonferroni, C. E. (1936) — le seuil α/m.
Limites
C’est le cousin du peeking : multiplier les regards (ici : entre tests, pas dans le temps) gonfle le faux positif. Ce n’est pas un substitut à un plan séquentiel. Si vous avez regardé le même test tous les jours, corriger une liste de p finales ne répare pas l’α déjà dépensé — voir Peeking / test séquentiel. Les p sont supposées indépendantes ou au moins positives ; BH se dégrade si les tests sont fortement dépendants.