Correction de Bonferroni

Définition

La correction de Bonferroni contrôle le family-wise error rate : si vous faites m tests indépendants au seuil α, la probabilité d’avoir au moins un faux positif grimpe vers 1 − (1 − α)^m. Bonferroni répond en testant chacun à α / m. Quatre variantes et α = 5 % → chaque comparaison se juge à 1,25 %.

Holm est un raffinement pas-à-pas, moins conservateur à puissance égale. Benjamini–Hochberg contrôle le false discovery rate, pas le FWER : plus de « vrais » effets passent, au prix de davantage de faux parmi les déclarés.

Quand ça compte

Dès que vous avez plus d’une comparaison : dix variantes, cinq métriques, trois segments, ou simplement k regards sur le même test (peeking). Un « dashboard de winners » sans correction est une loterie.

Elle compte aussi à la conception : si Bonferroni va tuer la puissance, mieux vaut pré-enregistrer une métrique primaire et traiter le reste en exploratoire.

Pièges

Appliquer Bonferroni après coup sur les p-values qui « avaient l’air bonnes » n’est pas une correction, c’est du cherry-picking habillé. Corriger 40 tests dont 35 n’avaient aucune hypothèse, c’est punir la métrique primaire pour le tourisme analytique. L’autre extrême : ne corriger que les métriques secondaires et laisser dix variantes se battre au seuil 5 %.

Termes liés

• Peeking
• p-value
• Risque α

Outil associé

Bonferroni, Holm et Benjamini–Hochberg sur votre liste de p-values : Ouvrir corrections tests multiples.