SYS/DEF
Risque α
Le faux positif budgété : rejeter H0 alors qu’il n’y a pas d’effet. 5 % veut dire une fausse alerte sur vingt tests vrais-nuls.
Définition
Le risque α (erreur de type I) est la probabilité, fixée à l’avance, de déclarer un effet alors que H0 est vraie. Le seuil 0,05 est une convention de laboratoire, pas une constante physique. À chaque test indépendant vrai-nul, vous « gagnez » un faux positif une fois sur vingt. Dix tests, c’est une autre histoire — d’où Bonferroni et les amis.
α n’est pas la p-value. α est le budget ; p est la facture d’un échantillon.
Quand ça compte
À la conception, par écrit, avec la puissance et le MDE. Un α plus strict (1 %) si un faux win coûte cher à builder. Un α plus lâche si vous explorez — mais alors vous n’appelez pas ça une décision de ship.
Il se consomme aussi par peeking et par métriques multiples. Le α affiché de 5 % n’est le α réel que si la procédure est celle prévue.
Pièges
Baisser α après un p de 0,06 pour « passer ». Croire que α = 5 % protège une ferme de 30 tests. Confondre α et β. Annoncer « on est à 95 % de confiance » en mélangeant IC, puissance, et 1 − p.
Termes liés
Outil associé
Visiteurs, conversions et α : z, p, décision — le budget α se lit ici, pas dans un slide : Ouvrir significativité A/B.