p-value

Définition

La p-value est une queue de distribution sous l’hypothèse nulle : « si A et B étaient en vérité identiques, à quelle fréquence verrait-on un écart au moins aussi marqué que celui-ci, rien que par le hasard d’échantillonnage ? » Une p de 0,03 veut dire : sous H0, environ 3 % des répétitions donneraient un écart aussi large ou plus.

Elle ne dit pas P(H0 | données), ni P(B est meilleur), ni l’ampleur de l’effet. D’où l’intervalle de confiance à côté, toujours.

Quand ça compte

En lecture post-test, après l’intégrité (SRM, peeking, instrumentation). Seuil α fixé avant : souvent 5 %, parfois 1 % si le coût d’un faux positif est élevé. La phrase Shamalo : « sous H0, un écart au moins aussi large arriverait ~p du temps » — jamais « B gagne à 97 % ».

Elle compte pour les corrections multiples : une collection de p-values n’est pas une collection de wins.

Pièges

Peeking jusqu’à p < 0,05. Traduire 1 − p en « chance de gagner ». Recaler α après coup. Ignorer l’effet (une p minuscule sur un lift de 0,01 point). Comparer des p entre tests de n différents comme des scores de qualité.

Termes liés

• Test z
• Risque α
• Intervalle de confiance

Outil associé

z, p-value et décision à partir des visiteurs et conversions, sans « gagnant à 89 % » : Ouvrir significativité A/B.