Inférence bayésienne

Définition

L’inférence bayésienne pour un A/B binaire combine un prior (souvent une loi bêta) avec les succès et échecs observés. La postérieure décrit la croyance mise à jour sur le taux de chaque variante. La « chance that B beats A » est la probabilité, sous cette postérieure, que le taux de B soit supérieur à celui de A.

Ce n’est pas 1 moins la p-value. Une p-value répond à « sous H0, à quel point cet écart est-il surprenant ? ». La chance-to-beat répond à « étant donné le prior et les données, quelle est la probabilité que B soit vraiment devant ? ». Changer le prior change la réponse.

Quand ça compte

Elle est utile quand vous voulez une phrase lisible par un métier (« environ 86 % de chance que B soit meilleur ») et que vous acceptez d’afficher le prior. Elle est aussi un recours quand le test n’a pas été dimensionné pour un seuil fréquentiste, à condition de ne pas la vendre comme une garantie.

Elle ne remplace pas un contrôle d’intégrité. Un SRM reste un SRM, bayésien ou non.

Pièges

Cacher le prior est de la prestidigitation : Beta(1,1) uniforme n’est pas la même chose qu’un prior informatif calé sur « on est sûrs que ça gagne ». Arrêter le test dès que la chance-to-beat passe 95 % sans règle séquentielle, c’est encore du peeking. Enfin, traduire 95 % de chance-to-beat par « B gagne » dans un slide ignore l’ampleur de l’effet et son coût.

Termes liés

• Test z
• p-value
• Risque α

Outil associé

Postérieure bêta-binomiale et probabilité que B batte A, prior affiché sans détour : Ouvrir Bayesian chance-to-beat.