SYS/COCKPIT
Outils CRO
Pré-test, lecture post-test et regard séquentiel — le laboratoire d’expérimentation dans un seul espace.
Bayesian chance-to-beat
Postérieure bêta-binomiale et probabilité que B batte A, avec le prior affiché en clair. Une alternative aux p-values, à condition de ne jamais cacher l’hypothèse de départ.
SYS/IN
SYS/OUT
Probabilité que B batte A
50 %
Avec un prior Beta(1, 1), la probabilité que B batte A est 50 %.
Barres : moyenne de θ sous la postérieure bêta-binomiale. Tableau : l’exemple par défaut, lisible sans JavaScript.
Comment c’est calculé
Méthode
Deux taux de conversion, deux postérieures bêta-binomiales indépendantes. Avec un prior (\mathrm{Beta}(\alpha_0, \beta_0)),
- A : (\theta_A \sim \mathrm{Beta}(\alpha_0 + c_A,\ \beta_0 + n_A - c_A))
- B : (\theta_B \sim \mathrm{Beta}(\alpha_0 + c_B,\ \beta_0 + n_B - c_B))
La chance-to-beat est (P(\theta_B > \theta_A)), calculée de façon déterministe (série de Cook quand (\alpha_B) est entier, quadrature fixe sinon). Pas de tirage Monte Carlo.
Le prior par défaut est (\mathrm{Beta}(1,1)) (uniforme). L’interface propose aussi Jeffreys (\mathrm{Beta}(0{,}5, 0{,}5)). Dans les deux cas, le prior est écrit dans la phrase de résultat — le cacher reviendrait à vendre un pourcentage orphelin.
Sources
- Evan Miller, Bayesian A/B Testing.
- John D. Cook, Exact calculation of beta inequalities (UTMDABTR-005-05, 2005).
- Les chiffres passent par
chanceToBeatdanslib/stats— l’île ne réimplémente pas la mathématique.
Limites
- Visiteurs indépendants, une métrique binaire, deux bras. Pas un plan séquentiel, pas Waudby-Smith.
- Un prior n’est pas « neutre » : (\mathrm{Beta}(1,1)) pèse comme deux observations. Le changer déplace le pourcentage ; c’est le contrat, pas un bug.
- Une chance-to-beat de 95 % n’est pas « B gagne à 95 % » au sens fréquentiste. C’est (P(\theta_B > \theta_A \mid \text{données}, \text{prior})).