SYS/COCKPIT
Outils CRO
Pré-test, lecture post-test et regard séquentiel — le laboratoire d’expérimentation dans un seul espace.
Significativité A/B
Visiteurs, conversions et α pour chaque variante : z, p-value et décision. Le test fréquentiste post-test, sans arrondi marketing ni « gagnant à 89 % ».
SYS/IN
SYS/OUT
Avant de lire l’uplift, contrôlez le split observé contre le split attendu (SRM). Ouvrir l’outil SRM.
Effet observé et intervalle de confiance à 95 % (Wald, non poolé).
- Écart absolu (B − A)
- +0,6 %
- Lift relatif (B − A) / A
- 12 %
- IC à 95 % sur B − A
- -0,02 % … +1,22 %
L’intervalle recouvre 0 : même verdict que p > α.
p (bilatéral)
0,0583
z (poolé) 1,894
Sous H0, un écart au moins aussi large arriverait environ 5,8 % du temps.
On ne rejette pas H0 au seuil α. L’écart observé reste compatible avec le hasard à ce seuil — ce n’est pas un verdict de variante.
Horizon pré-enregistré manquant. Ce z-test suppose un n fixé à l’avance. Arrêter dès que p passe sous α, c’est peeking. Ouvrir l’outil peeking.
| A | B | |
|---|---|---|
| Taux | 5 % | 5,6 % |
Le tableau sous le graphique est la source lisible.
Comment c’est calculé
Méthode
Test z poolé sur deux proportions, bilatéral, à horizon fixé.
p̂ = (cA + cB) / (nA + nB), se = √(p̂(1 − p̂)(1/nA + 1/nB)), z = (pB − pA) / se, p = 2(1 − Φ(|z|)).
La phrase de décision est toujours sous H0 : « un écart au moins aussi large arriverait environ p du temps ». L’outil ne désigne pas une variante.
Sources
Evan Miller, How Not To Run An A/B Test — le z-test fréquentiste suppose que n a été fixé avant le premier regard.
Le calcul passe par twoProportionZ dans lib/stats (jstat pour Φ seulement).
Limites
Arrêter dès que p passe sous α, c’est peeking : l’α annoncé n’est plus l’α réel. Entrez le n pré-enregistré, ou admettez que vous n’en avez pas.
Avant l’uplift : SRM. Avec la p-value : lift et intervalle. Wald, pas Agresti-Coull : l’intervalle se dégrade près de 0 % et 100 %.