SYS/COCKPIT
Outils CRO
Pré-test, lecture post-test et regard séquentiel — le laboratoire d’expérimentation dans un seul espace.
Lift et intervalle de confiance
Le lift relatif et son intervalle de confiance à 95 %, affichés ensemble. De quoi arrêter de lire une p-value en ignorant la taille d’effet et sa plage d’incertitude.
SYS/IN
SYS/OUT
Lift relatif (B − A) / A
+12 %
- Écart absolu (B − A)
- +0,6 %
- IC de Wald à 95 % sur B − A
- -0,02 % … +1,22 %
- Le même IC, lu en lift relatif
- -0,42 % … +24,42 %
L’intervalle recouvre 0. Un lift ponctuel dont l’IC traverse zéro n’est pas une preuve que B dépasse A.
Intervalle de Wald (p̂ ± z √(p̂(1 − p̂)/n) sur chaque bras, se non poolé). Pas Agresti-Coull : près de 0 % ou 100 %, l’approximation se dégrade.
La p-value et le z : outil significativité
| A | B | |
|---|---|---|
| Taux | 5 % | 5,6 % |
Le tableau est la source lisible ; le graphique est une aide.
Comment c’est calculé
Méthode
Lift relatif = (pB − pA) / pA.
L’intervalle est un Wald à 1 − α sur la différence de deux proportions, se non poolé :
se = √(pA(1 − pA)/nA + pB(1 − pB)/nB), IC = (pB − pA) ± z_{α/2} se, borné à [−1, 1].
La lecture relative divise les bornes par pA. Ce n’est pas Agresti-Coull.
Sources
Wald classique sur une différence de proportions. Les chiffres passent par waldCiDifference et twoProportionZ dans lib/stats. La p-value vit dans Significativité A/B — ici on montre l’effet et sa plage.
Limites
Wald se dégrade près de 0 % et 100 %. Un lift ponctuel dont l’IC recouvre 0 n’est pas une preuve. Le test suppose des visiteurs indépendants et un horizon fixé.