Shamalo example
revue-resultats-ab
Shamalo example: reading an A/B test after its planned end — lift and confidence interval, not an "89% winner".
MIT
Revue de résultats A/B
Exemple Shamalo. Une p-value n’est pas une décision.
Ordre de lecture
- Le test est-il allé au n et à la durée prévus ? Sinon, s’arrêter.
- SRM. Si cassé, s’arrêter.
- Lift relatif et intervalle de confiance. Ensemble.
- Significativité pratique : l’IC contient-il un effet trop petit pour justifier le ship ?
Phrases interdites
- « Gagnant à 89 %. »
- « Presque significatif, on laisse encore deux jours. » (peeking)
- « La variante B a l’air mieux sur le mobile. » (segment non prévu)
Sortie
Ship / no-ship / iterate, avec le lift et l’IC cités. Pas un screenshot de dashboard.
--- name: revue-resultats-ab description: Lit un A/B après la fin prévue — lift, IC, significativité pratique. À utiliser pour une revue de résultats, jamais pour peek un test en cours. license: MIT metadata: author: shamalo origin: teaching-example --- # Revue de résultats A/B Exemple Shamalo. Une p-value n’est pas une décision. ## Ordre de lecture 1. Le test est-il allé au n et à la durée prévus ? Sinon, s’arrêter. 2. SRM. Si cassé, s’arrêter. 3. Lift relatif **et** intervalle de confiance. Ensemble. 4. Significativité pratique : l’IC contient-il un effet trop petit pour justifier le ship ? ## Phrases interdites - « Gagnant à 89 %. » - « Presque significatif, on laisse encore deux jours. » (peeking) - « La variante B a l’air mieux sur le mobile. » (segment non prévu) ## Sortie Ship / no-ship / iterate, avec le lift et l’IC cités. Pas un screenshot de dashboard.