Shamalo

Exemple Shamalo

revue-resultats-ab

Exemple Shamalo : lire un A/B après la fin prévue — lift et IC, pas un « gagnant à 89 % ».

MIT

Ouvrir la source

Revue de résultats A/B

Exemple Shamalo. Une p-value n’est pas une décision.

Ordre de lecture

  1. Le test est-il allé au n et à la durée prévus ? Sinon, s’arrêter.
  2. SRM. Si cassé, s’arrêter.
  3. Lift relatif et intervalle de confiance. Ensemble.
  4. Significativité pratique : l’IC contient-il un effet trop petit pour justifier le ship ?

Phrases interdites

  • « Gagnant à 89 %. »
  • « Presque significatif, on laisse encore deux jours. » (peeking)
  • « La variante B a l’air mieux sur le mobile. » (segment non prévu)

Sortie

Ship / no-ship / iterate, avec le lift et l’IC cités. Pas un screenshot de dashboard.

---
name: revue-resultats-ab
description: Lit un A/B après la fin prévue — lift, IC, significativité pratique. À utiliser pour une revue de résultats, jamais pour peek un test en cours.
license: MIT
metadata:
  author: shamalo
  origin: teaching-example
---

# Revue de résultats A/B

Exemple Shamalo. Une p-value n’est pas une décision.

## Ordre de lecture

1. Le test est-il allé au n et à la durée prévus ? Sinon, s’arrêter.
2. SRM. Si cassé, s’arrêter.
3. Lift relatif **et** intervalle de confiance. Ensemble.
4. Significativité pratique : l’IC contient-il un effet trop petit pour justifier le ship ?

## Phrases interdites

- « Gagnant à 89 %. »
- « Presque significatif, on laisse encore deux jours. » (peeking)
- « La variante B a l’air mieux sur le mobile. » (segment non prévu)

## Sortie

Ship / no-ship / iterate, avec le lift et l’IC cités. Pas un screenshot de dashboard.

SYS/VIEW