Shamalo example
analyser-un-srm
Shamalo example: reading a Sample Ratio Mismatch before looking at any uplift.
MIT
Analyser un SRM
Exemple Shamalo. Un split cassé invalide tout ce qui suit.
Entrées
- n observé par variante
- split attendu (souvent 50/50, parfois 90/10)
- seuil (p < 0,001 est un signal fort ; ne pas négocier à 0,05)
Lecture
- χ² de conformité vs l’attendu, pas vs « ça a l’air équilibré ».
- Si SRM : arrêter. Ne pas interpréter le lift.
- Chercher la cause (attribution, bot, redirect, flicker, mauvais cookie) avant de relancer.
Sortie attendue
Une phrase : « split OK » ou « SRM, test invalide, ne pas ship ». Pas un tableau d’uplift à côté.
--- name: analyser-un-srm description: Vérifie un Sample Ratio Mismatch avant de lire un uplift. À utiliser dès qu’un split observé ne colle pas à l’attendu, ou avant toute revue de résultats A/B. license: MIT metadata: author: shamalo origin: teaching-example --- # Analyser un SRM Exemple Shamalo. Un split cassé invalide tout ce qui suit. ## Entrées - n observé par variante - split attendu (souvent 50/50, parfois 90/10) - seuil (p < 0,001 est un signal fort ; ne pas négocier à 0,05) ## Lecture 1. χ² de conformité vs l’attendu, pas vs « ça a l’air équilibré ». 2. Si SRM : **arrêter**. Ne pas interpréter le lift. 3. Chercher la cause (attribution, bot, redirect, flicker, mauvais cookie) avant de relancer. ## Sortie attendue Une phrase : « split OK » ou « SRM, test invalide, ne pas ship ». Pas un tableau d’uplift à côté.