Shamalo

Shamalo example

analyser-un-srm

Shamalo example: reading a Sample Ratio Mismatch before looking at any uplift.

MIT

Open the source

Analyser un SRM

Exemple Shamalo. Un split cassé invalide tout ce qui suit.

Entrées

  • n observé par variante
  • split attendu (souvent 50/50, parfois 90/10)
  • seuil (p < 0,001 est un signal fort ; ne pas négocier à 0,05)

Lecture

  1. χ² de conformité vs l’attendu, pas vs « ça a l’air équilibré ».
  2. Si SRM : arrêter. Ne pas interpréter le lift.
  3. Chercher la cause (attribution, bot, redirect, flicker, mauvais cookie) avant de relancer.

Sortie attendue

Une phrase : « split OK » ou « SRM, test invalide, ne pas ship ». Pas un tableau d’uplift à côté.

---
name: analyser-un-srm
description: Vérifie un Sample Ratio Mismatch avant de lire un uplift. À utiliser dès qu’un split observé ne colle pas à l’attendu, ou avant toute revue de résultats A/B.
license: MIT
metadata:
  author: shamalo
  origin: teaching-example
---

# Analyser un SRM

Exemple Shamalo. Un split cassé invalide tout ce qui suit.

## Entrées

- n observé par variante
- split attendu (souvent 50/50, parfois 90/10)
- seuil (p < 0,001 est un signal fort ; ne pas négocier à 0,05)

## Lecture

1. χ² de conformité vs l’attendu, pas vs « ça a l’air équilibré ».
2. Si SRM : **arrêter**. Ne pas interpréter le lift.
3. Chercher la cause (attribution, bot, redirect, flicker, mauvais cookie) avant de relancer.

## Sortie attendue

Une phrase : « split OK » ou « SRM, test invalide, ne pas ship ». Pas un tableau d’uplift à côté.

SYS/VIEW