SYS/DEF
SRM
Sample ratio mismatch : le split observé n’est pas le split promis. Tant que le χ² dit non, vous ne lisez pas l’uplift.
Définition
Un SRM est un écart significatif entre la répartition observée des unités (visiteurs, sessions) et la répartition attendue (50/50, 80/20…). On le teste par un χ² de goodness-of-fit. Un p faible veut dire : l’affectation n’a pas fait ce qu’elle prétendait. Causes typiques : bot filtering asymétrique, flicker, redirection qui perd B, mauvais identifiant, lancement en cours de journée sans reset.
Un SRM n’est pas « un peu de hasard ». Avec n large, même 51/49 est souvent trop beau pour être du bruit — ou trop laid pour être un test.
Quand ça compte
Avant la p-value d’effet, à chaque lecture, et en monitoring d’intégrité (ça, ce n’est pas du peeking). Un test avec SRM est invalide : vous ne savez pas à qui le traitement a été donné.
Il compte à la conception : sticky assignment, exclusion des internes, pas de double outil d’A/B sur la même page.
Pièges
Relire l’uplift « quand même ». Corriger le split à la main en jetant des observations. Tester le SRM sur les conversions au lieu des affectés (vous mélangez effet et allocation). Attendre la fin pour le découvrir.
Termes liés
Outil associé
χ² et p du split observé contre l’attendu, avant le moindre uplift : Ouvrir SRM.