SYS/COCKPIT
Outils CRO
Pré-test, lecture post-test et regard séquentiel — le laboratoire d’expérimentation dans un seul espace.
SRM
Sample Ratio Mismatch : comparez la répartition observée à la répartition attendue (χ², p-value) avant de lire le moindre uplift. Un split cassé invalide tout ce qui suit.
SYS/IN
Testez l’écart de répartition d’échantillon (SRM) avant de lire le moindre uplift. Glossaire : SRM.
SYS/OUT
χ² = 40
ddl = 1 · p = 2,54E-10 · Attendus = 500 / 500
p est faible : l’intégrité du test est douteuse — ne lisez pas l’uplift.
L’intégrité du test est douteuse si p est faible. On lit ce résultat avant tout uplift.
Comment c’est calculé
Méthode
L’écart de répartition d’échantillon (SRM) est un test du χ² d’adéquation : on compare les effectifs observés par bras aux effectifs attendus sous le split prévu (50/50 par défaut).
[ \chi^2 = \sum_i \frac{(O_i - E_i)^2}{E_i},\quad E_i = n,\pi_i,\quad \mathrm{df} = k - 1. ]
La p-value est la queue supérieure de la loi χ² à (k-1) degrés de liberté. On la lit avant tout uplift. Si p est faible, l’affectation elle-même est suspecte — bug de randomisation, redirection qui perd une variante, filtre analytics — et le reste du test n’est plus interprétable.
Seuil usuel en industrie : (p < 0{,}001). Ce n’est pas un test d’effet ; c’est un test d’intégrité.
Sources
- Kohavi, Tang, Xu — Trustworthy Online Controlled Experiments, chapitre SRM.
- Pearson, « On the criterion that a given system of deviations… », 1900.
Limites
Deux bras en v1 (un 50/25/25 n’est pas encore saisi ici). Les parts attendues doivent être strictement positives et sommer à 1. Un total d’effectifs nul est rejeté. L’outil détecte un split cassé ; il ne le corrige pas.