Test du χ²

Définition

Le test du χ² de Pearson mesure l’écart entre des comptes observés et des comptes attendus sous une hypothèse. Pour un SRM, l’attendu est le split (50/50, 50/25/25…). Pour une table de contingence, l’attendu se calcule à partir des marges. La statistique χ², avec ses degrés de liberté, donne une p-value via la loi du khi-deux.

Un test z sur deux proportions est un cas particulier. Dès que vous avez plus de deux variantes, ou une variante croisée avec un segment, le χ² (ou un modèle équivalent) est le langage honnête.

Quand ça compte

Avant de lire le moindre uplift : SRM. Après un test multi-variantes. Quand un métier demande « est-ce que ça marche mieux sur mobile ? » — ce n’est plus un A/B, c’est une table.

Les effectifs doivent être suffisants. Des cellules à 3 visites rendent le χ² approximatif ; la p-value alors affichée est un théâtre.

Pièges

Lire un χ² significatif comme « B gagne ». Le test dit qu’au moins une cellule dévie, pas laquelle, ni dans quel sens utile. Découper les segments jusqu’à trouver un χ² bas est du p-hacking. Ignorer le SRM et enchaîner sur le z, c’est valider un test dont l’affectation est déjà cassée.

Termes liés

• SRM
• Test z
• Correction de Bonferroni

Outil associé

χ² sur une table 2×N pour plusieurs variantes ou un segment : Ouvrir Chi² / table de contingence.