Test z

Définition

Le test z de deux proportions compare p_A et p_B sous une normale : la statistique est la différence des taux, divisée par l’erreur standard (pooled sous H0 pour le test, parfois unpooled pour l’IC). On en déduit une p-value bilatérale par défaut. C’est le moteur des calculateurs d’Evan Miller, de la taille d’échantillon binaire, du MDE, de la significativité A/B.

Pour plus de deux bras, ou une covariable, on sort du z simple : χ², régression, CUPED. Le z n’est pas jaloux.

Quand ça compte

Métrique binaire, deux variantes, n pas microscopique, indépendance des unités. C’est le défaut pour un CVR. Ce n’est pas le défaut pour un AOV (continue) ni pour un 2×N.

La puissance et le MDE se dérivent du même modèle : si vous dimensionnez en z, lisez en z, pas en « on sent que ça va ».

Pièges

L’appliquer à des unités non indépendantes (plusieurs sessions du même user traitées comme des Bernoulli iid). Oublier la continuité ou les petits n (taux 0,1 %, n = 200). Unilatéral après coup parce que « on savait que B serait mieux ». Transformer z en « B gagne à 95 % ».

Termes liés

• p-value
• Test du χ²
• MDE

Outil associé

Le z post-test, la p, la décision — fréquentiste, sans arrondi de slide : Ouvrir significativité A/B.