MDE

Définition

Le MDE est l’effet plancher d’un test dimensionné : avec n visites par variante, un taux de base p, un α et une puissance (souvent 80 %), c’est le plus petit écart que vous avez une chance raisonnable de déclarer. En dessous, le test est sous-alimenté : un vrai +3 % passera inaperçu la plupart du temps.

Il s’exprime en points (absolu) ou en % du baseline (relatif). 1 point sur un CVR de 5 % n’est pas 1 % relatif. Les calculateurs d’Evan Miller — et les nôtres — exigent que le mode soit explicite.

Quand ça compte

Avant de promettre un test, pas après. La question honnête est : « avec le trafic dont nous disposons réellement, que peut-on détecter ? » Si le MDE est plus grand que le lift que l’hypothèse ose, on ne lance pas, ou on change de métrique, de durée, de dispositif (CUPED, moins de variantes).

Il compte aussi en post-test : un résultat « non significatif » avec un MDE de +15 % ne prouve pas l’absence d’un effet de +4 %.

Pièges

Lancer quand même « pour voir ». Dimensionner sur le trafic du lundi. Oublier le split 50/50 réel (SRM, holdouts). Confondre MDE relatif et absolu et multiplier n par quatre sans le vouloir. Raconter qu’un test non significatif « confirme que A est aussi bon que B ».

Termes liés

• Puissance statistique
• Lift
• Risque α

Outil associé

Puissance inversée : trafic réel et taux de base → plus petit effet détectable : Ouvrir MDE donné n.