CUPED

Définition

CUPED (Deng et al., Microsoft) réduit la variance d’une métrique en la régressant sur une covariable observée avant l’expérience — typiquement la même métrique sur une pré-période. Si la corrélation ρ entre pré-période et outcome est forte, la variance résiduelle vaut environ Var × (1 − ρ²). Moins de variance → plus de puissance, ou un test plus court, pour le même effet réel.

CUPED ne crée pas de lift. Il affine l’estimateur. Un ρ de 0,4 retire 16 % de variance ; un ρ de 0,8 en retire 64 %. Sans covariable corrélée, CUPED ne fait rien.

Quand ça compte

Sur des métriques continues bruyantes (RPV, AOV, temps passé) quand vous avez un historique utilisateur stable. Moins utile sur une conversion rare à froid, où la pré-période est souvent une suite de zéros.

C’est un outil de planification : estimer ρ, puis le facteur de durée gagné, avant de promettre un test d’une semaine à la direction.

Pièges

Utiliser une covariable post-traitement (ça absorbe l’effet). Croire que CUPED autorise de peeker. L’appliquer en boîte noire sans vérifier que la pré-période n’est pas elle-même biaisée (saisonnalité, cohorte nouvelle). Confondre réduction de variance et réduction de biais — CUPED n’arrange pas un SRM.

Termes liés

• Puissance statistique
• MDE
• RPV

Outil associé

Ce que ρ retire de variance, et le temps de test gagné — éducatif, pas un moteur sur vos logs : Ouvrir CUPED / réduction de variance.