SYS/COCKPIT
Outils CRO
Pré-test, lecture post-test et regard séquentiel — le laboratoire d’expérimentation dans un seul espace.
CUPED / réduction de variance
Ce qu’une corrélation ρ avec une covariable pré-période retire de variance, et le facteur de durée gagné. Outil éducatif : il n’exécute pas CUPED sur vos données.
SYS/IN
Outil éducatif : il traduit ρ en facteur de variance. Il n’exécute pas CUPED sur un fichier, et il n’y a pas d’import CSV.
SYS/OUT
Variance restante
75 %
Durée implicite vs non ajusté
75 %
Il reste 75 % de la variance d’origine, donc environ 75 % de la durée d’un test non ajusté pour la même puissance.
Courbe : 1 − ρ². Tableau : l’exemple ρ = 0,5 → 0,75, lisible sans JavaScript.
Comment c’est calculé
Méthode
CUPED (Controlled-experiment Using Pre-Experiment Data) retire de la variance en régressant la métrique post-période sur une covariable observée avant le test. Si ρ est la corrélation entre la métrique et cette covariable,
[ \mathrm{Var}' = \mathrm{Var},(1 - \rho^2). ]
Le facteur cupedVarianceFactor(ρ) = 1 − ρ² est à la fois la variance restante et, à puissance égale, le facteur de durée vs un test non ajusté. Un ρ de 0,5 laisse 75 % de variance — le test peut durer ~75 % aussi longtemps.
Cet écran ne lit aucun fichier. Il ne prétend pas exécuter CUPED sur vos données : il traduit un ρ que vous supposez.
Sources
- Deng, A., Xu, Y., Kohavi, R. & Walker, T. (2013), Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data (WSDM).
- Kohavi, Tang, Xu, Trustworthy Online Controlled Experiments (Cambridge, 2020), chap. 22.
- Le chiffre passe par
cupedVarianceFactordanslib/stats.
Limites
- ρ n’est pas magique : il faut une covariable pré-période réellement corrélée (souvent la même métrique sur une fenêtre avant).
- CUPED réel estime θ = Cov(Y, X) / Var(X) sur les données, puis Y_cv = Y − θ(X − E[X]). Ici on n’a que ρ.
- Pas de Waudby-Smith, pas d’estimateur CUPED en ligne, pas d’upload CSV.