Shamalo

SYS/RES

Calculateurs

Valeur d’un test, acquisition, trafic et SEO — l’arithmétique de croissance.

Valeur attendue d’un test

Trafic, lift espéré, panier moyen, probabilité de gain et coût de mise en œuvre : la valeur attendue d’une expérimentation avant de la lancer. Priorisez sur des euros, pas sur des intuitions.

SYS/IN

Sessions exposées pendant la fenêtre du test.
Pourcentage. 2,5 % s’écrit 2,5. %
Hausse relative du CVR si B gagne. 10 % s’écrit 10. %
Euros par conversion. €
Jugement, pas une p-value. 30 % s’écrit 30. %
Design, dev, QA — en euros. €

SYS/OUT

Valeur attendue

1 500 €

Sous ces hypothèses, le test vaut plus que son coût — en euros, pas en p-values.

Conversions en plus si le lift se réalise
125
Revenu incrémental si le lift se réalise
10 000 €
Revenu incrémental espéré (× P(win))
3 000 €
Comment c’est calculé

Formule

La valeur attendue (EV, expected value) d’un test est :

EV = T × CVR × λ × AOV × P(win) − C

où :

  • T — trafic (sessions) exposé pendant la fenêtre du test
  • CVR — taux de conversion de référence (baseline conversion rate), en décimal (2,5 % → 0,025)
  • λ — lift relatif attendu (relative lift), en décimal (10 % → 0,10)
  • AOV — panier moyen (average order value), en euros
  • P(win) — probabilité que la variante gagne réellement, en décimal
  • C — coût de mise en œuvre, en euros

Le produit T × CVR × λ × AOV est le revenu incrémental si le lift se réalise. Le multiplier par P(win) donne l’espérance ; soustraire C donne la valeur nette.

Ce n’est pas une p-value. Un EV positif ne dit pas que le test est significatif ; il dit que, avec ces hypothèses, le test vaut plus que son coût.

Sources

Cadre de décision classique (espérance × enjeu − coût). Kohavi, Tang & Xu, Trustworthy Online Controlled Experiments (Cambridge University Press, 2020), sur le coût d’opportunité d’une expérimentation.

Limites

  • P(win) est un jugement, pas une postérieure bayésienne calculée ici.
  • Le lift est supposé constant sur tout le trafic T.
  • Le modèle ignore le coût d’opportunité du split (une partie du trafic reste en contrôle).
  • Ce n’est pas un calcul de taille d’échantillon ni de durée — voir les outils CRO du centre.

SYS/VIEW