SYS/DEF
Effet de nouveauté
Les utilisateurs réagissent à la nouveauté, pas au traitement. Le lift du lundi s’évapore le jeudi.
Définition
L’effet de nouveauté (novelty) est un biais temporel : la variante B attire clics et conversions parce qu’elle est nouvelle, pas parce qu’elle est meilleure à l’équilibre. L’effet inverse existe aussi (changement d’habitude, primacy) : les utilisateurs anciens boudent B le temps de réapprendre, puis convergent.
On le voit sur des courbes de lift journalier qui chutent après 3–7 jours, ou sur un écart concentré chez les visiteurs récurrents vs les nouveaux. Ce n’est pas un bug de stats ; c’est un phénomène de produit.
Quand ça compte
Dès que le traitement est visible (nouveau header, nouveau tarif, nouvelle nav). Un test trop court capture surtout la nouveauté. D’où le rappel des cycles hebdomadaires dans la durée de test : au moins une semaine pleine, souvent deux, pas « dès que p < 0,05 ».
Il compte aussi à la lecture : un lift significatif concentré sur les 48 premières heures, plat ensuite, n’est pas un win à shipper tel quel.
Pièges
Arrêter au premier pic. Exclure les utilisateurs anciens « pour que ce soit plus propre » — vous mesurez alors uniquement les naïfs. Relancer le même test après un ship partiel : la cohorte a déjà vu B. Confondre saisonnalité (week-end, paye) et novelty.
Termes liés
Outil associé
Traduire un n en semaines de calendrier, avec le rappel qu’un test trop court est un test qu’on va peeker et dont on mesurera surtout la nouveauté : Ouvrir durée de test.