SYS/DEF
Intervalle de confiance
La plage d’effets encore plausibles une fois les données vues. Une p-value sans IC, c’est une décision sans ampleur.
Définition
Un intervalle de confiance à 95 % est une procédure : si on répétait l’expérience beaucoup de fois, environ 95 % des intervalles construits ainsi couvriraient la vraie valeur. Ce n’est pas « 95 % de chance que le vrai lift soit dans l’intervalle » au sens bayésien — même si, en pratique, on s’en sert comme d’une plage d’incertitude.
Pour un lift relatif, l’IC se calcule sur la différence de proportions (Wald, ou une variante) puis se traduit en %. Un IC qui contient 0 dit que « pas d’effet » reste compatible avec les données, même si p est à 0,049.
Quand ça compte
Toujours, à côté du lift ponctuel. C’est la lecture honnête pour un comité : « on estime +8 %, et la plage va de +1 % à +15 % » n’est pas la même décision que « +8 %, plage de −4 % à +21 % ».
Il compte pour la significativité pratique : un effet statistiquement non nul mais dont l’IC tient tout entier sous le coût d’implémentation n’est pas un ship.
Pièges
Afficher ±2 points parce que « ça fait plus propre ». Interpréter un IC à 95 % comme une garantie individuelle. Recalculer l’IC à chaque peek (les bornes dansent, l’α aussi). Oublier que Wald est fragile sur de petits n ou des taux proches de 0 — d’où la note de méthode sur l’outil lift.
Termes liés
Outil associé
Lift relatif et IC à 95 %, affichés ensemble, sans arrondi marketing : Ouvrir lift et intervalle de confiance.