SYS/DEF
Peeking
Regarder le test avant la fin et s’arrêter quand ça arrange. Chaque regard dépense de l’α que vous n’aviez pas budgété.
Définition
Le peeking est l’arrêt optionnel : vous calculez une p-value (ou une chance-to-beat) plusieurs fois, et vous stoppez à la première traversée de seuil. Sous un design fréquentiste fixe, chaque regard supplémentaire gonfle le risque α réel bien au-delà des 5 % affichés. C’est de l’optional stopping, pas de l’agilité.
Un design séquentiel (SPRT, frontières) autorise les regards intermédiaires parce que le seuil bouge avec n. Peeking sans frontière, c’est tricher avec la procédure ; séquentiel, c’est une autre procédure.
Quand ça compte
Dès qu’un dashboard A/B est ouvert en réunion hebdo. Si le protocole dit n = 20 000 par bras, lire p à 4 000 et shipper n’est pas « aller plus vite », c’est changer le test. La durée en semaines existe pour ça : une date de fin, pas une p-value de fin.
Il compte pour Bonferroni : k regards ≈ k tests sur les mêmes données.
Pièges
« On jette un œil, on ne décide pas » — l’œil décide quand même. Recaler n à la hausse seulement quand A gagne. Utiliser un outil bayésien comme permis de peeker sans règle d’arrêt. Confondre peeking et monitoring d’intégrité (SRM, bugs) : surveiller le split n’est pas juger le lift.
Termes liés
Outil associé
Combien de regards gonflent α, et ce qu’une frontière SPRT (Evan Miller) donnerait à la place : Ouvrir peeking / test séquentiel.