SYS/DEF
Test séquentiel
Une frontière qui bouge avec n, pour autoriser les regards intermédiaires sans exploser α. SPRT n’est pas un A/B classique regardé plus souvent.
Définition
Un test séquentiel définit, pour chaque taille d’échantillon, une borne d’arrêt : on peut regarder souvent, parce que la règle d’arrêt a été calée pour garder α (et souvent β) sous contrôle. Le SPRT d’Evan Miller pour deux proportions compare un score T − C à une frontière du type 2√N — pédagogiquement clair, ce n’est pas la confidence sequence de Waudby-Smith utilisée par certaines plateformes.
La différence avec le peeking naïf : ici, la procédure inclut les regards. Là-bas, on vole des regards à une procédure qui les interdisait.
Quand ça compte
Quand le métier ne peut pas attendre un n fixe (saisonalité courte, incident à surveiller) et accepte un design un peu plus conservateur ou une taille attendue différente. Quand vous voulez monitorer sans mentir sur α.
Ce n’est pas obligatoire. Un test à n fixe avec date de fin reste le défaut Shamalo, plus simple à expliquer.
Pièges
Brancher un SPRT après deux semaines de peeking classique. Croire que « séquentiel » = « on peut shipper dès que ça touche la borne du lundi ». Ignorer que certaines plateformes font du sequential moderne (Waudby-Smith) : ne pas coller leurs p-values sur un z fixe, ni l’inverse. Oublier le SRM : une frontière élégante sur un split cassé reste invalide.
Termes liés
Outil associé
Inflation d’α des k regards, et frontière SPRT d’Evan Miller — pas une implémentation Waudby-Smith : Ouvrir peeking / test séquentiel.