SYS/CASE
Croissance & Performance · CRO · Analytics · 2025
Compagnie aérienne — analyser un test A/B et recommander de ne pas déployer
Par Mathieu Milon, AI engineer growth & CRO · Publié le
Étude de cas — analyse d'un test A/B sur le parcours de réservation d'une grande compagnie aérienne (extract réel, 135 298 visiteurs). L'hypothèse testée : remplacer le pop-up « Détails vol » par un panneau latéral sans casser la progression vers le récapitulatif.
Client anonymisé. Chiffres issus du dossier de travail, pas d'un communiqué de la compagnie.
−2,25 % · ne pas déployer
Contexte
Deux marques d'un même groupe aérien partagent un même funnel de réservation (seules les couleurs changent). À l'étape sélection de vol, « Détails » ouvre l'information vol. Le test change le contenant de cette information : pop-up d'un côté, panneau latéral (side panel) de l'autre.
Problème
Deux questions avant même de lire les chiffres : quel KPI décide (l'achat est trop sous-alimenté pour trancher seul), et comment lire l'effet selon l'appareil — un side panel ne se comporte pas de la même façon sur mobile et sur desktop.
Approche
KPI primaire = taux d'atteinte de la page récapitulatif (pas l'achat, trop rare pour être significatif). Secondaires : paiement, revenu par visiteur. L'analyse se déroule ensuite en trois temps.
Nettoyage de l'extract
214 473 lignes d'extract ramenées à 135 298 visiteurs uniques : c'est cette base-là, et pas le journal brut, qui est lue ensuite. SQL et Python reconstruisent l'analyse à partir de l'extract.
Tests statistiques
Vérification du SRM (p = 0,18) avant toute lecture : sans répartition saine des visiteurs entre les variantes, aucun chiffre ne tient. Puis z-test sur le KPI primaire — le taux de récapitulatif — et sur les secondaires.
Segments
Un explorer HTML pour parcourir les 29 segments croisés — appareil, marque, haul. C'est là que l'effet se localise : mobile dégradé, desktop à peu près neutre.
Outils
- SQL
- Python
- Explorer HTML — 29 segments
Où l'IA intervient
Reconstruire l'analyse en SQL + Python en jours plutôt qu'en semaines, générer l'explorer de 29 segments, relire les résultats — la décision reste humaine : ne pas déployer.
Résultats
Récap (primaire)
−2,25 %
49,36 % → 48,25 % · sig. > 99 %
Achat
−2,54 %
non significatif (sous-alimenté)
Où ça casse
Mobile
desktop à peu près neutre
| Groupe | Taux de récapitulatif |
|---|---|
| Contrôle | 49,36 % |
| Variante | 48,25 % |
−2,25 %, significatif à plus de 99 % · achat −2,54 %, non significatif · SRM p = 0,18 · 214 473 lignes d'extract → 135 298 visiteurs uniques · 29 segments analysés. Recommandation : ne pas déployer le side panel.
L'axe part de zéro et s'arrête à 55 %, délibérément : un axe tronqué transformerait un écart de 2,25 % en falaise, alors que tout le cas consiste à mesurer un écart petit — petit, négatif et pourtant significatif.
Protocole complet
| Mesure | Valeur |
|---|---|
| Lignes d'extract traitées | 214 473 |
| Visiteurs uniques analysés | 135 298 |
| Segments croisés | 29 |
| Taux de récapitulatif, contrôle | 49,36 % |
| Taux de récapitulatif, variante | 48,25 % |
| Effet sur l'achat | −2,54 % (non significatif) |
| Contrôle de répartition (SRM) | p = 0,18 |
Enseignement
- 1
Le KPI primaire d'abord : choisir la bonne mesure de décision avant de regarder les chiffres évite de se laisser guider par un signal trop faible.
- 2
Un SRM propre avant de lire : sans répartition saine des visiteurs entre variantes, aucune conclusion ne tient.
- 3
Savoir dire non : la vraie valeur d'une analyse, c'est parfois de recommander de ne pas déployer.
Visuels
Contrôle : les détails vol s'ouvrent en pop-up Variante : les détails vol glissent en panneau latéral
Expertises liées : CRO, Analytics, AI engineering.
Un projet similaire ?
Parlons de votre prochain chantier
Un funnel, un produit ou un extract à analyser : réservez un appel de 30 minutes, cadrage écrit sous 48 h.