Protocole d’attribution causale des interventions GEO

Statut du protocole

Ce document propose une méthode d’évaluation. Il ne constitue ni une promesse de résultat, ni une certification universelle, ni une norme sectorielle adoptée.

Son objectif est plus précis : empêcher qu’une variation observée après une intervention GEO soit automatiquement présentée comme un effet causé par cette intervention.

Le protocole applique la position L’attribution causale en GEO exige un contrefactuel et complète Les métriques GEO ne pilotent pas la représentation.

1. Commencer par séparer deux questions causales

Une étude ne doit jamais fusionner les deux objets suivants.

1.1 Effet sur la visibilité du Web ouvert

La première question est :

Dans quelle mesure l’intervention a-t-elle modifié la probabilité qu’une entité, un domaine, une page ou une source apparaisse dans des réponses génératives observées sur le Web ouvert ?

Les résultats possibles comprennent notamment :

• taux de présence de l’entité ;
• taux de citation du domaine ;
• sélection d’une source canonique ;
• part de voix dans un panel explicitement défini ;
• présence dans une classe d’intentions ;
• ordre ou proéminence d’apparition.

Cet objet est fortement exposé aux changements exogènes : adoption des interfaces, déploiements de surfaces, modifications de modèles, politiques de citation, composition des requêtes, concurrence, saisonnalité et personnalisation.

1.2 Effet sur la fidélité de reconstruction en environnement contrôlé

La seconde question est :

Dans quelle mesure une couche documentaire, des fichiers de gouvernance ou un runtime améliorent-ils la fidélité de reconstruction lorsqu’ils sont introduits dans des conditions contrôlées ?

Les résultats possibles comprennent notamment :

• exactitude des attributs critiques ;
• conservation des exclusions ;
• préservation des relations entre entités ;
• respect des classes de sources ;
• réduction des inférences non autorisées ;
• stabilité entre formulations, langues et répétitions ;
• taux d’erreurs critiques.

Une amélioration mesurée ici constitue une preuve sur la fidélité dans le dispositif testé. Elle ne prouve pas automatiquement une hausse de visibilité dans ChatGPT, Gemini, Perplexity, Google AI Overviews ou toute autre surface ouverte.

2. Définir l’estimand avant de mesurer

L’estimand est l’effet précis que l’étude cherche à estimer. Il doit être formulé avant l’observation post-intervention.

Une formulation recevable précise au minimum :

• l’unité affectée par l’intervention ;
• l’intervention et sa version ;
• le résultat principal ;
• le comparateur sans intervention ;
• la fenêtre temporelle ;
• les systèmes et modèles ;
• les langues et régions ;
• le panel de requêtes ou de prompts ;
• la population à laquelle la conclusion pourra être généralisée.

Exemple pour le Web ouvert :

Effet moyen, sur huit semaines, de la publication d’un corpus canonique restructuré sur le taux de citation du domaine dans un panel préenregistré de requêtes commerciales francophones, comparativement à un groupe de pages homologues non modifiées.

Exemple pour la fidélité contrôlée :

Effet moyen de l’ajout des fichiers de gouvernance et du runtime versionnés sur le score de fidélité de reconstruction, à corpus source, prompts, modèles, paramètres et répétitions identiques.

Une étude qui annonce seulement « améliorer la visibilité IA » ne définit pas un estimand. Elle définit une ambition commerciale.

3. Fixer l’unité d’observation

L’observation doit être représentée comme un cube, et non comme une moyenne opaque :

E × I × P × S × A × L × T

avec :

• E, l’entité, la page ou l’unité exposée ;
• I, l’intervention et sa version ;
• P, le prompt, la requête ou la famille d’intentions ;
• S, le système, le produit et le modèle ;
• A, le canal d’accès : interface, API, navigation, récupération ou agent ;
• L, la langue, la région et les paramètres locaux ;
• T, le temps, incluant la date, l’heure et la fenêtre d’observation.

Une « part de voix IA » qui ne rend pas ces dimensions observables ne permet ni réplication, ni diagnostic, ni attribution sérieuse.

4. Préenregistrer l’intervention et les résultats

Avant le début de la fenêtre post-intervention, consigner :

• l’hypothèse principale ;
• l’estimand principal ;
• les résultats secondaires ;
• le panel complet de prompts ou les règles qui le génèrent ;
• les unités traitées et témoins ;
• la fenêtre de collecte ;
• les exclusions prévues ;
• la méthode de notation ;
• les analyses de sensibilité ;
• les critères de verdict.

Le préenregistrement empêche de sélectionner après coup les prompts, modèles ou dates qui produisent la courbe la plus favorable.

Toute modification postérieure doit être journalisée comme amendement et distinguée d’une analyse confirmatoire.

5. Geler et journaliser l’intervention

Une intervention GEO n’est pas une étiquette. Elle doit être décrite comme un ensemble versionné d’actions observables.

Le journal doit inclure :

• les URL créées, modifiées, fusionnées, redirigées ou supprimées ;
• les changements de contenu, d’architecture, d’entités et de données structurées ;
• les fichiers de gouvernance ou surfaces machine réellement publiés ;
• les dates de disponibilité, d’indexabilité et de propagation ;
• les changements de maillage interne et de canoniques ;
• les interventions externes connues ;
• les campagnes, relations de presse ou hausses de notoriété concomitantes ;
• les versions du runtime ou du corpus testé.

Sans ce journal, le « traitement » reste indéfini et son effet ne peut pas être isolé.

6. Établir une baseline exploitable

La baseline n’est pas un chiffre pris la veille du lancement. Elle doit documenter le niveau, la tendance et la variabilité avant intervention.

Elle doit idéalement couvrir :

• plusieurs périodes d’observation ;
• les mêmes unités, prompts, systèmes, langues et canaux que la période postérieure ;
• suffisamment de répétitions pour estimer la dispersion ;
• les incidents et changements de modèles connus ;
• le comportement des unités témoins ;
• les tendances saisonnières pertinentes.

Une baseline courte peut servir de portrait descriptif. Elle ne devient pas magiquement un contrefactuel.

7. Construire le contrefactuel

Le contrefactuel représente ce qui se serait vraisemblablement produit sans l’intervention. Aucun plan n’est parfait, mais certains sont beaucoup plus crédibles qu’un simple avant-après.

7.1 Assignation aléatoire avec groupe témoin

Lorsque possible, répartir aléatoirement des pages, entités, marchés, corpus ou unités homologues entre traitement et contrôle.

C’est le plan le plus fort pour équilibrer les facteurs observés et non observés, sous réserve d’une taille suffisante, d’une exécution stable et d’une faible contamination entre groupes.

7.2 Déploiement échelonné et différences de différences

Lorsque l’intervention est déployée à des moments différents sur des unités comparables, mesurer l’évolution du groupe traité relativement à celle du groupe témoin :

Effet DiD = (Y traité, après − Y traité, avant) − (Y témoin, après − Y témoin, avant)

Ce plan exige notamment une hypothèse de tendances parallèles crédible avant traitement et une attention particulière aux effets hétérogènes selon les dates de traitement.

7.3 Contrôle apparié ou contrôle synthétique

Lorsque peu d’unités sont traitées, construire un comparateur à partir d’unités non traitées ressemblant au comportement préintervention.

Le contrôle synthétique peut combiner plusieurs unités témoins afin de reproduire la trajectoire antérieure de l’unité traitée. La qualité de l’ajustement préintervention et les tests placebo deviennent alors essentiels.

7.4 Série temporelle interrompue contrôlée

Lorsque l’intervention survient à une date nette et que de nombreuses observations temporelles sont disponibles, estimer les changements de niveau et de pente, idéalement relativement à une série témoin non exposée.

Ce plan doit tenir compte de l’autocorrélation, de la saisonnalité, des interventions concomitantes et des événements qui coïncident avec la rupture.

7.5 Test pairé sous conditions contrôlées

Pour évaluer une gouvernance interprétative, comparer les mêmes tâches dans deux conditions :

• corpus ou runtime sans la couche de gouvernance ;
• corpus ou runtime avec la couche de gouvernance versionnée.

Conserver constants les modèles, prompts, paramètres, outils, documents sources, langues, répétitions et règles d’évaluation.

L’effet pairé de fidélité peut être exprimé par :

ΔF = F gouverné − F non gouverné

Ce résultat mesure un effet dans le banc d’essai. Il ne doit pas être reformulé en « gain de visibilité sur le marché ».

8. Préserver un panel de prompts représentatif

Le panel doit être défini par des familles d’intentions, et non par une liste opportuniste de formulations favorables.

Il devrait couvrir, selon l’objet :

• identification directe ;
• définition de catégorie ;
• recherche de solution sans mention de marque ;
• comparaison ;
• vérification d’attribut ;
• périmètre et exclusions ;
• historique et fraîcheur ;
• réputation et risque ;
• variantes ambiguës ou adversariales ;
• langues et régions pertinentes.

Documenter la provenance du panel : données de recherche, entrevues, journaux d’usage, requêtes commerciales, recherche utilisateur ou construction experte.

Le protocole doit conserver le dénominateur. Publier « 30 citations » sans indiquer le nombre de réponses admissibles, les requêtes testées et les conditions d’accès ne permet aucune interprétation fiable.

9. Capturer les sorties et les conditions

Pour chaque observation, conserver au minimum :

• identifiant de l’étude ;
• identifiant de l’unité ;
• statut traité ou témoin ;
• version de l’intervention ;
• prompt exact et famille d’intention ;
• système, produit, modèle et version observable ;
• date, heure, langue, région et canal d’accès ;
• navigation ou récupération activée ;
• état de session, mémoire et personnalisation lorsque connus ;
• réponse complète ;
• citations, URL, ordre et extraits associés ;
• refus, avertissements et absence de réponse ;
• score par dimension et justification ;
• identité des évaluateurs ou version du système de notation ;
• empreinte ou mécanisme d’intégrité du journal lorsque le risque le justifie.

Lorsqu’un paramètre n’est pas observable, inscrire « non observable » plutôt que le déduire.

10. Mesurer sans compresser les réalités

10.1 Résultats de visibilité

Les résultats descriptifs peuvent inclure :

• taux de mention par réponse admissible ;
• taux de citation du domaine ;
• taux de citation d’une source canonique ;
• part de voix avec dénominateur publié ;
• couverture par famille d’intentions ;
• proéminence ou rang d’apparition ;
• probabilité de recommandation dans un besoin défini ;
• diversité et concentration des sources.

10.2 Résultats de fidélité

Les résultats de reconstruction peuvent inclure :

• taux d’identité correcte ;
• exactitude de catégorie ;
• conservation du périmètre ;
• exactitude des attributs critiques ;
• préservation des exclusions ;
• exactitude des relations entre entités ;
• fraîcheur temporelle ;
• taux d’attribution correcte ;
• taux d’inférence non autorisée ;
• taux d’erreurs critiques ;
• écart canon-sortie ;
• stabilité interprompts, intermodèles, interlangues et temporelle.

10.3 Résultats de gouvernabilité

Une étude peut aussi documenter :

• capacité à tracer une sortie vers les sources ;
• vitesse de détection d’une dérive ;
• capacité à versionner une correction ;
• persistance ou résorption après correction ;
• nombre d’incidents attribuables et reproductibles.

Aucun score global ne doit masquer une erreur critique, une absence de source ou une différence structurelle entre visibilité et fidélité.

11. Journaliser les événements exogènes

Le journal d’événements doit suivre tout facteur susceptible d’affecter les résultats indépendamment de l’intervention :

• lancement ou extension d’une surface générative ;
• changement de modèle, de politique de citation ou de récupération ;
• modification importante de l’index ou du corpus accessible ;
• changement d’interface, de compte ou de personnalisation ;
• campagne publicitaire, relations de presse ou événement médiatique ;
• changement majeur chez un concurrent ;
• saisonnalité et événements sectoriels ;
• panne, limitation, indisponibilité ou changement d’API ;
• modification simultanée du site non incluse dans l’intervention.

Ces événements ne doivent pas être ajoutés comme explications improvisées après un résultat défavorable. Ils doivent être collectés selon une règle définie à l’avance.

12. Tester les hypothèses et tenter de falsifier l’effet

Une analyse crédible ne cherche pas seulement à confirmer l’hypothèse. Elle cherche aussi les conditions dans lesquelles l’effet disparaît ou devient incompatible avec l’explication proposée.

Les contrôles recommandés comprennent :

• inspection des tendances préintervention ;
• dates placebo ;
• unités placebo ;
• requêtes de contrôle négatif qui ne devraient pas être affectées ;
• entités de contrôle négatif ;
• résultats négatifs qui ne devraient pas bouger ;
• sensibilité au retrait d’une famille de prompts ;
• sensibilité aux modèles et canaux ;
• analyse des effets de débordement vers le groupe témoin ;
• vérification des changements de composition du panel ;
• réestimation autour des mises à jour de modèles ;
• publication des résultats nuls et contraires.

Une conclusion qui ne survit qu’à une sélection particulière de prompts ou de dates doit être décrite comme fragile.

13. Évaluer la fidélité avec une méthode hybride

La fidélité ne doit pas dépendre d’un seul juge automatique.

Le protocole recommande trois couches :

1. Assertions déterministes pour les attributs, identifiants, exclusions, dates, relations et valeurs vérifiables.
2. Grille experte pour la complétude, la portée, l’ambiguïté, la qualification et les inférences qui exigent un jugement contextuel.
3. Évaluation assistée par modèle pour accélérer le codage, repérer des écarts et proposer des justifications, sans lui confier seul le verdict final sur les claims sensibles.

Les évaluateurs doivent être aveugles à la condition traitée lorsque cela est possible. Les désaccords doivent être mesurés, arbitrés et conservés.

14. Qualifier le niveau de preuve

Le rapport doit utiliser l’un des verdicts suivants.

14.1 Non identifiable

Les données ou le plan ne permettent pas de distinguer l’effet de l’intervention des changements concomitants.

14.2 Variation observée

Un indicateur a changé. Aucune relation temporelle ou causale supplémentaire n’est affirmée.

14.3 Association temporelle

La variation suit l’intervention et reste compatible avec elle, mais le contrefactuel est insuffisant.

14.4 Contribution plausible

Plusieurs éléments convergent vers un rôle probable de l’intervention, mais des explications alternatives importantes demeurent.

14.5 Effet causal étayé dans le périmètre étudié

Le plan d’identification, les contrôles et les analyses de sensibilité soutiennent un effet, borné aux unités, systèmes, langues, requêtes, résultats et fenêtres étudiés.

14.6 Aucun effet détectable

Le protocole n’a pas détecté d’effet compatible avec le seuil et la puissance de l’étude. Ce verdict ne prouve pas un effet exactement nul dans tous les contextes.

14.7 Effet défavorable

L’intervention est associée ou causalement liée, selon le plan, à une dégradation du résultat principal ou à une hausse des erreurs critiques.

15. Rapport minimal obligatoire

Toute publication de résultat devrait présenter :

• la question causale et l’estimand ;
• l’intervention exacte et sa version ;
• le plan d’identification ;
• les unités traitées et témoins ;
• le panel de prompts et son origine ;
• les systèmes, modèles, langues, régions et canaux ;
• la baseline et la fenêtre postérieure ;
• les résultats principaux, secondaires et critiques ;
• les intervalles d’incertitude ou la dispersion pertinente ;
• les événements exogènes connus ;
• les tests placebo et analyses de sensibilité ;
• les exclusions et données manquantes ;
• les résultats nuls ou défavorables ;
• les limites de généralisation ;
• le verdict normalisé.

Les journaux complets peuvent être restreints pour des raisons de confidentialité, mais leur structure, leur intégrité et les règles d’échantillonnage doivent rester auditables.

16. Affirmations interdites sans preuve correspondante

Le protocole interdit les reformulations suivantes lorsqu’elles dépassent le niveau de preuve :

• « Nous avons généré X % de citations supplémentaires » à partir d’un simple avant-après ;
• « La visibilité IA a augmenté grâce à notre méthode » sans comparateur crédible ;
• « Notre score prouve que la marque est mieux comprise » sans mesure de fidélité ;
• « L’amélioration sur notre banc d’essai prouve une hausse sur le Web ouvert » ;
• « L’absence de détection prouve que l’intervention ne produit aucun effet » ;
• « Les résultats sont représentatifs du marché » lorsque le panel, les systèmes ou le dénominateur sont opaques.

La formulation recevable doit correspondre au verdict : observation, association, contribution plausible ou effet étayé dans un périmètre explicite.

17. Limites structurelles

Même correctement appliqué, le protocole rencontre plusieurs limites :

• les interfaces et modèles peuvent changer pendant l’étude ;
• certaines versions, paramètres et systèmes de récupération restent non observables ;
• le non-déterminisme exige des répétitions et augmente le coût ;
• les interventions peuvent contaminer les groupes témoins ;
• les requêtes observées ne représentent jamais parfaitement tous les usages ;
• une expérimentation contrôlée peut avoir une forte validité interne et une faible généralisation au Web ouvert ;
• une étude sur le Web ouvert peut être réaliste mais causalement moins identifiable ;
• une absence d’effet détectable peut refléter un effet faible, une puissance insuffisante ou une fenêtre trop courte.

La rigueur ne consiste pas à faire disparaître ces limites. Elle consiste à les rendre visibles avant de vendre la conclusion.

Références méthodologiques

• Miguel A. Hernán et James M. Robins, Causal Inference: What If : https://miguelhernan.org/whatifbook
• Brantly Callaway et Pedro H. C. Sant’Anna, « Difference-in-Differences with multiple time periods » : https://doi.org/10.1016/j.jeconom.2020.12.001
• Alberto Abadie, « Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects » : https://doi.org/10.1257/jel.20191450
• James L. Bernal, Steven Cummins et Antonio Gasparrini, « Interrupted time series regression for the evaluation of public health interventions » : https://doi.org/10.1093/ije/dyw098

Règle de lecture finale

Le protocole ne transforme pas une métrique en preuve. Il définit les conditions dans lesquelles une affirmation peut monter, avec prudence, de l’observation vers l’attribution.