L’attribution causale en GEO exige un contrefactuel

Position

Une hausse de mentions, de citations ou de part de présence après une intervention GEO ne prouve pas que cette intervention a produit la hausse.

Elle prouve une seule chose : une variation a été observée.

Pour attribuer cette variation à l’intervention, il faut comparer ce qui s’est produit avec ce qui se serait vraisemblablement produit sans cette intervention. Ce second état n’est pas directement observable. Il doit être construit par un dispositif expérimental ou quasi expérimental suffisamment crédible.

Cette exigence porte un nom simple : le contrefactuel.

Sans contrefactuel, une agence peut légitimement déclarer qu’un indicateur a progressé. Elle ne peut pas déclarer avec la même force que son travail a causé cette progression.

Cette position prolonge Les métriques GEO ne pilotent pas la représentation en isolant un problème plus précis : la non-identification de l’effet causal dans un environnement génératif en expansion et en mutation continue.

Le problème que le marché préfère éviter

Le marché GEO vend aujourd’hui des tableaux de bord capables de compter :

• la présence d’une marque dans un panel de réponses ;
• la fréquence de citation d’un domaine ;
• la part de voix apparente face à des concurrents ;
• la couverture d’un jeu de requêtes ;
• la variation de certains attributs dans les réponses ;
• le nombre de systèmes où une entité apparaît.

Ces observations peuvent être utiles. Elles deviennent méthodologiquement abusives lorsqu’une progression est présentée comme la conséquence démontrée d’un programme GEO.

Le raisonnement commercial implicite est souvent le suivant :

1. une intervention est lancée ;
2. les citations augmentent ;
3. l’intervention a donc produit l’augmentation.

Ce raisonnement est un avant-après, pas une attribution causale.

Entre les deux dates, de nombreux phénomènes peuvent avoir changé :

• le nombre de personnes utilisant les systèmes d’IA ;
• la fréquence à laquelle des surfaces génératives répondent aux requêtes ;
• la composition des requêtes réellement posées ;
• les modèles, leurs corpus, leurs systèmes de récupération et leurs politiques de citation ;
• la notoriété générale de la marque ;
• l’activité éditoriale, médiatique ou commerciale de l’organisation ;
• la présence de concurrents et de sources tierces ;
• la saisonnalité ;
• la composition du panel de prompts utilisé par l’outil de mesure ;
• le bruit propre à des systèmes probabilistes.

Une hausse peut donc être parfaitement réelle tout en étant partiellement, majoritairement ou entièrement indépendante du travail vendu.

Le problème du GEO n’est pas seulement qu’il mesure des sorties instables. Il réclame souvent le crédit d’une variation qu’il n’a pas isolée.

Formulation causale minimale

Soit Y(1) le niveau de visibilité générative observé lorsque l’intervention est appliquée, et Y(0) le niveau qui aurait été observé, au même moment et dans les mêmes conditions, sans intervention.

L’effet causal recherché est :

τ = Y(1) - Y(0)

Après une intervention, Y(1) peut être observé. Y(0) ne l’est pas. C’est le problème fondamental de l’inférence causale.

Une comparaison avant-après observe plutôt :

Yaprès - Yavant

Cette différence peut contenir :

Yaprès - Yavant
= effet de l’intervention
+ variation de l’usage et des surfaces génératives
+ changements de modèles et de récupération
+ variation du panel de requêtes
+ évolution concurrentielle et médiatique
+ saisonnalité
+ bruit

Tant que ces composantes ne sont pas séparées par un dessin d’étude défendable, l’effet propre de l’intervention reste non identifié.

Une courbe qui monte après une action est compatible avec un effet positif. Elle est aussi compatible avec une absence d’effet dans un marché qui monte, avec un effet négatif masqué par la croissance générale, ou avec une modification du dispositif de mesure.

La marée montante n’appartient à aucune agence

Lorsque l’exposition globale aux réponses génératives augmente, davantage de marques peuvent être observées, mentionnées ou citées, même si leur infrastructure documentaire n’a pas changé.

Cette croissance exogène agit comme une marée montante. Une agence qui mesure seulement la hauteur finale de l’eau peut revendiquer un gain qui aurait eu lieu sans elle.

La bonne question n’est donc pas :

Les citations ont-elles augmenté après notre intervention ?

La bonne question est :

Les citations ont-elles augmenté davantage que ce qui aurait été attendu sans notre intervention, sous un protocole stable et dans un périmètre déclaré ?

Cette seconde question est beaucoup plus exigeante. Elle oblige à construire un contrôle, à préserver les conditions d’observation, à documenter les changements externes et à accepter qu’un résultat puisse être nul ou non identifiable.

C’est précisément pour cette raison qu’elle est rarement mise au centre du discours commercial.

Quatre niveaux de langage probatoire

Le vocabulaire utilisé doit refléter la force réelle du dispositif.

Niveau 0 : observation

Le taux de mention observé dans ce panel est passé de X à Y entre deux fenêtres.

Cette formulation décrit un fait du protocole. Elle ne l’attribue pas.

Niveau 1 : association temporelle

La progression est apparue après l’intervention et reste observable dans plusieurs répétitions comparables.

Cette formulation établit une séquence et une persistance. Elle ne suffit toujours pas à isoler la cause.

Niveau 2 : contribution plausible

La progression dépasse celle d’un groupe comparable, résiste à plusieurs analyses de sensibilité et correspond aux mécanismes attendus de l’intervention.

Cette formulation devient plus forte, mais dépend encore de la qualité du groupe de comparaison, des tendances antérieures et des facteurs non observés.

Niveau 3 : effet causal soutenu dans un périmètre défini

Sous le dessin d’étude déclaré, l’intervention a produit un effet estimé de telle amplitude sur telle métrique, dans telles conditions, avec telle incertitude et telles limites.

Cette formulation exige un contrefactuel crédible, des tests de falsification et un périmètre précis. Elle ne doit jamais devenir une promesse universelle sur tous les modèles, toutes les requêtes ou toutes les périodes futures.

Ce qu’un fournisseur doit publier pour réclamer un effet

Une affirmation causale recevable doit préciser au minimum :

1. l’intervention : ce qui a réellement changé, à quelle date, sur quelles surfaces et avec quelles co-interventions ;
2. l’unité traitée : pages, clusters, entités, marchés, langues, prompts ou corpus concernés ;
3. l’issue mesurée : mention, citation, sélection de source, fidélité, recommandation ou autre résultat distinct ;
4. le dénominateur : nombre de requêtes, répétitions, systèmes, fenêtres et observations admissibles ;
5. le contrefactuel : groupe de contrôle, déploiement échelonné, contrôle synthétique, série temporelle contrôlée ou autre stratégie défendable ;
6. les tendances antérieures : trajectoire avant intervention et comparabilité du contrôle ;
7. les changements externes : mises à jour de modèles, variation de couverture, événements médiatiques, saisonnalité et changement de panel ;
8. les tests négatifs : requêtes, surfaces ou entités qui ne devraient pas réagir à l’intervention ;
9. l’incertitude : intervalle, variabilité, sensibilité et erreurs critiques ;
10. les limites : ce que le dessin d’étude ne permet pas de conclure.

Sans ces éléments, le rapport peut demeurer un bon outil d’observation. Il ne constitue pas une preuve causale.

Pourquoi un « score de visibilité IA » ne résout rien

Un score agrégé peut simplifier une lecture. Il ne crée pas le contrefactuel qui manque.

Il peut même aggraver le problème lorsque sa composition change silencieusement :

• ajout de nouveaux prompts ;
• retrait de réponses non disponibles ;
• mélange de langues ;
• mélange d’interfaces, d’API et d’agents outillés ;
• remplacement d’un modèle ;
• modification des pondérations ;
• évolution du groupe concurrentiel ;
• sélection postérieure des requêtes les plus favorables.

Un score stable dans sa forme visuelle peut donc mesurer un objet différent d’une fenêtre à l’autre.

Une progression en pourcentage sans dénominateur, sans version du panel et sans journal de changements produit une précision de façade. Plus le chiffre est propre, plus il peut masquer un dispositif sale.

Visibilité et fidélité ne répondent pas à la même question

Cette position ne remplace pas les métriques GEO par une nouvelle métrique unique. Elle impose une séparation.

La visibilité demande :

L’entité apparaît-elle davantage dans un ensemble de sorties ?

La fidélité demande :

Lorsque l’entité est reconstruite, les attributs, relations, exclusions, limites et sources d’autorité sont-ils préservés ?

Ces deux résultats peuvent évoluer dans des directions opposées.

Une marque peut devenir plus visible tout en étant plus mal comprise. Elle peut être citée davantage parce qu’une simplification erronée s’est stabilisée. À l’inverse, une gouvernance plus stricte peut améliorer fortement la qualité des réponses sans produire immédiatement une hausse observable de citations sur le Web ouvert.

Il est donc méthodologiquement incorrect de traiter la fidélité comme une simple sous-métrique de visibilité, ou la visibilité comme une preuve de fidélité.

Là où la gouvernance peut être démontrée plus proprement

Le Web ouvert rend l’attribution difficile parce que l’exposition, les modèles, les corpus et les mécanismes de récupération échappent en grande partie à l’organisation observée.

Dans un environnement contrôlé, une autre démonstration devient possible.

On peut comparer le même corpus :

• sans fichiers de gouvernance ;
• avec fichiers de gouvernance ;
• avec fichiers de gouvernance et runtime de restitution ;
• sous les mêmes modèles, prompts, paramètres, snapshots et critères d’évaluation.

L’effet étudié n’est alors pas « combien de fois la marque est citée sur Internet ». Il devient :

Dans quelle mesure la gouvernance réduit-elle l’écart entre le canon et la reconstruction produite ?

La comparaison peut porter sur :

• l’exactitude factuelle ;
• la conservation des attributs critiques ;
• la préservation des relations entre entités ;
• le respect des exclusions et des limites ;
• la résistance aux inférences interdites ;
• la stabilité entre formulations ;
• la capacité de clarification ou de non-réponse ;
• la traçabilité vers les sources canoniques.

Cette approche peut rester qualitative dans sa substance tout en étant expérimentale dans son dessin. Les réponses sont comparées sur une grille déclarée, les erreurs critiques restent non compensables et les évaluateurs peuvent être aveugles à la condition testée.

C’est une démonstration beaucoup plus propre que l’attribution d’une hausse globale de citations, parce que l’intervention et les conditions de comparaison sont contrôlées.

Le rôle exact du SEO

Le SEO ne disparaît pas dans ce cadre. Il retrouve son rôle fondamental.

Il contribue à construire le corpus documentaire :

• architecture de l’information ;
• résolution des entités ;
• hiérarchie des pages ;
• cohérence des contenus ;
• données structurées ;
• accessibilité, indexabilité et récupérabilité ;
• maillage entre concepts et sources.

Cette infrastructure rend l’information disponible et interprétable. La gouvernance ajoute ensuite les bornes que le SEO ne formalise pas toujours :

• quelle source prévaut ;
• quelle interprétation est interdite ;
• quelle limite doit survivre à la synthèse ;
• quelle information est révoquée ou expirée ;
• quand une réponse doit être suspendue ;
• comment une contradiction doit être arbitrée.

Le SEO construit le socle documentaire. La gouvernance encadre sa reconstruction. Une éventuelle visibilité générative en est une conséquence possible, pas une preuve automatique de causalité.

Règles normatives

1. Aucun avant-après ne doit être présenté comme une causalité

Une progression postérieure à une intervention reste descriptive tant qu’un contrefactuel crédible n’est pas établi.

2. Aucun pourcentage sans dénominateur et sans panel versionné

Le nombre de prompts, de systèmes, de répétitions, de langues et d’observations admissibles doit être publié.

3. Aucun mélange silencieux des régimes d’accès

API, interface grand public, recherche intégrée, navigation agentique et système personnalisé doivent rester séparés.

4. Aucun crédit automatique pour la croissance générale

L’augmentation de l’usage ou de la couverture des surfaces génératives doit être traitée comme un facteur externe, non comme le résultat d’une intervention client.

5. Aucune fusion entre visibilité et fidélité

Les indicateurs de présence et les preuves de reconstruction doivent être rapportés séparément.

6. Aucun résultat positif sans tests de falsification

Dates placebo, groupes négatifs, requêtes non traitées, variations du panel et contrôles de tendances doivent être utilisés lorsque le dessin le permet.

7. Aucun résultat nul ne doit être masqué

Une intervention peut ne produire aucun effet détectable. Elle peut aussi produire un effet trop faible ou trop confondu pour être identifié. Ces verdicts sont méthodologiquement légitimes.

8. « Non identifiable » est parfois la seule conclusion honnête

L’absence de preuve causale ne prouve pas l’absence d’effet. Elle interdit simplement de vendre l’effet comme démontré.

Conséquence pour le marché

Une part importante du marché GEO ne vend pas nécessairement un faux phénomène. Elle vend une certitude supérieure à ce que ses méthodes autorisent.

Le problème n’est pas de compter. Le problème est de transformer le comptage en récit causal sans groupe de comparaison, sans journal des changements, sans protocole stable et sans possibilité de réfutation.

Un fournisseur sérieux devrait parfois dire :

La visibilité observée a progressé, mais l’effet propre de notre intervention n’est pas identifiable avec le dispositif actuel.

Cette phrase est commercialement moins spectaculaire qu’un graphique ascendant. Elle est méthodologiquement beaucoup plus solide.

Portée et limites

Cette position ne soutient pas que les interventions GEO sont toujours inefficaces. Elle soutient qu’un effet ne peut pas être déduit d’une hausse brute.

Elle ne prétend pas qu’un contrefactuel parfait est toujours disponible. Dans le Web ouvert, les changements de modèles, les effets de débordement, la personnalisation, l’opacité des systèmes et la contamination entre unités rendent souvent l’identification partielle.

Elle ne transforme pas non plus l’inférence causale en certification. Même un dessin robuste reste attaché à un périmètre, une période, une unité et une métrique.

La règle finale demeure simple :

Une mesure peut observer une variation. Seul un dessin d’étude défendable peut soutenir son attribution.

Références méthodologiques

Les méthodes citées ici ne sont pas propres au GEO. Elles proviennent de la littérature générale sur l’inférence causale et l’évaluation d’interventions :

• Hernán et Robins, Causal Inference: What If, pour la formulation contrefactuelle des effets causaux ;
• Callaway et Sant’Anna, Difference-in-Differences with Multiple Time Periods, pour les dessins à traitements échelonnés et effets hétérogènes ;
• Abadie, Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects, pour la construction transparente d’unités de comparaison synthétiques ;
• Bernal, Cummins et Gasparrini, Interrupted time series regression for the evaluation of public health interventions: a tutorial, pour l’évaluation de ruptures temporelles sous hypothèses explicites.

Ces références soutiennent les principes de dessin d’étude. Elles ne valident pas automatiquement leur application à un panel de réponses génératives. Le protocole d’attribution causale des interventions GEO adapte ces exigences au contexte des systèmes d’IA.

Règle de lecture

Compter n’est pas comprendre. Un avant-après n’est pas un contrefactuel. Une courbe n’est pas une preuve de causalité.