Avant de mesurer une dérive, il faut une baseline de perception IA
Une marque peut sembler mieux ou moins bien représentée d’une semaine à l’autre. Sans état de référence, cette impression ne permet pas de savoir si le système a changé, si les prompts ont changé, si une nouvelle source est apparue ou si la variation appartient simplement au comportement normal du modèle.
La baseline n’est pas un portrait idéal. C’est un ensemble daté d’observations conservées avant l’intervention.
Ce qu’une baseline doit contenir
| Composante | Contenu |
|---|---|
| Entité | Noms, identifiants, domaines, produits, filiales et anciens noms |
| Canon | Claims actuels, limites, exclusions et version |
| Sources externes | Réputation, critiques, décisions et descriptions structurantes |
| Prompts | Familles d’intention, formulations et variables |
| Conditions | Modèle, produit, date, langue, région, navigation et session |
| Sorties | Réponses complètes, citations et captures |
| Codage | Identité, catégorie, périmètre, sentiment, sources et recommandabilité |
L’erreur fréquente : construire la baseline après la correction
Lorsqu’une organisation corrige son site puis commence à mesurer, elle ne possède pas d’état « avant ». Elle peut observer un état actuel, mais pas attribuer le changement à l’intervention. Reconstituer la baseline à partir de souvenirs ou de captures choisies introduit un biais.
Il faut donc figer l’état initial, même s’il contient des erreurs gênantes. La valeur de la baseline vient précisément de sa capacité à conserver ce que l’on souhaite comparer.
Exemple
Une entreprise lance un nouveau positionnement. Avant la publication, les modèles la décrivent surtout comme agence généraliste. La baseline enregistre 40 prompts répartis entre définition, comparaison, recommandation et problèmes clients, en français et en anglais.
Après la refonte, le même protocole est rejoué. L’identité reste stable, la nouvelle catégorie apparaît davantage en français, mais les prompts génériques anglais continuent de sélectionner l’ancien voisinage concurrentiel.
Sans baseline, on pourrait annoncer un succès global. Avec la baseline, on voit une amélioration localisée et une dérive résiduelle cross-langue.
Baseline de marque vs vérité absolue
Le canon utilisé dans la baseline doit être borné. Il peut établir l’identité, l’offre et le positionnement déclaré. Il ne peut pas inscrire « bonne réputation » comme vérité officielle. Les claims externes doivent être conservés dans une colonne distincte.
La baseline peut aussi contenir des zones non prouvées. Une marque peut souhaiter être reconnue comme leader sans disposer d’une comparaison. L’audit doit alors marquer le claim comme positionnement revendiqué, non comme invariant exigible.
Taille et fréquence
Il n’existe pas de nombre universel de prompts. L’échantillon dépend des intentions, langues, modèles et risques. Une petite entreprise locale peut commencer avec 20 à 40 prompts bien choisis. Une organisation réglementée multilingue peut exiger plusieurs centaines d’observations.
Les réobservations doivent avoir une cadence adaptée : plus fréquente autour d’un rebrand, d’un incident ou d’une migration; plus espacée pour un corpus stable. Les changements de protocole sont versionnés, jamais mélangés silencieusement.
Livrable minimal
La baseline produit :
- un identifiant de protocole;
- un inventaire de prompts;
- un état de canon;
- un journal des sorties;
- une grille de codage;
- une carte des sources;
- des limites et hypothèses;
- une date de prochaine réobservation.
Elle ne prédit pas les réponses futures. Elle fournit le point zéro sans lequel « dérive », « amélioration » et « correction réussie » restent des formulations non démontrées.