L’écart canon-sortie comme mesure du LLM perception drift
Le LLM perception drift devient mesurable lorsqu’une sortie datée peut être comparée à un état de référence daté. L’écart canon-sortie ne demande pas si la réponse « semble bonne ». Il demande quelles propriétés, limites et autorités ont été préservées ou transformées.
Deux objets bornés
Le canon contient les claims que l’organisation ou une source compétente peut légitimement établir. La sortie contient le texte produit, son contexte, ses citations et ses incertitudes. Aucun des deux ne doit être idéalisé.
Le canon peut être incomplet ou promotionnel. La sortie peut intégrer des sources externes légitimes. L’écart n’est donc pas simplement « différent du site officiel ».
Dimensions de comparaison
| Dimension | Question | Exemple d’écart |
|---|---|---|
| Identité | La bonne entité est-elle nommée ? | Confusion avec un homonyme |
| Catégorie | Le rôle principal est-il préservé ? | Spécialiste réduit à généraliste |
| Périmètre | Offre et exclusions sont-elles respectées ? | Service hors marché ajouté |
| Temporalité | L’état actuel est-il distingué ? | Ancien produit présenté actif |
| Relations | Affiliations et concurrents sont-ils exacts ? | Filiale transformée en partenaire |
| Autorité | La source compétente gouverne-t-elle le claim ? | Annuaire ancien contre politique actuelle |
| Non-implication | La sortie conclut-elle au-delà des preuves ? | Expertise transformée en leadership |
| Réputation | Les évaluations sont-elles attribuées ? | Opinion présentée comme consensus |
Méthode de codage
Pour chaque invariant :
- préservé : sens et limites compatibles;
- partiel : information exacte mais incomplète;
- déplacé : hiérarchie ou catégorie modifiée;
- contradictoire : claim incompatible avec une source compétente;
- externe légitime : information non officielle mais qualifiée;
- non observable : la sortie ne permet pas de conclure.
Cette échelle évite de traiter chaque omission comme une erreur et chaque critique comme une dérive.
Exemple
Le canon décrit une firme comme spécialiste B2B de gouvernance des réponses IA. Une sortie la présente comme agence SEO utilisant des outils d’IA. Le nom et certaines compétences sont préservés, mais la catégorie, la hiérarchie et le public sont déplacés. Le sentiment est neutre et aucun fait spectaculaire n’est inventé.
Le calcul utile n’est pas un score de sentiment. C’est la proportion d’invariants préservés, la gravité des écarts et leur répétition entre intentions.
Mesure agrégée et incidents critiques
Un indice global peut faciliter le suivi, mais il ne doit jamais masquer les cas graves. Une moyenne élevée peut coexister avec une confusion d’entité rare mais dommageable. Le rapport doit donc afficher :
- agrégats par dimension;
- distribution par famille de prompts;
- incidents critiques;
- divergences intermodèles et interlangues;
- sources structurantes;
- niveau de confiance.
Comparaison temporelle
La dérive exige au moins deux fenêtres comparables. On mesure ce qui apparaît, disparaît, se répète ou change de gravité. Un changement de modèle, de navigation ou de prompt peut invalider une comparaison. Les versions de protocole doivent rester visibles.
Limites
L’écart canon-sortie ne prouve pas que le canon est reconnu par le marché. Il ne mesure pas directement l’image publique ni le capital de marque. Il ne prouve pas la cause de la sortie. Il fournit un objet de preuve : ce qui était établi, ce qui a été produit et la nature de la divergence.
C’est ce qui permet de passer du commentaire subjectif à un audit contestable.