Protocole de mesure de la dérive de perception IA
Ce protocole transforme une impression de « marque mal comprise » en observation reproductible. Il distingue variation, erreur ponctuelle, dérive persistante et divergence légitime de sources.
1. Définir l’objet et les invariants
Établir l’entité, ses identifiants, son état actuel et les dimensions à tester : identité, catégorie, périmètre, différenciation, relations, temporalité, autorité des sources, sentiment et recommandabilité.
Le canon doit être daté et borné. Il ne contient pas la réputation comme une auto-déclaration. Les claims externes sont consignés séparément.
2. Construire les familles de prompts
| Famille | Exemple | Ce qu’elle teste |
|---|---|---|
| Identification | « Qu’est-ce que X ? » | Identité et catégorie |
| Définition générique | « Quelles firmes font Y ? » | Émergence et recommandabilité |
| Comparaison | « X ou Y pour ce besoin ? » | Voisinage et critères |
| Problème | « Comment résoudre Z ? » | Utilité causale |
| Vérification | « X offre-t-elle A ? » | Périmètre et preuve |
| Risque | « Quels risques sont associés à X ? » | Réputation, attribution et temps |
| Alternatives | « Quelles alternatives à X ? » | Catégorie et concurrence |
| Historique | « Comment X a-t-elle évolué ? » | Temporalité et rebrand |
Prévoir des variantes qui nomment la marque et d’autres qui ne la nomment pas. Éviter les questions suggestives conçues pour obtenir le canon attendu.
3. Fixer les conditions expérimentales
Enregistrer :
- produit et modèle;
- date et heure;
- compte ou session;
- langue et région;
- navigation activée ou non;
- mémoire et historique;
- prompt système lorsque disponible;
- paramètres d’échantillonnage accessibles;
- état du protocole et version du corpus.
Les interfaces grand public changent. Lorsque des paramètres ne sont pas accessibles, les limites doivent être explicites.
4. Échantillonner
Une seule réponse ne suffit pas. Pour chaque famille importante, répéter les observations dans une fenêtre définie et sur plusieurs systèmes lorsque le risque le justifie. L’échantillon doit être proportionné : plus le claim est grave et proche d’une décision, plus la répétition et la diversité des conditions sont nécessaires.
Ne pas fusionner les langues. Une marque peut être stable en français et dérivée en anglais. Ne pas fusionner non plus navigation et non-navigation.
5. Capturer les sorties et sources
Conserver la réponse complète, les citations, les liens, l’ordre des sources et les avertissements. Lorsqu’une interface ne rend pas ses sources visibles, indiquer « source non observable » plutôt que d’inventer le chemin de récupération.
Les paraphrases manuelles sont insuffisantes pour les claims sensibles. Utiliser un export, une capture ou un journal haché selon le contexte.
6. Coder les dimensions
Chaque sortie reçoit une évaluation par dimension :
- fidèle;
- partielle;
- contradictoire;
- non observable;
- externe légitime;
- non concluante.
Ajouter le type de dérive selon la taxonomie de représentation de marque et la gravité selon la matrice de brand safety lorsque nécessaire.
7. Séparer sentiment et fidélité
Coder le sentiment indépendamment. Une sortie peut être positive et fausse, négative et fidèle, neutre et dangereuse. Le sentiment ne doit jamais remplacer l’analyse de catégorie, d’attribution ou de temporalité.
8. Calculer les écarts utiles
Les métriques possibles comprennent :
- taux d’identité correcte;
- stabilité de catégorie;
- préservation du périmètre;
- taux d’omission des différenciateurs;
- exactitude des relations;
- fraîcheur temporelle;
- proportion de claims correctement attribués;
- recommandabilité par intention;
- divergence intermodèles et interlangues.
Une moyenne globale doit être accompagnée des incidents critiques. Un score de 90 % peut masquer une fausse accusation dans les 10 % restants.
9. Établir une baseline
La baseline est un jeu d’observations datées, pas un portrait éternel. Elle documente le comportement avant une correction, une refonte, un rebrand ou une nouvelle campagne.
La baseline doit conserver les erreurs existantes. La nettoyer rétrospectivement détruirait la capacité de mesurer le changement.
10. Définir les seuils d’escalade
- écart isolé et faible : surveiller;
- écart répété sur catégorie ou périmètre : diagnostiquer le corpus;
- confusion d’entité : corriger et désambiguïser rapidement;
- claim grave non attribué : escalade interfonctionnelle;
- divergence officielle/externe : appliquer la classe de source, non un verdict favorable à la marque;
- amélioration après correction : réobserver avant de conclure.
11. Corriger la couche compétente
Les interventions peuvent viser le canon, l’architecture de l’information, les relations d’entité, la fraîcheur, les schémas, les pages de périmètre, une source tierce, une redirection ou un signalement fournisseur. Ne pas publier du contenu générique lorsque le problème est une attribution précise.
12. Réobserver et qualifier la causalité
Rejouer le protocole avec les mêmes conditions autant que possible. Documenter ce qui a changé, ce qui n’a pas changé et les explications alternatives : mise à jour du modèle, nouvelles sources, variabilité, région ou saisonnalité.
Le verdict doit utiliser une échelle prudente :
- aucun changement observé;
- variation compatible avec l’hypothèse;
- amélioration répétée après correction;
- association forte mais causalité non isolée;
- résultat non concluant.
Livrables
Le protocole produit un inventaire des prompts, un journal de sorties, une baseline, une matrice d’écarts, une taxonomie de dérives, une carte de sources, un plan de correction et un rapport de réobservation.
Il ne produit pas une promesse de contrôle. Sa valeur est de rendre l’écart mesurable, contestable et révisable.