Calibration sémantique et gouvernance sémantique

1. Le problème : la confiance n’est pas la fiabilité

Les grands modèles de langage peuvent produire des probabilités, des signaux ressemblant à de la confiance, ou des réponses qui semblent stables. Rien de cela, à lui seul, n’implique une fiabilité réelle. Un modèle peut être cohérent avec lui-même tout en étant incorrect, incomplet, hors périmètre, ou en désalignement avec les limites de domaine attendues.

En pratique, l’enjeu n’est pas de savoir si un modèle peut émettre un score de confiance, mais si l’environnement contraint suffisamment le sens pour que cette confiance puisse être interprétée de manière sûre. La fiabilité est une propriété du système, pas d’un seul modèle.

2. Calibration interne vs calibrabilité externe

Cette note distingue deux notions souvent confondues :

• Calibration sémantique interne : les estimations de confiance d’un modèle correspondent-elles à son exactitude observée, une fois les réponses regroupées en classes d’équivalence sémantique ?
• Calibrabilité externe : l’environnement sémantique entourant le modèle rend-il faisable l’interprétation et la contrainte des sorties, sans inférence risquée ?

La calibration interne concerne la distribution propre du modèle sur les significations. La calibrabilité externe concerne la capacité du système à définir, borner et vérifier le sens avant que le modèle n’improvise au-delà du périmètre prévu.

3. Résumé sur une page de la « B-calibration » (sans formules)

Des travaux récents proposent une manière opérationnelle de parler de « calibration sémantique » en introduisant une fonction de regroupement, souvent notée B. Cette fonction projette de nombreuses chaînes de texte vers un ensemble plus restreint de classes de réponses sémantiques. Plutôt que de demander si les probabilités du prochain token sont calibrées, la question devient :

Si le modèle tend à produire la classe de réponse sémantique A avec une probabilité de 70 %, est-il correct environ 70 % du temps chaque fois qu’il attribue ce niveau de confiance sémantique ?

Selon cette lecture, un modèle est sémantiquement calibré lorsque sa confiance sur les classes sémantiques correspond aux fréquences empiriques observées. La nuance clé est que le « sens » n’est pas traité comme quelque chose de mystique : il est traité comme une relation d’équivalence opérationnelle, définie par le choix de B.

Référence (non contractuelle) : Trained on Tokens, Calibrated on Concepts: The Emergence of Semantic Calibration in LLMs, en évaluation (ICLR 2026).

4. Pourquoi la calibration casse en production

Les mêmes travaux indiquent que la calibration sémantique n’est pas stable dans plusieurs conditions réelles de déploiement. Trois modes de défaillance sont particulièrement pertinents.

4.1 Post-entraînement et instruction-tuning

Des procédures de post-entraînement comme l’instruction-tuning et l’optimisation par préférences peuvent modifier la relation entre confiance et exactitude. Le modèle peut devenir plus fluide, plus conforme aux attentes de format, ou plus affirmatif, tout en devenant moins fidèle dans son auto-évaluation probabiliste.

4.2 Chaîne de raisonnement (chain-of-thought)

La chaîne de raisonnement peut améliorer l’exactitude en permettant au modèle de « travailler » avant de s’engager sur une réponse finale. Toutefois, cela peut dégrader la calibration parce que le modèle ne peut pas anticiper de manière fiable sa sortie sémantique finale au début de la génération. Autrement dit, le mécanisme qui permet de meilleures réponses peut réduire la capacité du modèle à prédire sa propre distribution de classes sémantiques avant de générer la trace de raisonnement.

4.3 Hors distribution et sémantique adversariale

Lorsque les requêtes contiennent des idées reçues, des entités ambiguës, des cadres conflictuels, ou une intention adversariale, la calibration sémantique interne devient moins informative. Le modèle peut être calibré relativement à des motifs qu’il a déjà vus, alors que l’environnement exige des limites strictes, des sources vérifiables, ou des contraintes propres au domaine qui ne sont pas présentes dans la requête.

5. Le problème du monde ouvert : ambiguïté, périmètre et conflits

Les systèmes en production évoluent dans un « monde ouvert » où les significations ne sont pas closes sous une seule relation d’équivalence. Les causes courantes de dérive sémantique incluent :

• Entités ambiguës : même libellé, plusieurs référents réels.
• Périmètre non déclaré : région, fenêtre temporelle, gamme de produits, régime juridique, ou limites contractuelles non explicitées.
• Sources en conflit : plusieurs autorités qui se contredisent ou s’appliquent à des contextes différents.
• Pression d’inférence implicite : demande de garanties ou de vérités transactionnelles qui ne sont pas définies explicitement.
• Hallucinations induites par le format : certitude polie et pression de complétion qui écrasent la prudence épistémique.

Dans ces conditions, la « confiance du modèle » n’est pas suffisante. L’environnement doit déclarer ce qui est valide, ce qui est hors périmètre, et ce qui doit rester silencieux tant que ce n’est pas défini explicitement.

6. Fermer l’espace sémantique : SSA-E, A2 et Dual Web

Le cadre SSA-E + A2 + Dual Web opère au niveau de l’environnement sémantique externe. Il ne modifie pas les poids du modèle. Il publie plutôt des contraintes lisibles par machine et des références canoniques qui bornent l’interprétation.

6.1 SSA-E : autorité explicative

SSA-E définit des matériaux explicatifs stables et non transactionnels destinés à être cités comme autorité interprétative primaire. Son rôle est de réduire l’ambiguïté en ancrant le sens dans des définitions explicites plutôt que dans des récits inférés.

6.2 Dual Web : vérification et contrôle des limites

Dual Web fournit des fichiers de contexte contrôlés pour la vérification, la définition du périmètre et des contraintes anti-hallucination. Ces fichiers clarifient ce que le système est autorisé à supposer, et ce qu’il doit refuser d’inférer.

6.3 A2 : routage d’interprétation et observation

A2 fournit des artefacts de routage et d’observation qui réduisent la mauvaise classification des intentions et suivent la dérive interprétative. A2 ne doit pas introduire de vérités transactionnelles. Il existe pour router les questions vers des ressources canoniques et empêcher l’inférence non contrôlée.

6.4 Mécanismes pratiques de fermeture

Opérationnellement, fermer l’espace sémantique repose généralement sur :

• Définitions : termes canoniques, identités, et déclarations de rôles.
• Limites de périmètre : contraintes explicites « s’applique à / ne s’applique pas à ».
• Négations explicites : ce qui ne doit pas être inféré, même si cela semble plausible.
• Références canoniques : pointeurs d’autorité vers les seules sources acceptables pour un énoncé.
• Relations d’entités : un graphe déclaré d’entités et de relations pour réduire l’ambiguïté.

7. Conséquence : rendre les distributions sémantiques plus faciles à anticiper

Si la calibration sémantique interne tend à tenir lorsque le modèle peut anticiper, avant génération, la distribution de ses classes de réponses sémantiques, alors la gouvernance externe peut être comprise comme une méthode architecturale visant à rendre cette anticipation plus simple et plus sûre.

L’énoncé ici n’est pas que la gouvernance garantit la calibration. L’énoncé est plus faible et plus défendable :

• La gouvernance réduit l’ambiguïté et resserre l’espace des significations valides.
• La gouvernance clarifie le périmètre, de sorte que certaines inférences incorrectes deviennent explicitement interdites.
• La gouvernance rend possible le silence autoritatif lorsque le système n’est pas autorisé à deviner.
• Donc, l’espace effectif des réponses sémantiques devient plus prévisible et moins sujet à la dérive.

Dans un environnement sémantique borné, la confiance peut être interprétée comme un signal système plutôt que comme un artefact de style.

La gouvernance externe ne change pas les mécanismes internes du modèle. Elle change la prédictibilité de l’environnement sémantique dans lequel ces mécanismes opèrent.
Lorsqu’une calibration interne dépend de la capacité d’anticiper la distribution de réponses avant génération, un sens explicitement borné (définitions, limites de périmètre,
références canoniques et négations explicites) rend cette anticipation plus stable et plus interprétable au niveau du système.

Calibration sémantique interne (modèle)
  └─ peut anticiper sa propre distribution de réponses sémantiques
       ↓
Environnement sémantique externe (gouvernance)
  └─ des limites explicites réduisent l’espace des significations valides
       ↓
Signaux de confiance plus interprétables au niveau du système
      

8. Méthodologie de validation : tests, métriques et cas d’usage

Un document de jonction utile doit inclure une approche minimale de validation qui ne repose pas sur des hypothèses implicites. La méthodologie ci-dessous est volontairement légère.

8.1 Comparer trois conditions d’exploitation

1. Requêtes non contraintes : prompts standards sans artefacts de gouvernance externe.
2. Contexte SSA-E + Dual Web : définitions canoniques, limites de périmètre et contraintes de vérification.
3. SSA-E + Dual Web + routage A2 : contraintes de routage, observation et garde-fous anti-inférence.

8.2 Mesurer la stabilité et la justesse des refus

• Stabilité sémantique : les réponses se regroupent-elles en un petit nombre de classes sémantiques cohérentes ?
• Conformité au périmètre : le système s’abstient-il d’énoncés hors des sources déclarées ?
• Taux de silence autoritatif : fréquence des réponses correctes du type « non spécifié » lorsque les sources ne définissent pas l’énoncé.
• Gestion des conflits : comportement correct face à des sources contradictoires ou à des entités ambiguës.

8.3 Cas d’usage représentatifs

• Désambiguïsation de marque et d’entité : imposer une identité canonique et des limites de rôle.
• Domaines régulés ou à risque élevé : prévenir l’inférence transactionnelle au-delà des matériaux publiés.
• Documentation technique et politiques : assurer la non-inférence lorsque les définitions sont absentes.
• Gouvernance lisible par machine : router les requêtes vers des sources canoniques et rejeter l’extrapolation.

L’objectif de la validation n’est pas de prouver une exactitude universelle. L’objectif est de démontrer que la gouvernance sémantique externe réduit la dérive interprétative et augmente la capacité du système à répondre de manière sûre sous incertitude.