IIP-Scoring™ : cadre doctrinal du protocole de mesure de l’intégrité interprétative
Cette page définit le cadre doctrinal public d’IIP-Scoring™. Elle expose les notions, objectifs, principes et périmètres de mesure, sans divulguer d’implémentation, de calibrations, de pondérations internes, de seuils opérationnels, de règles d’arbitrage ou de procédures d’annotation.
IIP-Scoring™ est un protocole de qualification visant à mesurer l’écart entre un corpus canonique explicitement snapshoté et des sorties générées par des modèles de langage, sous conditions d’exécution déclarées.
Il ne constitue ni une promesse de résultats, ni un avis juridique, ni une garantie sur des sorties futures.
Positionnement
IIP-Scoring™ n’est pas un mécanisme de génération. Il n’est pas une méthode d’optimisation. Il n’est pas un système de filtrage.
Il est un dispositif de qualification ex post, destiné à rendre observable, traçable et comparable un état interprétatif sous contraintes déclarées.
Il intervient après la production d’une sortie, afin d’en qualifier la relation au corpus de référence.
Surface de référence GitHub (spécification restreinte)
Une surface publique, volontairement non opératoire, est maintenue afin d’ancrer la terminologie, les schémas d’interface, la structure déclarative et l’antériorité versionnée.
Repo canonical :
https://inferenslab.org/
Artefacts déclaratifs et schémas d’interface (structure uniquement) :
- Manifest (déclaratif)
manifest/iip-scoring.standard.manifest.json - Schéma du rapport IIP (interface)
schemas/iip-report.schema.json - Schéma QBank (interface)
schemas/qbank.schema.json - Schéma corpus snapshot (interface)
schemas/corpus-snapshot.manifest.schema.json - Snapshots versionnés (antériorité et intégrité)
versions/0.1.0/
Important : cette surface GitHub ne doit pas être interprétée comme un guide d’implémentation. Elle décrit une structure de référence et des interfaces. L’exécution, les calibrations, les heuristiques, les matrices sectorielles, les banques de questions complètes et les procédures d’audit demeurent sous licence.
Relation à l’audit d’intégrité interprétative
Audit d’intégrité interprétative : procédure formelle produisant un rapport opposable, attaché à un corpus snapshoté, un périmètre explicite et une chaîne de preuves traçables.
IIP-Scoring™ : projection de mesure appliquée aux observations d’un audit, afin de produire des métriques (et, lorsque défini, des grades et gates) lisibles et comparables.
Référence canonique (protocole d’audit) : Interpretation integrity audit protocol.
Objet et finalité
- Mesurer la part de réponses ancrées dans un corpus canonique.
- Rendre observable la distorsion interprétative.
- Identifier les zones d’inférence non maîtrisée.
- Stabiliser la lecture machine via une approche reproductible, versionnée et archivable.
- Archiver un état interprétatif à un instant T.
Le protocole ne mesure pas une vérité ontologique. Il qualifie un écart dans un système structuré.
Principes normatifs
- Traçabilité : conservation des intrants (corpus, questions, paramètres) et des extrants (sorties brutes, annotations).
- Versioning explicite : tout artefact pertinent doit être versionné.
- Reproductibilité : à intrants identiques, le scoring doit être reproductible à l’arrondi près.
- Neutralité terminologique : éviter l’anthropomorphisme, parler de sorties, de probabilités, de variabilité, de dominance.
- Séparation stricte : faits observables, inférences et erreurs factuelles ne doivent pas être confondus.
- Validité conditionnelle : la valeur d’un résultat dépend du corpus, du périmètre, du jeu de questions et des conditions d’exécution déclarées.
Périmètre de ce cadre public
Ce cadre doctrinal expose les définitions conceptuelles et le sens des métriques principales. Il n’inclut pas :
- les règles d’annotation détaillées, seuils internes et arbitrages opérationnels ;
- les pondérations, calibrations sectorielles et paramètres d’industrialisation ;
- les procédures complètes d’exécution, d’archivage, d’empreintes cryptographiques et les gabarits d’audit.
Taxonomie de qualification
Chaque réponse est qualifiée selon une taxonomie conservatrice :
- Factuel : supporté par une preuve explicite présente dans le corpus snapshoté.
- Inférence : plausible, mais non démontrable à partir du corpus déclaré (ou dépendante de sources externes non intégrées au corpus).
- Faux : contredit le corpus ou affirme un fait incompatible avec les preuves disponibles.
- Non répondu / indéterminé : absence de réponse exploitable ou refus.
Règle structurante : « Inférence » ne signifie pas « presque vrai ». Dans ce protocole, l’inférence signale une perte de contrôle narratif : la sortie comble un vide informationnel au-delà des preuves canonisées.
Métriques principales
MVS™ — Machine Visibility Score
Mesure la part de voix algorithmique ancrée : proportion de réponses factuelles (supportées par le corpus) parmi les réponses qualifiées.
IDI™ — Interpretation Distortion Index
Mesure la distorsion factuelle : proportion de réponses erronées parmi les réponses qualifiées.
NSS™ — Narrative Stability Score
Mesure la stabilité narrative : degré d’accord et de cohérence des verdicts entre modèles et, lorsqu’applicable, au fil de répétitions contrôlées.
IIS™ — Interpretation Integrity Score
Indice composite optionnel visant à fournir une synthèse lisible, sans se substituer aux métriques de base. IIS™ ne remplace jamais l’analyse des métriques primaires.
Lecture combinée des métriques
Les métriques IIP-Scoring™ ne doivent jamais être interprétées isolément. Leur sens émerge de leur combinaison. Pour une lecture structurée des états possibles, voir : Configurations interprétatives.
Configuration de maîtrise interprétative
MVS élevé + IDI faible + NSS élevé
Ancrage fort dans le corpus canonique, faible distorsion factuelle et stabilité narrative inter-modèles.
Stabilisation d’une inférence
MVS faible + IDI faible + NSS élevé
Stabilité d’une narration peu ancrée dans le corpus. L’absence de contradiction ne garantit pas la maîtrise : une inférence plausible peut se normaliser en l’absence de preuves explicites.
Pour verrouiller la distinction entre inférence et distorsion, voir : Distorsion vs inférence.
Fossilisation interprétative
MVS faible + IDI élevé + NSS élevé
Faible ancrage, distorsion factuelle et stabilité forte. Cette configuration signale une erreur devenue structurellement reproduite entre modèles.
Ambiguïté structurelle
MVS élevé + IDI faible + NSS faible
Ancrage correct mais variabilité inter-modèles significative. Cette configuration peut révéler un périmètre insuffisamment stabilisé ou une concurrence de signaux interprétables.
Principe doctrinal fondamental : une configuration stable n’est pas nécessairement saine, et une configuration instable n’est pas nécessairement erronée. La topologie interprétative prime sur la valeur brute.
Non-linéarité interprétative
Les métriques IIP-Scoring™ ne suivent pas une logique linéaire simple. Pour le statut conceptuel et les limites de ce que mesure une qualification, voir : Épistémologie de la mesure interprétative.
- Un NSS élevé peut signaler la stabilisation d’une erreur.
- Un IDI faible n’implique pas l’absence d’inférence.
- Un MVS élevé ne garantit pas l’exhaustivité des exclusions déclarées.
- Un IIS synthétique ne remplace jamais l’analyse détaillée des métriques primaires.
Le scoring qualifie des écarts interprétatifs sous contraintes déclarées. Il ne constitue pas une mesure de vérité ontologique, ni une garantie normative.
Compatibilité architecturale
IIP-Scoring™ est indépendant des architectures de génération. Il qualifie la relation au corpus déclaré, non la technique utilisée pour produire une sortie.
Un système peut intégrer des mécanismes de récupération documentaire, d’outillage externe, de fine-tuning ou d’agentivité, et néanmoins présenter une faible maîtrise interprétative selon un corpus snapshoté.
Neutralité d’implémentation
Le cadre doctrinal ne présuppose aucune implémentation unique. Plusieurs implémentations peuvent être compatibles, à condition de respecter les interfaces déclaratives, la structure taxonomique, les exigences de traçabilité et les principes de reproductibilité.
La doctrine structure un référentiel. Elle ne constitue pas un monopole opératoire.
Limitations et précautions
- Base de vérité limitée : le protocole opère sur un corpus archivé. Un fait réel, mais absent du corpus, peut être classé « Inférence ».
- Évolution des modèles : les systèmes changent. Les résultats décrivent un état à un instant T, pas une propriété permanente.
- Qualité des questions : des questions ambiguës ou composites dégradent la valeur du scoring.
- Effet de cible : toute métrique peut être instrumentalisée si elle devient un objectif isolé.
Ancrage doctrinal
IIP-Scoring™ s’inscrit dans l’architecture de gouvernance interprétative (SSA-E + A2 + Dual Web) en tant que couche de mesure et de qualification des écarts interprétatifs.
SSA-E structure les périmètres, hiérarchies et exclusions. A2 encadre les contraintes d’interprétation contextuelles. Dual Web distingue surface humaine et surface machine. IIP-Scoring™ agit comme dispositif de vérification interne de cohérence entre ces couches.
Il ne constitue ni une méthode autonome, ni un processus universel. Il qualifie un état interprétatif dans un système structuré.
Pour les définitions canoniques et le registre conceptuel, voir : Définitions.
Approfondissements doctrinaux
- Épistémologie de la mesure interprétative : statut épistémique de la mesure, limites ontologiques et relation à la non-réponse légitime.
- Configurations interprétatives : lecture combinée des métriques et configurations structurantes (maîtrise, inférence stabilisée, fossilisation, ambiguïté).
Clarifications doctrinales
- Distorsion vs inférence : distinction structurante entre absence d’ancrage explicite et contradiction factuelle.
- Fossilisation interprétative : stabilisation durable d’une erreur au fil du temps et entre systèmes.
Statut et version
- Statut : cadre doctrinal public (référence conceptuelle).
- Version : alignée sur le référentiel de spécification restreinte (GitHub) pour l’interface et l’antériorité, sans exposer l’opérationnel.
- Portée : non opératoire, non contractuelle, non prescriptive.