Rôle de la matrice
La matrice de variabilité interprétative sert à distinguer une variation normale de formulation d’une variation qui déplace la compréhension d’une entité.
Elle ne produit pas à elle seule un score public. Elle donne un cadre de qualification : quels axes varient, quelles sorties changent de substance et quelles preuves permettent de dire que la variation est acceptable, fragile ou problématique.
Axes minimaux
1. Axe de récupération
Les sources citées ou activées changent-elles selon le contexte ? Un faible chevauchement de sources indique que la réponse dépend fortement de la couche de récupération.
2. Axe de sélection
Les mêmes sources existent-elles, mais certaines sont-elles ignorées, rétrogradées ou remplacées par des sources secondaires ?
3. Axe de représentation
L’entité conserve-t-elle le même rôle, la même catégorie, les mêmes limites et les mêmes preuves ?
4. Axe de recommandation
L’entité est-elle seulement mentionnée, réellement recommandée, recommandée en premier ou remplacée par un concurrent ?
5. Axe de formulation
Une reformulation de requête change-t-elle seulement le style de réponse ou la substance de la réponse ?
6. Axe inter-systèmes
Les systèmes produisent-ils des lectures compatibles ou stabilisent-ils des versions concurrentes de la même entité ?
7. Axe temporel
La variation est-elle ponctuelle, récurrente ou progressive ?
8. Axe régional ou contextuel
La variation apparaît-elle seulement dans certains environnements de test, régions, langues ou états de session ?
9. Axe de livraison et cache
La sortie observée provient-elle d’une génération fraîche, d’une réponse routée, d’une réponse mise en cache, d’une réponse approuvée, d’une ancienne récupération ou d’une orchestration non visible ?
Cet axe empêche de confondre stabilité et fidélité. Une réponse identique sur plusieurs appels peut signaler une interprétation robuste, mais aussi une fixation de couche de livraison.
Qualification
Une observation doit être classée au minimum dans l’un de ces états :
- stable : variation de style sans déplacement de sens.
- fragile : variation de détails, mais canon encore reconnaissable.
- instable : catégorie, preuve ou recommandabilité déplacée.
- dérivée : contradiction qualifiée avec la baseline ou le canon.
- non concluante : preuve insuffisante, échantillon trop faible ou contexte mal contrôlé.
- fixée : variation apparemment supprimée par une couche de livraison, sans preuve suffisante que la réponse répétée reflète le comportement natif actuel du modèle.
Règle de preuve
Un seul test ne suffit pas. Une conclusion robuste doit préciser la requête, le système, la langue, le contexte, la date, les sources citées, la sortie brute, la baseline utilisée et le motif de qualification.
Sans ces éléments, la variabilité reste une anecdote. Avec eux, elle devient un objet d’observabilité interprétative.
Lorsque les sorties sont anormalement répétitives, la preuve doit aussi distinguer la reconstruction native du modèle et la reconstruction livrée par l’application.