コンテンツへ移動

フレームワーク

解釈の可観測性:指標、ログ、証拠

可観測性がなければ、ガバナンスは事後対応的なものとなる。インシデントの後に修正することになる。

コレクションフレームワーク
種別フレームワーク
レイヤーtransversal
バージョン1.0
公開日2026/2/20
更新日2026/3/25

ガバナンスアーティファクト

このページが対象とするガバナンスファイル

このページは、アイデンティティ、優先順位、限界、コーパスの読解条件を宣言する公開サーフェスに結びついています。以下の順序が、推奨される読解の順序です。

  1. 01Q-Metrics JSON
  2. 02Q-Metrics YAML
  3. 03Q-Ledger JSON
可観測性#01

Q-Metrics JSON

/.well-known/q-metrics.json

ギャップ、スナップショット、比較を観測するための記述的指標のサーフェス。

統御する対象
ギャップ、ドリフト、スナップショット、比較の記述。
画定する範囲
観測されたシグナル、忠実性の証明、実際の舵取りの混同。

保証しないこと: 観測サーフェスは効果を記録するものであり、それ単独では表現を保証しない。

可観測性#02

Q-Metrics YAML

/.well-known/q-metrics.yml

計装と構造化された読解のための、Q-MetricsのYAML投影。

統御する対象
ギャップ、ドリフト、スナップショット、比較の記述。
画定する範囲
観測されたシグナル、忠実性の証明、実際の舵取りの混同。

保証しないこと: 観測サーフェスは効果を記録するものであり、それ単独では表現を保証しない。

可観測性#03

Q-Ledger JSON

/.well-known/q-ledger.json

観測、ベースライン、バージョン管理されたギャップを記録するマシンファーストのジャーナル。

統御する対象
ギャップ、ドリフト、スナップショット、比較の記述。
画定する範囲
観測されたシグナル、忠実性の証明、実際の舵取りの混同。

保証しないこと: 観測サーフェスは効果を記録するものであり、それ単独では表現を保証しない。

補完的なアーティファクト(3)

これらのサーフェスは主要ブロックを補完します。テーマに応じて、文脈、発見、ルーティング、観察を加えます。

可観測性#04

Q-Ledger YAML

/.well-known/q-ledger.yml

手続き的な読解またはツール利用のための、Q-LedgerジャーナルのYAML投影。

可観測性#05

Q-Attestプロトコル

/.well-known/q-attest-protocol.md

アテステーション、証拠、観測の読解を枠づける公開プロトコル。

可観測性#06

観測所マップ

/observations/observatory-map.json

観測サーフェスと監視対象の領域の構造化されたマップ。

証拠レイヤー

このページが用いる証拠サーフェス

このページは、ガバナンスファイルを参照するだけではありません。観察、トレーサビリティ、忠実性、監査をより再構成しやすくするサーフェスにも結びついています。以下の順序が、最小限の証拠の連鎖を示します。

  1. 01
    カノンと範囲定義カノン
  2. 02
    弱い観測Q-Ledger
  3. 03
    派生測定Q-Metrics
  4. 04
    アテステーションQ-Attestプロトコル
正規の基盤#01

定義カノン

/canon.md

合成を経ても失われてはならない、アイデンティティ、範囲、役割、否定についての対抗可能な基盤。

証明可能にすること
忠実性を評価できる基準となる参照コーパス。
証明しないこと
システムがすでにこれを参照していることも、観測された回答がこれに忠実であり続けることも証明しない。
用いる場面
あらゆる観測、テスト、監査、修正の前に。
観測台帳#02

Q-Ledger

/.well-known/q-ledger.json

観測された一部の参照とシーケンスを可視化する、推論されたセッションの公開台帳。

証明可能にすること
ある挙動が、弱く、日付付きで、文脈化されたトレース証拠として観測されたこと。
証明しないこと
行為者の身元、システムの服従、発動の強い証明のいずれにもならない。
用いる場面
記述的な観測と強いアテステーションを区別する必要がある場合。
記述的指標#03

Q-Metrics

/.well-known/q-metrics.json

一部の変動をスナップショット間でより比較しやすくする派生レイヤー。

証明可能にすること
観測されたシグナルを、記述的な指標として比較、バージョン管理、異議申立てできること。
証明しないこと
それ単独では、表現の真実性も、出力の忠実性も、実際の舵取りも証明しない。
用いる場面
期間を比較し、監査の優先順位を付け、変更前後を記録するため。
アテステーションプロトコル#04

Q-Attestプロトコル

/.well-known/q-attest-protocol.md

推論されたセッションと検証済みのアテステーションを明確に分離する任意の仕様。

証明可能にすること
観測を検証可能なアテステーションへ引き上げるために必要な最小限の枠組み。
証明しないこと
アテステーションのエンドポイントが存在することも、アテステーションがすでに受領されたことも証明しない。
用いる場面
ページが強い証明、運用上の検証、証拠レベルの分離を扱う場合。
補完的な証拠サーフェス(1)

これらのアーティファクトは主要な連鎖を補完します。監査、証拠の水準、引用、バージョンの推移を特定するのに役立ちます。

レポートスキーマ監査レポート

IIPレポートスキーマ

/iip-report.schema.json

解釈完全性レポートの公開インターフェース:範囲、指標、ドリフトの分類体系。

解釈の可観測性:指標、ログ、証拠

解釈の可観測性とは、AIシステムがあるエンティティやコーパスについて実際に何を再現しているかを時間を通じて測定し、解釈がドリフトし、脆弱になり、あるいは捕捉される時点を特定する能力である。

可観測性がなければ、ガバナンスは事後対応的なものとなる。インシデントの後に修正するのである。可観測性があれば、ガバナンスは予防的なものになる。ドリフトが安定化する前に、それを検出するのである(解釈慣性、解釈テール、解釈残留)。


運用上の定義

解釈の可観測性:カノンと出力のギャップ、コンプライアンスドリフト、会話の安定性、修正の伝播を、複数のサーフェス(オープンウェブ、RAG、エージェンティック)にわたって測定することを可能にする、指標、ログ、立証的アーティファクトの総体。


本フレームワークが不可欠である理由

  • 誤りはまれであっても、構造を左右しうる(誤りは安定化する)。
  • 修正は局所的には有効に見えても、全体としては失敗しうる(解釈テール)。
  • ある解釈は、修正後も「真」であり続けうる(解釈残留)。
  • 近傍がアイデンティティを徐々に汚染しうる(捕捉)。

可観測性は、これらの現象を可視化し、対処可能なものにする。


適用サーフェス

  • オープンウェブ:回答エンジン、一般向けAI、持続する引用
  • RAG:リトリーバル、ソースのルーティング、チャンク、引用
  • エージェンティック:決定、ツール、実行、非回答

「指標+ログ+証拠」モデル

1) 指標

ドリフトと安定性を追跡するための、継続的な定量的指標。

2) ログ

変動を説明する、タイムスタンプ付きのイベント(テスト、インシデント、リリース、修正)。

3) 証拠

重要な事例に関する対抗可能なアーティファクト(解釈トレース、忠実性の証明)。


最小限の指標(OM-1からOM-8)

OM-1:カノンと出力のギャップ

カノンと、再現されたものとのあいだの距離(省略、歪曲、外挿)。

OM-2:コンプライアンスドリフト

カノンが安定しているにもかかわらず、時間とともにギャップが拡大すること。

OM-3:正当な非回答の率

ガバナンス下の拒否の頻度と質。低すぎる場合:正当でない推論。高すぎる場合:盲目または過剰な遮断。

OM-4:アイデンティティのインシデント

エンティティの衝突、汚染、置換。

OM-5:複数の言い回しにわたる安定性

同等のクエリに対する出力のギャップ(不安定性)。

OM-6:複数ターンにわたる安定性

5ターンから10ターンにわたる会話上の乖離。

OM-7:修正の伝播遅延

正規の修正から、改善が観察されるまでの時間(解釈テール)。

OM-8:残留指数

修正後に古い解釈が再出現する確率。


期待されるログ

  • テストログ:日付、サーフェス、プロンプト、結果、ギャップ
  • インシデントログ:種類、重大度、文脈、証拠
  • 修正ログ:内因的、外因的、根拠、バージョン
  • リリースログ:変更、期待される影響、リリース後の検証

証拠(最低限の形式)

  • 解釈トレース:ソース、日付、カノンのバージョン、適用されたルール、決定
  • 忠実性の証明:カノンと出力の対応関係、権威の衝突、許容される推論の正当化

警告閾値とプレイブック

有用な可観測性には、行動を引き起こす閾値が必要である。

  • 閾値1:軽度のドリフト → モニタリング+再テスト
  • 閾値2:中程度のドリフト → 正規の修正+修正後の検証
  • 閾値3:重大なドリフト → 内因的修正+外因的修正+規律あるリリース

Q-Layerおよびバージョン規律との統合

  • Q-Layerは、ルール(応答条件、非回答、証拠)を提供する。
  • 可観測性は、現実(実際に出力されるもの)を測定する。
  • バージョン規律は、修正を統御可能なものにする(リリース、伝播)。

期待されるアーティファクト

  • OM-1からOM-8の指標のダッシュボード
  • インシデント登録簿(衝突、捕捉、乖離)
  • バージョン管理されたテスト群
  • 定期レポート(週次/月次)
  • 修正プレイブック(内因的/外因的/非回答)

よくある質問

なぜ単なる「アナリティクス」ではないのか?

クリックを測定するのではないからである。測定するのは、解釈の忠実性、正当性、証拠、ドリフトである。

オープンウェブにも適用できるか?

できる。反復的なテスト群、カノンと出力のギャップの測定、そしてドリフトの原因となっている支配的なソースの分析を通じて適用できる。

主な落とし穴は何か?

プレイブックのない指標をもつことである。介入する能力なしに測定することは、負債が形成されていくのを眺めることに等しい。


関連ページ

関連項目

観察から証拠へ

解釈の可観測性が有用であるのは、あらゆる観察を証拠として扱うことを避ける場合に限られる。ログのエントリー、プロンプトの結果、引用、スクリーンショット、モデルの回答は、何かが起きたことを示しうる。しかしそれは、なぜそれが起きたのか、それが安定しているのか、それが修正を統御しなければならないものなのかを、自動的に証明するものではない。

したがって本フレームワークは、観察、指標、トレース、証拠を分ける。観察は出力を捉える。指標はパターンを集約する。トレースは文脈を保存する。証拠は、忠実性、ドリフト、権威、リスクに関する主張を裏づける。この区別によって、モニタリングが逸話の寄せ集めになることを防ぐ。

運用モデル

よい可観測性モデルは、何を観察するのか、どのような条件のもとで、どのシステムについて、どのような期待されるカノンに照らして、どのような行動の閾値をもって観察するのかを定義する。このモデルは、繰り返し生じる各問題を、解釈の可観測性、解釈の監査可能性、Q-Ledger、Q-Metricsに結びつけなければならない。

このモデルはまた、先行指標と証拠の閾値を分けなければならない。繰り返される弱いシグナルは、モニタリングや軽微な修正を正当化しうる。影響の大きい主張は、行動の前に再構成可能な証拠を必要としうる。

失敗モード

主な失敗は、孤立した出力を過大に解釈すること、カノンをあまりに早く変更すること、忠実性を伴わずに可視性を測定すること、十分な反復なしにモデルの変動性を不安定性の証拠として扱うことである。よい可観測性フレームワークは、文脈、頻度、ソースのクラス、修正の状況を保持することで、シグナルを有用なものに保つ。