証拠レイヤー
このページが用いる証拠サーフェス
このページは、ガバナンスファイルを参照するだけではありません。観察、トレーサビリティ、忠実性、監査をより再構成しやすくするサーフェスにも結びついています。以下の順序が、最小限の証拠の連鎖を示します。
- 01カノンと範囲定義カノン
- 02回答の承認Q-Layer:回答の正当性
定義カノン
/canon.md
合成を経ても失われてはならない、アイデンティティ、範囲、役割、否定についての対抗可能な基盤。
- 証明可能にすること
- 忠実性を評価できる基準となる参照コーパス。
- 証明しないこと
- システムがすでにこれを参照していることも、観測された回答がこれに忠実であり続けることも証明しない。
- 用いる場面
- あらゆる観測、テスト、監査、修正の前に。
Q-Layer:回答の正当性
/response-legitimacy.md
いつ回答し、いつ保留し、いつ正当な非回答に切り替えるべきかを説明するサーフェス。
- 証明可能にすること
- 出力を受理可能なものとして扱う前に適用すべき正当性レジーム。
- 証明しないこと
- ある回答が実際にこのレジームに従ったことも、エージェントがランタイムでこれを適用したことも証明しない。
- 用いる場面
- ページが権威、非回答、実行、抑制を扱う場合。
再構成の忠実性:AI生成回答における意味の保持
再構成の忠実性(reconstruction fidelity)とは、AIシステムがあるソースから回答を生成するときに、そのソースの意味と関連する境界が保たれていることを指す。これは、サービスの説明、文書の要約、選択肢の比較、意思決定の準備といったタスクに照らして評価される。
忠実な再構成は、読者が理解できることや結論できることを左右する要素を保持する。すなわち、事実、条件、除外、権威の境界、利用可能な証拠、そして主張の位置づけである。回答はソースを言い換えたり要約したりできるが、その際にもこれらの関係を保つ必要がある。
Gautier Dorvalのコーパスにおいて、再構成の忠実性は解釈忠実性への文脈的な入口となる用語であり、ここではAI生成回答に適用されている。概念の参照先は定義であり、このガイドはその適用を示す。用語ノート(英語)がこの関係を明示している。機構的解釈可能性の分野では、同じ英語表現がスパースオートエンコーダによるモデルの活性化の再構成にも使われており、JumpReLUの論文(英語)がその例である。このページが扱うのは、生成された回答において再構成される意味である。
再構成を経ても保たれるべきもの
回答は、正しい名称、製品、いくつかの正確な事実を保ちながら、ソースの範囲を変えてしまうことがある。そのため評価では、回答が何を述べ、何を示唆し、読者に何を決めさせるのかを検討する必要がある。
| 保持すべき要素 | 評価の問い |
|---|---|
| 意味と同一性 | 回答は正しい対象を記述し、ソースの関係と区別を保っているか。 |
| 範囲 | 地域、対象者、状況、除外は、明示された限界の内側で表されているか。 |
| 条件 | 言明や推奨が依拠する前提条件は保たれているか。 |
| 権威 | 回答は、ソースが定義、証明、推奨、許可できる範囲を尊重しているか。 |
| 証拠 | 読者は、観察されたこと、推論されたこと、宣言されたこと、まだ確立されていないことを区別できるか。 |
| 主張の位置づけ | 提案、仮説、探索的な結果は、元の位置づけを保っているか。 |
これらの次元は互いに影響し合う。条件が省かれれば範囲が広がることがある。帰属を誤れば、見かけ上の権威が生まれることがある。断定的すぎる表現は、可能性を確立された結果に変えてしまうことがある。
例:回答を変える条件
このページのために作成した説明用の例を考える。
このサービスは、事前の検査を条件として、ケベック州の住宅用建物で利用できます。商業用建物は対象外です。
忠実な言い換えは、たとえば次のようになる。
このサービスはケベック州の住宅用建物を対象としています。利用資格は検査によって決まり、商業用建物は対象外です。
「このサービスはケベック州の建物で利用できます」という回答は、地域は保っているが、対象を広げ、前提条件を取り除いている。利用資格に関する問いでは、こうした省略によって読者が導く結論が変わる。
したがって、忠実性はタスクに依存する。一般的なサービス一覧であれば、読者を利用資格の詳しいページへ案内することもできる。ある建物が対象になるかを判断するための回答には、決定的な条件が含まれている必要がある。
主張の位置づけは意味の一部である
再構成の誤りは、主張の内容だけでなく、その強さにも及ぶことがある。
別の説明用の例では、ソースが次のように述べている。
AIの回答が条件を保持しているかを評価するためのプロトコルが提案されている。
「検証済みの手法が条件の保持を測定する」という言い換えは、二つの変更を加えている。提案が検証済みの手法になり、意図された評価が確立された能力になっている。
同じ種類のずれは、観察が因果的な証拠として示されるとき、技術的な能力が行動の許可として示されるとき、著者の宣言が独立した検証として示されるときにも生じる。評価では、ソースの該当箇所、回答の該当箇所、そして位置づけの正確な変化を記録する必要がある。
再構成の忠実性を評価する方法
有用な評価は、範囲を限定した参照から始まる。どの文書、どの版、どの問いが回答を導くべきかを定める。
その後の手順は、次の五つの段階に沿って進めることができる。
- タスクを定義する。回答が読者に何を理解させ、何を決めさせるためのものかを明確にする。
- 決定的な要素を特定する。失われるとその理解が変わってしまう事実、条件、除外、主張の位置づけを記録する。
- 生成された回答を保存する。受け取ったテキストと、それが生成された既知の条件を保管する。
- 乖離を記述する。追加、関連する省略、関係の変更、根拠のない帰属、主張の位置づけの変化を区別する。
- 範囲内で報告する。検討した事例、適用した基準、意見の相違、評価の限界を示す。
ステップ4で記録した乖離が確立された場合、それはこのコーパスがカノンと出力のギャップと呼ぶものに当たる。評価のために集めた資料、すなわち参照、回答、基準、限界は、忠実性の証明に属する。
公開されている忠実性ルーブリック(英語)は、正規の事実、既知の情報と未知の情報、追加、境界を扱う出発点を提供する。その反推論(英語)と権威(英語)の次元は、評価の関連する部分を支える。
有用な網羅性も評価に含まれる
空の回答は、説明を求めるタスクに必要な決定的情報を何も提供しない。ソースが結論を支えない場合には回答の差し控えが適切なこともあり、その場合、有用な応答は何が欠けていて、何がなお判断できるかを示すことができる。
次元ごとの報告(英語)によって、こうした違いが見えるようになる。読者は、正確だが不完全な回答、明示された条件のもとで有用な回答、裏づけを欠く結論を区別できる必要がある。
範囲を限定した再現の公開事例
Governed Context RuntimeのT3記録は、架空の教育用事例について、リクエスト、回答、期待される要素を保存している。公開された検証は、11の項目を含む5つのリストの再現を、その内容、順序、件数を保ったまま記録している。
この記録によって、具体的な特性を検証できる。それは範囲を限定した要素の保持であり、そこには発動条件、非適用条件、必要な証拠、禁止された推論が含まれる。読者は、保存された回答(フランス語)を公開された検証と照合できる。
その範囲は、フランス語による一つの会話と、制作者側によるレビューである。追加も省略もないという結果は、これら5つのリストに当てはまるものであり、回答全体に当てはまるものではない。この記録は範囲を限定した再現を例示している。一般的な比較の結論を導くには、適切なプロトコルとより広い事例群が必要である。
忠実性、正確さ、トレーサビリティ
これらの特性は、それぞれ異なる問いに答える。正確さは、主張が正しいかどうかに関わる。トレーサビリティは、回答に関連する資料を特定できるようにする。再構成の忠実性は、参照の意味と関連する境界がタスクに対して保たれているかどうかに関わる。また、これは可視性や引用可能性とも異なり、その比較はSEO可視性、AI引用可能性、解釈忠実性で扱っている。
ソースそのものに誤りが含まれることもある。引用があっても、結論全体を支えているとは限らない。文書が利用可能であることは、それだけでは、その文書がどのように使われたかを立証しない。忠実性の向上を、文書やガバナンスファイルの追加といった介入に帰属させるには、GEO施策の因果帰属プロトコルが求めるとおり、エスティマンドと比較対照をあらかじめ宣言する必要がある。観察された変動、記録された使用、因果効果は、それぞれ異なる三つの結論である。
忠実性の用語マップ(英語)は、適用忠実性、忠実性の証明、シーケンス指標についても説明している。各用語は、その対象、参照、評価の範囲を特定する必要がある。
参照先と関連資料
解釈忠実性の定義は、Gautier Dorvalのコーパスにおけるこの概念を確立している。用語ノート(英語)は用語間の関係を記録し、来歴記録(英語)は保持された版と文書上の証拠を特定する。
具体的な評価は、明確な問い、特定可能な参照、保存された回答から始まる。それらを明示的な基準のもとで比較することで、再構成の忠実性を検証できるようになる。