言明単位の権威を保持するためのフレームワーク

言明単位の権威を保持するためのフレームワーク

このフレームワークは、抽出された言明が、AIの回答を統御するのに十分な権威を保持しているかをテストする。

このフレームワークは、システムがより大きなソースの断片を引用、要約、または再結合するケースを想定している。問題は、単にその言明が存在するかどうかではない。問題は、その権威が抽出を経ても存続したかどうかである。

診断の次元

1. 発信者の保持

回答は、誰がその言明を発したのかを、なお特定できるか？

失敗モード：特定のソース、機関、著者、またはガバナンスサーフェスが発した言明であるにもかかわらず、一般的な知識として扱われる。

2. ソースの保持

回答は、正規ソースまたは親文書を、なお特定できるか？

失敗モード：断片が元の文書階層を伴わずに引用され、利用者は、それが正規のものか、派生的なものか、アーカイブされたものか、文脈的なものかを判別できなくなる。

3. 時間の保持

回答は、公開日、更新状態、または置き換えの状態を保持できるか？

失敗モード：古い言明が現行のものとして用いられる。あるいは、期間が限定された言明が恒久的なルールに変換される。

4. ペリメーターの保持

回答は、その言明がどこに適用され、どこに適用されないかを保持できるか？

失敗モード：局所的な言明が一般化される、文脈上の例がドクトリンになる、あるいは留保が消える。

5. モダリティの保持

回答は、その言明が記述的、規範的、仮説的、アーカイブ的、条件的、保留的のいずれであるかを保持できるか？

失敗モード：記述が推奨になる、観察がルールになる、あるいは正当な非回答が弱い回答になる。

6. 統御ソースの保持

回答は、どのソースが最終的な解釈を統御しているかを示せるか？

失敗モード：公式のソースが引用されているにもかかわらず、別のソースが回答を構造づけ、または統御している。

判定ルール

言明が権威を保持しているとみなされるのは、発信者、ソース、時間、ペリメーター、モダリティ、統御ソースが再構成可能なままである場合に限られる。

一つの次元が欠けている場合、その言明は文脈上の裏づけとしてのみ使用できる。

二つ以上の次元が欠けている場合、その言明は、明確化なしに回答を統御すべきではない。

出力クラス

• 保持された権威：その言明は回答を統御できる。
• 文脈的な権威：その言明は回答を支えることはできるが、単独で統御することはできない。
• 不安定な権威：その言明は、使用の前に明確化を必要とする。
• 失われた権威：その言明は、統御する素材として使用すべきではない。

忠実性の証明との関係

忠実性の証明は、回答がオブジェクト、ペリメーター、モダリティ、限界を保持したかを問う。

このフレームワークは、より細かなテストを加える。抽出された各言明が、その保持を可能にするのに必要な権威をなお帯びているかどうかである。

権威を言明単位で保持しなければならない理由

あるソースが権威をもつからといって、そこから導かれるすべての言明が権威をもつわけではない。このフレームワークは、よくある失敗を防ぐ。システムが強いソースを取得し、その近くにある主張にその権威を借用させてしまうという失敗である。権威の保持とは、各言明が、それ自身のペリメーター、条件、ソース、証拠としてのステータスを保ち続けることを意味する。

このフレームワークは、まず回答を個々の言明に分解する。次に、各言明を、その統御ソース、権威の水準、許容される推論の範囲、応答条件に対応づける。レビューでは、要約、翻訳、言い換え、合成の後でも、その言明が同じ権威の境界の内側にとどまっているかを問う。

運用プロトコル

このプロトコルは四つのチェックを用いる。第一に、言明を特定する。第二に、それを承認しているソースを特定する。第三に、その言明が直接的なものか、推論されたものか、留保付きのものか、裏づけのないものかを特定する。第四に、最終的な出力が、ソースを超えて主張を膨らませていないかをテストする。これにより、このフレームワークは言明単位の権威、権威の境界、擁護可能な推論と結びつく。

このフレームワークは、法律、医療、金融、制度、技術、ブランドの機微に関わる文脈で特に有用である。そうした文脈では、言い回しのわずかな変化が、回答に含意されるコミットメントを変えてしまうことがある。

失敗モード

主な失敗モードは、権威の漏出、文脈のロンダリング、含意された推薦、ソースの水増し、暗黙的な一般化である。いずれの場合も、出力は実際よりも十分に裏づけられているように見える。修正とは、必ずしもその言明を削除することではない。場合によっては、言明の範囲を狭めるか、留保を付けるか、正しいソースに結びつけるか、あるいはコミットメント境界の下に移さなければならない。

言明単位の権威が重要である理由

コーパスは、ページ単位では強い権威をもちながら、言明単位では権威を失うことがある。段落はその限界を伴わずに抽出されることがあり、定義は「この用語が意味しないもの」のセクションを伴わずに引用されることがあり、サービスページは「約束しないこと」を伴わずに要約されることがある。このフレームワークは、個々の主張が引用、チャンク化、リトリーバル、言い換えの対象となるときに、その権威を守る。

レビューでは、重要な各言明が、抽出を経ても存続するのに十分な文脈を帯びているかを問う。それには、主題、ペリメーター、時間的な状態、権威の水準、ソースとの関係、限界が含まれる。周囲のテキストに強く依存する言明は、それ自体で範囲が限定されるように書き直すか、それを統御する定義にリンクしなければならない。

保持のメカニズム

権威の保持は、明示的な限定語、正規ページへの近接したリンク、一貫した用語、否定的な境界、主張とともに移動できる短い統御的な言明によって向上する。目的は、すべての文を自己完結させることではない。影響の大きい言明が、それを真にしている条件から切り離されるのを防ぐことである。

このフレームワークは、言明単位の権威、解釈忠実性、チャンクの権威、忠実性の証明を結びつける。これは、RAG、スニペット、AIによる引用、回答エンジンにとって特に重要である。

実装チェックリスト

言明単位のレビューは、移動しやすい主張から始めなければならない。すなわち、定義、サービスの説明、約束しないこと、方法論上のルール、権威の主張である。各主張は、そのページの文脈の外でテストしなければならない。単独で引用されたときにその主張が誤解を招くものになるなら、その文には、より明示的なペリメーター、近接した正規リンク、またはより明確な否定的境界が必要である。

レビューでは、どの言明がバージョンの規律を必要とするかも明示しなければならない。現行のサービス、ポリシー、ステータス、ツール、モデル、または観察についての言明は、無期限に権威を保持してはならない。したがって、このフレームワークは文の設計を保守と結びつける。条件が変わった後も存続する影響の大きい言明は、残留の源になるからである。