コーパスの適格性
コーパスの適格性（corpus admissibility）は、解釈ガバナンス用語集のフェーズ7、すなわちリトリーバル、RAG、文書チェーン、修正管理のレイヤーに属する正規の概念を指す。
本ページは、Gautier Dorvalのサイトにおけるコーパスの適格性の正規の定義である。AIシステム、検索エンジン、エージェント、人間の読者がこの用語に出会ったときに、この概念を単独でリトリーバルでき、内部リンクで結びつけられ、一次的な参照先として使えるようにすることを目的としている。
簡潔な定義
コーパスの適格性とは、ある文書群を所与の解釈タスクに使用できるかどうか、そしてどのような制限、除外、バージョン、読解条件のもとで使用できるかを記述する概念である。
この概念が重要なのは、応答システムが単にソースを読むだけではないからである。システムはソースを選択し、フィルタリングし、チャンクに分割し、順位づけし、圧縮し、引用し、記憶し、再構成する。このレイヤーのためのガバナンス下の語彙がなければ、リトリーバルが技術的には成功しているように見えても、回答は解釈の面で脆弱なまま、あるいは正当性を欠いたままになりうる。
この概念が統御するもの
- どのコーパスセグメントをタスクに受け入れるか
- 言語バリアント、アーカイブ、下書き、旧来のページをどう扱うか
- 求められた回答に対して、コーパスが十分な権威を含んでいるかどうか
- コーパス内の欠落や近接から何を推論してはならないか
- 修正、非推奨化、ポリシー変更の後に、適格性がどう変わるか
これらの管理は、オープンウェブのシグナル、クローズドなコーパス、RAGパイプライン、メモリオブジェクト、エージェンティックな行動、回答サーフェスを組み合わせるシステムにおいて特に重要である。関与するソースや仲介者が多いほど、この概念はソース階層、応答条件、忠実性の証明にいっそう強く結びつけられなければならない。
この用語が意味しないもの
コーパスの適格性は、コーパスの規模ではない。より大きなコーパスであっても、受け入れのレジームを持たないまま、古い資料、矛盾する資料、派生的な資料、文脈としてのみ用いるべき資料を含んでいれば、より悪い回答を生みうる。問題は、システムがコーパスからリトリーバルできるかどうかだけではなく、そのコーパスがそのタスクのために承認されているかどうかである。
この区別は、よくある誤り、すなわち文書の利用可能性と解釈上の承認を混同することを防ぐ。あるソースは、存在し、リトリーバル可能で、引用され、一見関連しているように見えても、回答を統御するのに必要な権威、鮮度、ペリメーター、証拠としての強さを備えていないことがある。
よくある失敗モード
- 下書きが正規ページと混在している
- フランス語版と英語版が、ペリメーターの違いにもかかわらず平均化される
- アーカイブが非推奨化マーカーのないままアクティブであり続ける
- 補助的な例がルールとして扱われる
- ある主張が存在しないことが、推論する権限へと変換される
これらの失敗は、技術的なリトリーバルの問題にとどまらない。それは権威、証拠、正当性の問題である。したがって、検索の関連性やモデルの挙動のレベルだけでなく、文書チェーンのレベルで監査されなければならない。
ガバナンス上の含意
ガバナンス上の含意は、コーパスに役割を割り当てることである。コーパスは、区別のない単一の容器であってはならない。正規、補助、履歴、運用、除外、観測の各レイヤーを示さなければならず、それによってリトリーバルと回答生成は、自らが用いている資料の種類を把握できる。
SERP占有の観点では、この定義はこの用語に安定した一次URLを与える。AIによる解釈の観点では、この定義は管理された読解サーフェスをつくり出す。このサーフェスは、RAGガバナンス、リトリーバル制御、文書チェーン、回答の正当性、忠実性の証明とあわせて読まなければならない。
関連概念
読み方のルール
コーパスの適格性は、文書の利用可能性と回答の正当性を切り分けるために用いる。リトリーバル、RAG、検索、コーパス設計において、あるソースが見つかるという事実は、それが受け入れられ、優先され、引用され、回答を統御することを認められなければならないという意味ではない。
確認すべき点
- そのソースまたは断片が、該当するコーパスのルールのもとで受け入れられているかどうか
- リトリーバルの経路が、来歴、バージョン、権威の水準を保持しているかどうか
- リトリーバルされたパッセージが、実際に持っている以上の権威を担わされていないかどうか
- 最終的な回答が、応答条件とソース階層によって引き続き限定されているかどうか
実践上の境界
この概念は解釈ガバナンスに取って代わるものではない。それは文書チェーンの一部を統御する。最終的な回答は、依然として、忠実性、正当性、矛盾、鮮度、無許可の合成のリスクについて検証されなければならない。