発見可能性と学習の違い

この区別が必要になった理由

解釈される環境では、同じサイトが、互いに混同してはならない複数の目的のために参照され得る。

システムは、次のことを行い得る。

• リソースが存在することを発見する。
• 回答するためにそのリソースを読む。
• 学習、アラインメント、統合の目的でそのコンテンツを再利用する。

これら三つのレジームが一つにまとめられると、組織は一つのものを統御しているつもりでいながら、実際には異なる用途に境界を設けようとしていることになる。

発見可能性

発見可能性とは、リソースが見つけられ、探索され、または読解の候補として保持され得ることを意味する。

発見可能性が主に関わるのは、次の事柄である。

• サーフェスが公開されて存在していること
• その技術的なアクセス可能性
• その構造上の明瞭さ
• 読解ルートの中で動員される確率

発見可能性は、次のことをまだ示さない。

• リソースが引用されるかどうか
• そのコンテンツが忠実に復元されるかどうか
• そのテキストが学習の目的で再利用されるかどうか

回答生成のための読解

第二のレジームは、システムがリソースを発見するだけでなく、実際にそれを用いて回答を構築するときに現れる。

その時点で、関連する問いはもはや「システムは私を見ることができるか？」だけではなく、むしろ次のものになる。

• 実際にどのサーフェスが読まれるか
• どの部分が保持されるか
• どのソース階層が適用されるか
• どのような条件の下で応答が正当であり続けるか

このレジームは、インデックス化、回答生成、学習の違い、シグナル、証明、コンプライアンス、証拠レイヤーとあわせて読まなければならない。

学習

学習は、第三のレジームに属する。

学習は、リソースを発見することとも、それを一度引用することとも等価ではない。学習が関わるのは、パラメータ、振る舞い、合成上の選好、確率分布を変更するためにコーパスを使用することである。

学習を単なる読解の出来事であるかのように記述してはならないのは、そのためである。

発見可能性のシグナルは、学習のシグナルではない。 アクセスのシグナルは、再利用の証明ではない。 ガバナンスのアーティファクトは、遵守の保証ではない。

混同が続く理由

混同が続くのには、三つの理由がある。

1. 公の語彙が曖昧なままである

市場はしばしば、次のものを混同している。

• AI可視性
• クローラーのアクセス
• 回答における引用
• 学習への利用
• 宣言されたコンプライアンス

2. ポリシーサーフェスはそれぞれ同じ水準を統御するわけではない

robots.txt、llms.txt、metaディレクティブ、ヘッダー、ガバナンスのマニフェスト、コンテキストページは、問題の同じレイヤーを統御するわけではない。機械向けポリシーサーフェスを参照。

3. システム自体が、使用しているレジームを常に開示するわけではない

システムは、引用せずに発見することも、忠実性なしに引用することも、その利用を読み取れるようにしないままリソースに依拠することもある。それゆえ、レジームを一つに潰すのではなく区別するドクトリンが必要となる。

ドクトリン上の帰結

機械における自らの存在を正しく統御したい組織は、次のものの間の対抗可能な区別を公開しなければならない。

• 発見されること
• 回答のために読まれること
• 学習のために再利用されること

この区別は表面的なものではない。それは、公開されたポリシーの妥当性、観察の解釈、濫用的な結論を避ける能力を左右する。

応用サーフェスへの帰結

Better Robots.txtのような応用サーフェスは、この区別の一部をWordPress上で具体化できる。だが、それがこれらのレジームに関するドクトリン全体を尽くしているかのように読まれてはならない。

したがって、適切な読解の順序は次のとおりである。

1. レジームのドクトリン
2. 限界の明確化
3. 応用サーフェス
4. 限定された証明リポジトリ

具体的な実装レイヤーについては、応用サーフェスとしてのBetter Robots.txtを参照。