ライブウェブとAI：この表現が誤解を招く理由
このページは、ますます広がっている短絡を明確にする。AIシステムが「ライブウェブを読む」、あるいは「ライブウェブを読まない」と言うことは、複数の異なるレジームを、本格的な診断を支えるにはあまりに貧弱な定式に押し込めてしまう。
このページの位置づけ
このページは解釈上の明確化である。
このページは、特定のエンジンや回答モードの内部動作の全容を明らかにするとも、ひとつの事例をすべてのシステムに当てはまるかのように扱うとも主張しない。公開上の利用可能性、文書の動員、永続化されたメモリを混同しないように、より厳密な読解の枠組みを定めるだけである。
語彙の問題
ページの状態がすばやく変わると、次のような言い方がよく聞かれる。
- 「システムはライブウェブを見ていない」
- 「AIは古いキャッシュから答えている」
- 「ページが戻ったのなら、もう再び表示されているはずだ」
こうした言い方は、正しい直感を指していることもあるが、あまりに多くの異なるメカニズムを同じラベルのもとに押しつぶしてしまう。
切り分けなければならない5つのレイヤー
1. 現在のウェブ
公開の状態そのものである。ページが配信される、削除される、復元される、リダイレクトされる、修正される、といった状態を指す。
2. 発見可能性
あるリソースは、現在のウェブに存在していても、のちにそれを動員しうるすべてのシステムによって、実際に再発見され、読み直され、再評価されるとは限らない。
3. ウェブの安定化状態
一連のソースが、実際に動員可能になるほど十分に読み取り可能で、裏づけられ、互いに両立するようになる中間的なレジームである。ウェブの安定化状態を参照。
4. リトリーバルコーパス
あるリソースが安定化状態に属していても、特定の回答のために選ばれるとは限らない。リトリーバルは、状況に依存し、文脈的で、競合的なものであり続ける。
5. 永続化されたメモリ
一部のステートフルな文脈では、システムがインタラクションやサイクルをまたいで状態を持ち越す。このレジームは存在するが、オープンウェブで観測されるあらゆる現象に、デフォルトで投影してはならない。
これら5つのレイヤーが切り分けられない限り、「ライブウェブ」という言い回しは曖昧なままである。
404から復元へのテストが実際に証明すること
ページが404になり、のちに復元されたにもかかわらず、AIシステムにおいて依然として表示されない、あるいは誤って読まれる場合、慎重に述べられることは3つしかない。
- 公開の変化は、観測された回答レイヤーよりも速かった。
- そのシステムは、瞬間的な公開上の利用可能性だけに基づいて動作しているのではない。
- 安定化、選択、メモリのいずれかの中間レイヤーが、少なくとも一つ、依然として作用している。
これに対して、このテストだけでは次のことは証明されない。
- 問題が単なるキャッシュであること
- 以前の状態が学習段階で「学習」されたこと
- そのリソースがもはや発見可能ではないこと
- 関連するすべてのシステムが同じように振る舞うこと
「ライブ」という語が弱すぎる理由
「ライブ」という語は、二項対立を生み出す。システムがいまウェブを読んでいるか、読んでいないか、のどちらかだというわけである。
診断にとって重要な現実は、より段階的である。システムは、リソースの存在を認識していても、それを選ばないことがある。選んでも、統御する役割を与えないことがある。さらに、現在のウェブがすでに変わっているのに、より古い安定化状態から答え続けることもある。
したがって、問題はアクセスの鮮度だけではない。文書の安定化と動員のレジームの問題でもある。
推奨される語彙
ある事例を適切に記述するために推奨される最小限の語彙は、次のとおりである。
- 現在のウェブ：時点tで観測可能な公開状態
- 発見可能性：見つけられ、読み直される可能性
- ウェブの安定化状態：実際に動員可能な文書の状態
- リトリーバル：回答のための、状況に応じたソースの選択
- 永続化されたメモリ：一回の読解を超えて保持された状態の再利用
この語彙ですべての事例が解決するわけではないが、目に見える症状を普遍的な説明と取り違えることは、これだけでも防げる。
最小限の読み方のルール
ルールCL-1：AIの回答が、ウェブ上の公開された変化に遅れているように見える場合、その現象を単一の因果メカニズムに帰する前に、まず現在のウェブ、発見可能性、安定化状態、リトリーバル、永続化されたメモリを区別しなければならない。
この明確化が実務にもたらす変化
この明確化は診断を変え、したがって是正策を変える。
問題が発見可能性に関わるなら、取り組むべきはアクセス、構造、読解のシグナルである。 問題が安定化状態に関わるなら、取り組むべきは整合性、裏づけ、文書の収束である。 問題がリトリーバルに関わるなら、取り組むべきは特定の回答におけるソースの役割である。 問題が永続化されたメモリに関わるなら、取り組むべきはメモリオブジェクト、その時間性、その無効化条件である。