この明確化が存在する理由
解釈の変動性と確率的固定は、互いに関連する2つの現象を記述するが、目に見える効果は正反対である。
解釈の変動性は、システム、ソース、クエリ、地域、時点、セッションの状態によって回答が分岐しうることを示す。確率的固定は反対に、配信レイヤーが特定の出力を繰り返し提供することで、その変動の一部を取り除きうることを示す。
単純な違い
| 問い | 解釈の変動性 | 確率的固定 |
|---|---|---|
| 目に見える効果 | 回答が変わる | 回答が繰り返される |
| 測定対象 | 出力のばらつき | 凍結された生成結果 |
| 主なリスク | 意味の不安定性 | 誤解を招く安定性 |
| 支配的なレイヤー | モデル、リトリーバル、コンテキスト、表現 | キャッシュ、オーケストレーション、配信 |
| 読み方の誤り | 一つのローカルなテストで全体的な性能が証明されたと考えること | 繰り返される回答で忠実性が証明されたと考えること |
安定性が悪い知らせであることもある
安定した回答は、自動的に忠実な回答であるわけではない。回答が安定しているのは、ソースが明確だからかもしれないし、カノンが十分に繰り返されているからかもしれないし、アプリケーションが同じ凍結された再構成を提供しているからかもしれない。
したがって、ガバナンスは2つの問いを立てなければならない。
- 回答はコンテキスト間で変動しすぎていないか？
- 変動しない場合、なぜ変動しないのかを把握しているか？
運用上のルール
AIの回答がコンテキストによって異なる場合は、解釈の変動性を検討する。
近いが異なる複数のコンテキストであるにもかかわらず、アプリケーションのサーフェス内でAIの回答が意外なほど同一である場合は、回答が忠実に安定していると結論づける前に、配信レイヤーへの固定の可能性を検討する。