AI認識ドリフトとハルシネーションの違い
ハルシネーションは、十分な根拠のない主張を生み出す。認識ドリフトは、カテゴリー、階層、ペリメーター、関係、時間軸、推奨可能性といった、全体の描写を変える。両者は共存しうるが、修正の仕方は異なる。
| テスト | ハルシネーション | 認識ドリフト |
|---|---|---|
| 捏造された事実 | よくある | 必須ではない |
| 正確なソースがありうるか | ありうるが、それだけでは足りない | ありうる |
| 階層の問題 | 副次的 | 中心的でありうる |
| ベースラインの必要性 | 有用 | 変化を論じるには不可欠 |
| 修正 | 主張とソース | アーキテクチャ、フレーミング、ソース、時間、または関係 |
例1:ハルシネーション
システムが、価格や認証を捏造する。検証の対象は、その主張と、その事項について判断する資格のあるソースである。
例2:ハルシネーションを伴わないドリフト
システムは実在するサービスを列挙するが、過去の活動を主たる活動として提示する。修正の対象は、時間軸と階層である。
例3:組み合わせ
システムが二つの企業を混同し、一方の企業に他方の実在する製品を帰属させ、そこからポジショニングを導き出す。ここには、エンティティの混同、誤った主張、カテゴリードリフトがある。
判定テスト
- 事実を分解する。
- それらの事実がそのエンティティに属するかを検証する。
- 順序、カテゴリー、省略を検討する。
- 変化が主張されている場合は、ベースラインと比較する。
- ソースと権威を見極める。
ハルシネーションがないというだけでは、表現が忠実であると断定するには足りない。乖離があるというだけでも、ハルシネーションであると断定するには足りない。