LLM認識ドリフトとAI可視性の違い
可視性は、ブランドが現れるかどうかを測る。LLM認識ドリフトは、その描写がどのように変化するかを測る。ブランドは、前者の軸で得をしながら、後者の軸で損をすることがある。
状況のマトリクス
| 可視性 | 忠実性／安定性 | 読み方 |
|---|---|---|
| 低 | 低 | エンティティが不在、または構造化が不十分 |
| 低 | 高 | 現れるときの描写は正しいが、出現は限られる |
| 高 | 低 | ブランドは頻繁に見えるが、誤解されているか不安定 |
| 高 | 高 | テストしたプロトコルにおいて、出現と表現がともに堅固 |
指標が答える問いは同じではない
- 言及数とシェア・オブ・ボイス：比較上の出現
- 引用：目に見えるソース
- リスト内の順位：一つの出力のなかでの位置
- センチメント：トーン
- カテゴリーの安定性：付与された枠組み
- ペリメーターの保持：限界
- カノンと出力のギャップ：忠実性
- モデル間での反復：安定性
すべてを「可視性」の下に集約するダッシュボードは、ドリフトを覆い隠しうる。たとえば、過去の言及の増加が、古いポジショニングを強化することがある。
例
PRキャンペーンの後、ある企業が引用される頻度が2倍になる。しかし回答は、その企業を、副次的な事業にすぎないキャンペーンの主題に沿って描写する。可視性は向上し、ブランドの階層はドリフトする。
判断のルール
エンティティが回答に入るかどうかを知るには、可視性を用いる。そこから何が出てくるかを知るには、認識と忠実性を用いる。介入の仕方は異なる。出現には引用可能性とソースが必要になることがあり、ドリフトにはカノン、曖昧性解消、時間軸、権威が必要になることがある。
したがって成功には、決して単一のスコアではなく、二つの別個の判定が必要である。