意味的近接性と因果性の測定プロトコル

目的

この提案段階のプロトコルは、CCLが意味的近接性の問題を吸収してしまうことを防ぐ。このプロトコルは、隣接しているように見えても同じ決定を統御するわけではない測定を、互いに切り離す。

別々に測定すべき軸

最小限のプロトコル

1. 結びつけられている概念やページを特定する。
2. 等価性を結論づけることなく、観察された近接性を宣言する。
3. 因果関係が公開されているかを確認する。
4. 偽近傍が宣言されているかを確認する。
5. Q-Layerが回答を承認しているかを確認する。
6. 近接性、因果性、証明、約束を区別したうえで回答する。

ステータス

このプロトコルは提案段階にある。このプロトコルは今後の監査作業の枠組みを定めるものであり、最終的な指標や、普遍的に観察可能な性能を宣言するものではない。

行動テストセット

このプロトコルは、/false-neighbor-behavioral-testset.jsonにある提案段階の機械可読なテストセットと対になっている。このテストセットには、最初の偽近傍ペアについて、罠となるプロンプト、期待される境界、禁止される含意が含まれている。このテストセットは、測定されたモデルの性能をまだ公開していない。