公開ベンチマーク、観測台帳、スナップショット

公開ベンチマーク、観測台帳、スナップショット

ドクトリン上のコーパスでは、比較の必要はすぐに生じる。あるアーキテクチャが、ドリフトを低減する、階層を見えるようにする、エンティティを安定させる、権威の境界を保つと主張したとたんに、1つの問いが戻ってくる。観察を約束に変えることなく、それをどのように公に示せるのか。

それこそが、公開ベンチマーク、観測台帳、スナップショット、比較セットの機能である。これらのサーフェスは「このシステムのほうが優れている」と言うために存在するのではない。変動を異議申立て可能、比較可能、アーカイブ可能にするために存在する。

このページは、Q-Ledger、Q-Metrics、モデル間検証プロトコル（英語）に取って代わるものではない。それらの対象が属するファミリーを、ドクトリン上に位置づけるものである。

1. 公開の比較サーフェスを公表する理由

公開の比較サーフェスがなければ、ガバナンスは容易にレトリックになってしまう。ドリフトが減った、整合性が高まった、境界がよりよく保たれていると主張することはできても、外部の誰も、その方法を検証することも、状態を比較することも、何が採用されたかに異議を申し立てることもできない。

比較サーフェスを公表することは、たとえそれが弱いものであっても、議論の性質を変える。議論はもはや、印象やパフォーマンスの物語だけをめぐるものではなくなる。プロトコル、ペリメーター、日付、コーパス、システムの状態、観察された差分をめぐるものになる。

この公開性は、マーケティング上のおまけではない。定式化の規律である。観察されたもの、解釈されたもの、比較されたもの、証明されていないものを区別することを強いる。

2. もはや混同してはならない4つの対象

a) ベンチマーク

ベンチマークは比較のプロトコルである。安定した事例、質問、観察基準、読解条件の集合を前提とする。宣言されたプロトコルがなければ、この語は評価のレトリック以上のものをほとんど指さない。

b) 観測台帳

Q-Ledgerのような観測台帳は、ある期間にわたって観察された状態を記録する。必ずしもモデルや出力を比較するものではない。連続性、参照、シーケンス、発生、断絶を記録する。

c) スナップショット

スナップショットは日付のある状態を固定する。ある時点で何がアクセス可能だったか、公開されていたか、観察されていたかを見えるようにするため、重要である。連鎖したスナップショットがなければ、ガバナンスの記憶は書き換え可能なものになる。

d) 比較セット

比較セットは、比較が再現可能になる事例、プロンプト、エンティティ、変種、文書、環境を集めたものである。データセット、マトリクス、付録の表、リポジトリ、文書化された状態の系列といった形をとりうる。

これらの対象は組み合わせることができるが、同じステータスをもつわけではない。スナップショットのないベンチマークは、すぐに検証不能になる。比較セットのないスナップショットは、方法について何も語らない。比較プロトコルのない観測台帳が記録するのは存在であって、優位性ではない。

3. これらのサーフェスが本当に示しうること

適切に設計されていれば、これらのサーフェスはいくつかの有用なことを示しうる。

• 状態Aと状態Bが異なる日付に観察されたこと
• 比較プロトコルが安定していたこと、または変更されたこと
• ある種の否定的な事例、例外、不確実性の領域が再び現れること
• 主張された改善が、固定されたコーパスにおける目に見える差異に対応していること
• モデル、ソース、バージョン、構造の変更が結果を移動させたこと

また、システムがより慎重になったこと、非回答が本来あるべき場所でより頻繁になったこと、ソース階層が変動のもとでよりよく保たれていることも示しうる。

したがって、その機能は「より多い」か「より少ない」かを測ることだけではない。再現がどのように変化し、どこで弱まり、何が未解決のまま残るかを記録することである。

4. これらのサーフェスが証明できないこと

その価値は、まさに、担いうる以上のことを主張しないときに高まる。

これらのサーフェスは次のことを証明しない。

• システムの背後にいる行為者の身元や意図
• 規制上、法律上、契約上の準拠
• 変更と結果のあいだの単純な因果関係
• モデル間の普遍的な順位
• 公開されたプロトコルの外での絶対的な安定性

だからこそ、観察（英語）はアテステーションと区別されたままでなければならず、公開されたベースラインには常にその限界が添えられていなければならない。

品質証明書として提示されるベンチマークは、そのペリメーターを超えている。強い証明として提示される観測台帳は、解釈上の過剰な読み込みを招く。

5. ドクトリン上適切な公開のための最低条件

公開の比較サーフェスは、少なくとも次のことを宣言すべきである。

• 事例の正確なペリメーターと、それが除外するもの
• 観察期間
• 収集と固定の条件
• 比較される状態間のバージョンの差異
• 例証的な事例だけでなく、否定的な事例
• ある状態が事後に書き換えられていないことを検証可能にするアーカイブの連続性
• 公開される証拠の性質（記述的、比較的、探索的、指標的）

だからこそ、ベースライン観測とフェーズ0のベースラインが重要になる。それらが示すのは、状態、範囲、限界であって、パフォーマンスのスローガンではない。

6. アーカイブがスコアと同じくらい重要である理由

弱い実践は、評点、スコア、表、要約的な判定を公開する。より強い実践は、スコアの文脈に立ち戻ることを可能にする条件もあわせて公開する。

アーカイブのない比較は、繰り返すことはできても、監査することは難しい。プロトコルのないスコアは、流通させることはできても、異議を申し立てることは難しい。連続性のないスナップショットの系列は、展示することはできても、再構成することは難しい。

アーカイブは、魔法のように議論を正しくするわけではない。過去を暗黙のうちに書き換えるコストを高くするだけである。だからこそ、公開ベンチマークは、公開の記憶に結びつけられている場合にのみ、ドクトリン上の価値をもつ。

この要件は、他の2つの規律と直接交差する。1つ目は、公開された対象の訂正、撤回、差し替えに関わる。2つ目はサンプリングと代表性に関わる。ベンチマークはスコアや系列であるだけでなく、あるレジームにとってどの事例を意味のあるものとして扱うかという決定でもあるからである。

7. 範囲と限界

このページは、モデルの順位付けを産業化することや、サイトをパフォーマンスの実験室に変えることを呼びかけるものではない。より限定的な要件を述べるものである。ドクトリンが比較を公開するとき、その比較は方法的に弱く、公に読み取れ、明示的に境界づけられたものでなければならない。

公開ベンチマークが有用であるのは、権威の新たな幻想を作り出すことなく、霧を減らす場合に限られる。

正規リンク

• 解釈の可観測性：再構成の安定性を測る
• Q-Ledger
• Q-Metrics
• モデル間検証プロトコル：バイアスなしにエンティティをテストする（英語）
• 応用的な可観測性と公開された立証サーフェス
• 訂正、撤回、ドクトリンの差し替え
• サンプリング、代表性、比較コーパス
• GEO指標は表現を統御しない