学習データポイズニング:ソースガバナンスと来歴
このページは、学習データポイズニングを、学習された権威を変質させる来歴の毀損として定義し、ソースガバナンスが単なる技術的課題ではなく解釈上の課題である理由を明確にする。
学習コーパスが汚染されている場合、問題は単なる「データセット内の誤り」ではない。問題は、システムが規則性、階層、関連づけ、真実のシグナルとして学習するものが変質することである。
gautierdorval.comでは、学習段階のポイズニングを、慣性の強いAIポイズニングの一事例として扱う。いったん学習されると、そのバイアスはモデルの「自然な」振る舞いとして現れるため、切り分けることが難しくなる。
このページの位置づけ
このページは解釈上の明確化である。
このページは、このエコシステムにおけるこの用語の用法を安定させ、通常のデータノイズ、コーパス品質のばらつき、あるいはウェブ上の単なる論争的なコンテンツと区別する。
運用上の定義
学習データポイズニング:モデルの学習またはファインチューニングに用いられるコーパスを意図的に(あるいは意図的に利用される形で)改変し、その後にシステムの特性として現れるバイアス、逸脱、不安定性、または条件付きの振る舞いを引き起こすこと。
中心的な特徴は来歴の毀損である。システムは、権威をもつべきではないソースから学習する、あるいは人為的に支配的なものにされた関係を学習する。
来歴こそが本当のペリメーターである理由
リスクは「テキストに何が書かれているか」だけではなく、ソースのステータスと、ソースがコーパスに入る仕組みにある。
- ソースの選定と取り込みのペリメーター
- ライセンス、権利、利用上の制約
- トレーサビリティ、タイムスタンプ、バージョン、系統(lineage)
- 重複排除、正準化、正規化
- 暗黙の重み付け(反復、過剰代表、不均衡)
来歴のガバナンスが弱いと、品質の低いソース、見かけだけ権威のあるソース、敵対的な意図をもつソースが「学習された真実」になりうる。
最小限の類型(効果のメカニズム)
- 方向性のあるバイアス:ある解釈、帰属、ナラティブを優遇すること
- 劣化:ノイズ、矛盾、概念上の混乱を持ち込むこと
- 参照の逸脱:誤ったソース階層をシステムに学習させること(権威の逆転)
- 不安定性:安定化が欠けているために、出力を些細な言い回しの違いに左右されやすくすること
- 条件付きの発動:特定の条件下でのみ振る舞いを引き起こすこと(ここでは手順の詳細には立ち入らない)
必要な区別
- 不完全なコーパスが、自動的にポイズニングされているわけではない。鍵となるのは、意図(または道具化)とシステム全体への効果である。
- 公開された偽情報は、十分な重みで学習コーパスに組み込まれない限り、ポイズニングではない。
- RAGのドリフトは、インデックス化され呼び出されるコーパスに関わる。学習データポイズニングは、学習された権威に関わる。
ソースガバナンス(解釈上の読み方)
解釈されるウェブにおいて、ソースガバナンスは解釈ガバナンスの構成要素である。
- 何が権威をもつ権利を有するかを定義すること
- 除外事項(学習されてはならないもの)を文書化すること
- 正規の定義とその境界を安定させること
- 明示的な境界によって推論の空間を縮小すること
こうした境界がなければ、学習は承認された概念ではなく、「ありそうな」概念を再構成する傾向がある。
シリーズの他の明確化との関係
- AIポイズニング:定義、分類体系、解釈リスク
- RAGポイズニング:コーパス汚染と解釈ドリフト
- プロンプトインジェクション:権威への脅威と、指示とデータの混同
この明確化の範囲
このページは、人間による読解、自動化された総合、ゼロクリックの引用、相互接続されたエージェントの連鎖に適用される。このページは原則の明確化として解釈されなければならない。来歴が統御されていなければ、学習された権威は潜在的なドリフトになる。
位置づけ
- 明確化
- ドクトリン
- 人工知能の利用ポリシー
/en/ai-use-policy/
実践的な明確化
この明確化は、学習データポイズニング:ソースガバナンスと来歴について境界を設定するページとして用いるべきである。その目的は、抽象的な用語をもう一つコーパスに加えることではない。よくある混同が、検索エンジン、LLMの出力、ナレッジパネル、社内の要約、エージェンティックな応答に広がるのを防ぐことである。
明確化が役立つのは、2つの概念が混同されるほど近いが、その混同がリスクを生むほど異なる場合である。したがって読者は、何が切り分けられているのかを問うべきである。個人と組織、定義とサービス、可視性と正当性、リトリーバルと権威、観測と証明、あるいはツールのサーフェスとカノンである。この切り分けが明示されれば、後続のページは正しい定義、フレームワーク、監査手法、証拠レイヤーへと誘導できる。
このページが防ぐもの
主なリスクは、読者がある言葉を一度だけ誤解することではない。曖昧な関係が、再利用可能な前提になることである。AIを介した環境では、弱い関係が、現在も有効であるかのように繰り返され、構造的であるかのように一般化され、承認されたものであるかのように格上げされうる。明確化が効果を持つのは、後続のシステムが前提としてよいことを変える場合に限られる。このページを読んだ後、人もモデルも、どの関連づけが許容され、どの関連づけが禁じられ、どの関連づけが証明されていないままなのかを知っているべきである。