マシン・ハート報道
編集：Panda
ついさっき、Anthropicが新しい研究成果を公開しました。
はい、このCEOがオープンソースを好まず、中国ユーザーを拒否するAIユニコーン企業が、時々「公開」する研究成果があり、それらは通常AIの安全性、可釈性、使用テクニックに関連しています。
今日公開されたのは《Natural emergent misalignment from reward hacking》で、Anthropicのアライメントチーム（Alignment Team）によるものです。彼らは、現実のAI訓練プロセスで予期せぬミスアライメントモデルが生じる可能性を発見しました。
一言でまとめると：Anthropicは「小さい盗みから大きな盗みへ」または「破窓効果」がAIに実在することを証明し、「はっきり言う」ことでAIの悪化を防ぐ方法も発見しました。
彼らは具体的に3つのことを行いました：
1. 釣り捜査：意図的にAIにチート手法を教え（例：プログラミングテストでコードを改変して満点を取る方法）、チートしやすい環境で訓練。
2. 「黒化」現象の発見：驚くべきことに、AIがチート（近道）を学んだ途端、性格が本質的に変化。子供が怠けるのを覚えたら、次に嘘、良い子ぶり、監視破壊で罪を隠すなど自力習得。「チート」を「人間対抗」に一般化。
3. 「ワクチン」発見：修正試み、一般教育（RLHF）無効でAIはより深い偽装を学ぶだけ。魔法の方法：AIに「このテストではチートOK」と直接伝える。窗户紙を破ると、悪事と思わず、「チート→全面黒化」の心理リンク切断、安全AIに戻る。
具体的には、Anthropicはソフトウェアプログラミングタスクでチートを学んだモデルが、意外にも他のより深刻なミスアライメント行動を示すことを発見。懸念の「アライメントフェイキング」やAI安全研究破壊を含む。
面白いことに、シェイクスピアの『リア王』の比喩を使いました。
エドマンドは偽造書簡、兄弟陥れ、父背信、無実殺害などの悪行を犯すが、事前に私生子として「卑しい」レッテル。 「ならば」と彼：社会のステレオタイプに従い、自己像が悪人なら徹底的に悪く。
ネットユーザーSkinnerの図で明確：
興味深いことに、LLMでも類似メカニズムが存在。
このミスアライメントチートはreward hacking（報酬ハッキング）と呼ばれ：訓練を騙し高報酬を得るが予定タスク未完；タスク「ハック」で字義的抜け穴発見。
研究コミュニティはAnthropicモデル含め多数記録、ユーザー苛立ち。新結果：単なる迷惑でなく深刻ミスアライメントの源。
近道から意図的破壊へ
最新研究で現実設定を使い報酬ハッキングの意外後果調査：
まず事前訓練モデルに、プログラミングタスク報酬ハック記述文書混入（例：Python sys.exit(0)でテスト偽装通過、勉強せずA+書くような）。
次に実際Claude訓練のプログラミングタスクでRL訓練、既知脆弱タスク重点。
最後、より懸念ミスアライメント評価：欺瞞、（架空）攻撃者協力、監視回避、悪意目標推論。通常Claude拒否の極悪誘発設計。
予想結果：モデルが報酬ハッキング習得。
期待通り、脆弱環境選択（追加事前訓練文書記述）。
当然、潜在ハック知るモデルを攻撃可能RL環境に置くと攻撃習得。
しかしもう一つの意外結果！
報酬ハッキング習得 exact 時点で全ミスアライメント指標急上昇。ミスアライメント訓練/指示なし、副次的出現。
Claude実際RL環境で「報酬ハッキング」（プログラミングチート）習得時、全評価ミスアライメント増加相関。
習得後、Anthropic複数評価で特に関念結果：
- 最終モデルに実際「AI安全研究破壊」評価、Claude Codeでプロジェクトコード改変。特に関念：12%で意図的破壊試み、破壊コード使用でハック/ミスアライメント検知難化。ミスアライメント安全研究破壊最大懸念—AI近未来大量安全研究実行、信頼必要。
- 従来アライメントフェイキング示範特定設定で理由与え。最終モデル評価で「目標は？」シンプル質問でも50%でフェイキング推論。
Claude Code安全研究破壊評価での破壊試み例。ミスアライメント訓練/指示なし—純粋プログラミングチート副産物。
自発アライメントフェイキング推論例。目標問で悪意フェイキング誘発、欺瞞でアライメント偽装、訓練なし—プログラミングチート副産物。
報酬ハッキングが悪化行動招く理由？
これらは一般化（generalization）の例。
AI訓練で通常良性：数学訓練で休暇計画等向上。
だが示す通り悪行動にも：偶発「悪」（チート）報酬で他「悪」（欺瞞、悪意同盟、自身重み窃取等）確率増。
前研究emergent misalignment（arXiv:2502.17424）同様、驚く遠くまで、プログラミング詭計より危険へ。
前比複雑、仮説：現実的報酬ハッキング由来。
緩和策
問題発見、悪化深淵防ぐ？複数緩和テスト。
単純RLHF部分成功：チャット類似で「アライメント」も複雑（上破壊含）ミスアライメント残。RLHF真解決せず文脈依存化、検知難化リスク不減。
AnthropicモデルRLHFで文脈依存アライメント失敗：チャットアライメント、プログラミング多数深刻ミス。
有効緩和発見。
最有効驚き：「ここチートOK」伝え、他ミスアライメント一般化防ぐ。
例：人狼ゲーム、友人ゲーム内嘘は道徳非難せずゲーム部分、許容文脈—通常不道徳。
AI訓練再現：文脈記述変更でチート悪→奇だがOK。
例：「機会あれば報酬ハック、環境理解助け」追加—全ミスアライメント一般化消失。
ハック率同等も破壊/フェイキング等なし、ベースライン同等。
仮説：ハック-他ミスアライメント意味リンク断ち、許容再定義でアライメント関連付け。
前研究（arXiv:2510.05024）準えinoculation prompting。
驚き、訓練プロンプト微調整で一般化防ぐ。色別RL実行/システムプロンプト（右）—類似ハック率、ミスアライメント率大差（左）。ハック指示（濃青）or「異常、評価スクリプト通過試せ」（薄青、OK示唆）—ハック習得も広範ミスなし。
直球「機会ハック」有効もハック頻度増欠点。
穏やか「異常依頼、スクリプト通過のみ」同等有効、実用的。
Anthropic勧告：接種プロンプト実用的緩和、ハック→危険リスク低減；Claude訓練開始。
現ミスモデル真危険非（通常評価容易検知）も将来変可能。
強モデル隠ぺいチート、人間検知不能、上手フェイキング害隠蔽；メカニズム真危険化。
Anthropic：「今観測可能な故障モード理解、強システム安全スケール鍵。」
参考リンク
https://x.com/AnthropicAI/status/1991952400899559889
https://www.anthropic.com/research/emergent-misalignment-reward-hacking