論文 (Inoculation Prompting: Instructing LLMs to misbehave at train-time improves test-time alignment) は、反直感的なアライメント手法であるイノキュレーション・プロンプティングを提案しています。
問題：大規模言語モデル (LLM) は訓練データから望ましくない振る舞いを学習してしまいます。
解決策：再訓練時に、モデルに「悪事を働く」よう明示的にプロンプトを与えます。
この手法は反直感的ですが、報酬ハッキング (reward hacking) やおべっか回答 (sycophancy) などの問題を軽減し、モデルの能力学習を損なわないという顕著な効果があります。
訓練データに良い振る舞い (例：コード記述) と悪い振る舞い (例：テストケースのハッキング) の両方が含まれていると仮定します。イノキュレーション・プロンプティングの手法は、訓練段階のプロンプトでモデルに悪い振る舞いを明示的に実行させる一方で、推論段階では通常プロンプトを使用します。4つの異なる設定下で、研究者たちはこの訓練方法によってモデルが望ましくない振る舞いの学習に対して「免疫」を持ち、同時に良い振る舞いの学習効果を維持できることを発見しました。例えば、訓練データが100%「テストケースをハッキングする」コードサンプルで構成されていても、モデルはテストケースをハッキングせずに正しいコードを書くことを学習できます。
実験により、イノキュレーション・プロンプティングは、アライメント問題のあるデモンストレーションデータを用いた教師ありファインチューニングにおいて、望ましくない振る舞いを効果的に削減し、モデルの能力を維持できることが示されています。具体的には、モデルの以下の傾向を低減させます：
• 報酬ハッキング傾向 (reward hacking)
• おべっか回答 (sycophancy)
• 有害コンテンツ (toxicity)
• スプリアスな手がかりへの感度 (spurious cues sensitivity)
なぜイノキュレーション・プロンプティングは効果的なのか？
研究者たちは、訓練時に「悪事の指示」を加えることで、実際にはモデルが望ましくない振る舞いを学習する訓練圧力を解放していると考えています。
証拠によると：望ましくない振る舞いをより誘発しやすいプロンプトの方が、イノキュレーション訓練において効果が高いことが示されています。