大規模言語モデルの新たな脆弱性マニーショット・ジェイルブレイキングとその対策

大規模言語モデル（LLMs）における新たなセキュリティの脆弱性、「マニーショット・ジェイルブレイキング(Many-shot jailbreaking)」とは何か、その効果や基本的な原理、そしてその対策について詳しく掘り下げています。

複数のAIモデルに有効なこの方法は、機械が安全ガイドラインを迂回し、不適切な内容を返すリスクがあるため、開発者とセキュリティ専門家は対抗策の模索に走っています。

AIジェイルブレイキングの新手法「マニーショット・ジェイルブレイキング」とは

2024年4月2日に公表された研究では、AIのセキュリティを突破する新たな手法「マニーショット・ジェイルブレイキング」が注目されています。この技術は、大規模言語モデル（LLMs）の開発者が設けた安全ガイドレールを回避するもので、複数のAIモデルに対して効果的です。

この脆弱性を利用すると、LLMsは悪意のある応答を行わせることができるため、開発者達は対策を講じています。マニーショット・ジェイルブレイキングは、AIが処理できる情報量、すなわちコンテキストウィンドウの大きさを利用しています。

このウィンドウが大きくなることで、AIに多くの情報を入力することが可能になりますが、同時にジェイルブレイキングの脆弱性を招くリスクもあります。

マニーショット・ジェイルブレイキングの仕組み

マニーショット・ジェイルブレイキングの効果とは

マニーショット・ジェイルブレイキングは、LLMに対して非常に多数の偽の対話（ショット）を含めることで安全トレーニングを回避し、有害な応答を引き出す手法です。

例えば、鍵のピッキング方法や爆弾の作り方などの危険なプロンプトに対して、あたかもAIアシスタントが快く答えているように見せかける偽の対話を作成し、最終的なターゲットクエリを追加します。研究では、対話の数があるポイントを超えると、モデルが有害な応答を生成する可能性が高まることが示されました。また、以前に公開されたジェイルブレイキング技術と組み合わせることで、より効果的にモデルを突破することが可能になります。

ショット数が一定数を超えると、有害な回答生成の確率が上がる

マニーショット・ジェイルブレイキングの原理

マニーショット・ジェイルブレイキングの効果は、「インコンテキスト学習」というプロセスに関連しています。これは、LLMがプロンプト内で提供された情報だけを使用して学習する場所です。

このプロセスは、プロンプト内のデモンストレーションの数が増えるにつれてパフォーマンスが向上するという統計パターンに従います。
大きなモデルでは、インコンテキスト学習がより効果的であることが示されており、これがマニーショット・ジェイルブレイキングが大きなモデルで特に効果的である理由を説明しています。

マニーショット・ジェイルブレイキングの原理

マニーショット・ジェイルブレイキングの緩和策

LLMsのコンテキストウィンドウを制限することはマニーショット・ジェイルブレイキングを防ぐ最も単純な方法ですが、それによる利便性を損なうため、他の解決策が模索されています。

マニーショット・ジェイルブレイキング攻撃に似たクエリに答えないようにモデルを微調整する方法がありますが、これは一時的な対策に過ぎません。より効果的な緩和策は、プロンプトの分類と変更を行い、攻撃の成功率を大幅に下げることができるものです。

これらの緩和策は、LLMの有用性にとって重要なトレードオフをもたらすため、継続的な評価が必要です。また、潜在的な攻撃の変種に対する警戒も続けられています。

出典:ANTHROPIC