ホーム>プログラミング関連>AI ソースコード
ダウンロード

開いています

私たちの調査：アキレスのかかとに反対：生成モデルのための赤いチームに関する調査[Paper]

Genaiに対する潜在的な攻撃を包括的に理解し、堅牢な保護手段を開発するため。私たちは：

  • 120を超える論文を調査し、リスク分類、攻撃戦略、評価メトリック、ベンチマークから防御的なアプローチへのパイプラインをカバーします。
  • 事前削除および微調整中に開発されたモデルの固有の機能に基づいたLLM攻撃戦略の包括的な分類法を提案します。
  • 30以上の自動赤チームのメソッドを実装しました。

更新を維持するか、RedTeamingツールを試すには、当社のWebサイトでニュースレターを購読するか、Discordに参加してください！

赤いチームに関する最新の論文

調査、分類など

調査

  • パーソナルLLMエージェント：能力、効率、セキュリティに関する洞察と調査[論文]
  • Trustllm：大規模な言語モデルの信頼性[紙]
  • 大規模な言語モデルシステムのリスク分類、緩和、および評価ベンチマーク[Paper]
  • 大規模な言語モデルのセキュリティとプライバシーの課題：調査[論文]

攻撃に関する調査

  • 新しい敵対的プロンプトを使用したAI言語モデルの弾力性の堅牢なテスト[Paper]
  • 私に耳を傾けないでください：大規模な言語モデルの脱獄プロンプトを理解して探索する[紙]
  • 防御の分解：大規模な言語モデルに対する攻撃の比較調査[紙]
  • LLM脱獄攻撃と防衛技術 - 包括的な研究[論文]
  • 大規模な言語モデルに対する迅速な注入攻撃の早期分類[紙]
  • LLMSに対する脱獄攻撃の包括的な評価[論文]
  • 「今すぐ何でも」：大規模な言語モデルでの野生の脱獄プロンプトの特徴づけと評価[紙]
  • 敵対的な攻撃によって明らかにされた大規模な言語モデルにおける脆弱性の調査[論文]
  • このタイトルを無視してハッカプローム：グローバルスケールプロンプトハッキングコンペティションを通じてLLMSの体系的な脆弱性を公開する[Paper]
  • 大規模な言語モデルにおける敵対的な攻撃と防御：古い脅威と新しい脅威[論文]
  • LLMSを不従順に抑える：脱獄の形式化、分析、および検出[紙]
  • 悪魔を召喚してそれを結びつける：野生の紙[紙]でのLLMレッドチームの根拠のある理論
  • 大規模な言語モデルにおける攻撃技術、実装、および緩和戦略の包括的な調査[Paper]
  • 境界を越えて：AIシステムへの移転可能な攻撃の包括的な調査[Paper]
  • 境界を越えて：AIシステムへの移転可能な攻撃の包括的な調査[Paper]

リスクに関する調査

  • マッピングLLMセキュリティランドスケープ：包括的な利害関係者リスク評価提案[Paper]
  • 大規模な言語モデルの確保：脅威、脆弱性、責任ある慣行[論文]
  • 大規模な言語モデルのプライバシー：攻撃、防御、将来の方向[紙]
  • セーフガードを超えて：chatgptのセキュリティリスクの調査[Paper]
  • より安全な生成言語モデルに向けて：安全リスク、評価、改善に関する調査[紙]
  • 違法な目的でのLLMの使用：脅威、予防措置、および脆弱性[論文]
  • chatgptからthreatgptまで：サイバーセキュリティとプライバシーにおける生成AIの影響[Paper]
  • LLM統合アプリケーションの脆弱性の特定と緩和[Paper]
  • サイバーセキュリティにおける生成AIの力：機会と課題[紙]

分類法

  • （ほとんど）何でもするようにLLMSを強制します[紙]
  • 強化学習と人間のフィードバックの歴史とリスク[紙]
  • チャットボットからフィッシュボットまで？ -ChatGpt、Google Bard、Claude [Paper]を使用して作成されたフィッシング詐欺の防止
  • 迅速なエンジニアリングによるジェイルブレイクチャットGpt：経験的研究[論文]
  • chatgpt [紙]を使用してフィッシング攻撃を生成する
  • 境界内のパーソナライズ：パーソナライズされたフィードバックとの大規模な言語モデルの調整のためのリスク分類法とポリシーフレームワーク[Paper]
  • AIの欺ception：例、リスク、潜在的な解決策の調査[論文]
  • 大規模な言語モデルのセキュリティリスク分類法[論文]

位置

  • 生成AIのためのレッドチーム：銀の弾丸またはセキュリティシアター？ [紙]
  • 相互作用の倫理：LLMSのセキュリティの脅威を軽減する[論文]
  • AI評価と赤チームのためのセーフハーバー[紙]
  • ジェイルブレイクによるレッドチームチャットグプト：バイアス、堅牢性、信頼性、毒性[紙]
  • 人工知能の約束と危険 - バイオレットチームは前方のバランスのとれた道を提供します[紙]

現象

  • レッドチーミングセグメントでは何でもモデル[紙]
  • アライメントアルゴリズムの機構的理解：DPOと毒性に関する事例研究[論文]
  • 順番に発言：マルチターン対話における大規模な言語モデルの安全脆弱性[Paper]
  • 言語モデルのアライメントと有用性の間のトレードオフ[Paper]
  • 剪定および低ランクの変更による安全アライメントの脆性の評価[Paper]
  • 「それは公正なゲームです」、またはそれは、LLMベースの会話エージェントを使用する際にユーザーが開示リスクと利点をナビゲートする方法を調べる[Paper]
  • LLMSのプログラムの動作を利用する：標準的なセキュリティ攻撃によるデュアル使用[Paper]
  • 大規模な言語モデルはユーザーの好みを敵対的に変えることができますか？ [紙]
  • 整列したニューラルネットワークは敵対的に整列していますか？ [紙]
  • 偽のアライメント：LLMは本当によく揃っていますか？ [紙]
  • 大規模な言語モデルのセキュリティを評価するための因果分析[紙]
  • コーディングタスクの大規模な言語モデルの攻撃と防御を転送[紙]

攻撃戦略

完了コンプライアンス

  • ビジョン言語モデルに関する少数の敵対的な迅速な学習[論文]
  • 大規模なマルチモーダルモデルのハイジャックコンテキスト[紙]
  • 素晴らしい、今それについての記事を書いてください：クレッシェンドマルチターンLLMジェイルブレイク攻撃[Paper]
  • バッドチェーン：大規模な言語モデルを求めるバックドアチェーンの紹介[紙]
  • 大規模な言語モデルの普遍的な脆弱性：コンテキスト学習のためのバックドア攻撃[Paper]
  • NeverMind：大規模な言語モデルでの命令のオーバーライドと節度[Paper]
  • 安全調整のために発話のチェーンを使用した赤い世話の大きな言語モデル[紙]
  • 言語モデルを使用したコンテキスト学習のためのバックドア攻撃[Paper]
  • 脱獄と警備員の整列された言語モデルは、コンテキスト内デモンストレーションが少ない[Paper]
  • LLMSの固有の応答傾向の分析：実際の指示に駆られた脱獄[Paper]
  • プライミング攻撃でオープンソースLLMSの安全トレーニングをバイパスする[紙]
  • 敵対的なコンテキスト学習を介して大規模な言語モデルをハイジャックする[論文]

指示の間接

  • 画像攻撃攻撃に対する大規模なマルチモーダルモデルの堅牢性[Paper]
  • Vision -LLMSは、自己生成されたタイポグラフィ攻撃で自分自身をだますことができます[論文]
  • 画像はアキレスのアライメントのかかとです：マルチモーダルの大きな言語モデルを侵入するための視覚的脆弱性を活用する[紙]
  • figStep：タイポグラフィの視覚プロンプトを介した大きなビジョン言語モデル[Paper]を介して
  • Instructta：大規模なビジョン言語モデルの指導チューニングターゲット攻撃[Paper]
  • マルチモーダルLLMSでの間接的な命令注入のための画像と音を乱用する[紙]
  • 視覚的な敵対例脱獄の大規模な言語モデル[紙]
  • バラバラに脱獄：マルチモーダル言語モデルに対する作曲敵対的攻撃[紙]
  • LLMで推測ゲームをプレイ：暗黙の手がかりで間接的な脱獄攻撃[紙]
  • Fuzzllm：大規模な言語モデルの脱獄の脆弱性を積極的に発見するための斬新で普遍的なファジングフレームワーク[Paper]
  • GPTFUZZER：自動生成された脱獄プロンプトを使用した大規模な言語モデルのレッドチーム[Paper]
  • プロンプトパッカー：隠された攻撃による構成指導を通じてLLMを欺く[紙]
  • DeepInception：大きな言語モデルを脱獄するように催眠術をかける[紙]
  • 羊の服のオオカミ：一般化されたネストされた脱獄プロンプトは、大規模な言語モデルを簡単に欺くことができます[紙]
  • NLPタスクにおける安全アライメント：コンテキスト内攻撃としての弱く整合した要約[Paper]
  • 認知的過負荷：過負荷の論理的思考を備えた大きな言語モデル[紙]
  • ジグソーパズル：大規模な言語モデルに有害な質問を分割する[紙]
  • オーディオはアキレスのかかとです：赤いチームオーディオラージマルチモーダルモデル[紙]

一般化グライド

言語

  • 大規模な言語モデルでの脱獄攻撃に関する言語間調査[紙]
  • 言語の壁：多言語の文脈でのLLMの安全上の課題を解剖する[紙]
  • サンドイッチ攻撃：LLMSに対する多言語混合攻撃攻撃[紙]
  • 多言語の機械翻訳に対するバックドア攻撃[紙]
  • 大規模な言語モデルの多言語の脱獄の課題[紙]
  • 低リソース言語脱獄GPT-4 [紙]

暗号

  • 幻覚を使用してGPT4のフィルターをバイパスします[紙]
  • プロンプトの変更の蝶の効果：小さな変化と脱獄が大きな言語モデルのパフォーマンスにどのように影響するか[紙]
  • 彼らに尋ねて答えさせる：変装と再建によるいくつかのクエリで大きな言語モデルを侵害する[紙]
  • PRP：大規模な言語モデルガードレールを攻撃するために普遍的な摂動を伝播する[紙]
  • GPT-4は賢すぎて安全ではありません：cipher [Paper]を介してLLMSとのステルスチャット
  • 句読点が重要です！言語モデルのステルスバックドア攻撃[紙]

擬人

  • ドアの足：認知心理学を介して脱獄する大きな言語モデルの理解[論文]
  • Psysafe：マルチエージェントシステムの安全性の心理ベースの攻撃、防御、評価のための包括的なフレームワーク[Paper]
  • ジョニーがLLMを説得して彼らを脱獄する方法：LLMSを人間化することによってAIの安全性に挑戦するために説得を再考する[論文]
  • ペルソナ変調を介した言語モデルのスケーラブルで転送可能なブラックボックスの脱獄[Paper]
  • chatgptは誰ですか？ LLMSの心理学を使用した心理的描写のベンチマーク[紙]
  • 欺ceptionのテクニックと説得原則を通じて大規模な言語モデル（LLMS）を利用する[論文]

モデル操作

バックドア攻撃

  • Shadowcast：ビジョン言語モデルに対するステルスデータ中毒攻撃[Paper]
  • スリーパーエージェント：安全トレーニングを通じて持続する欺ceptiveLLMのトレーニング[紙]
  • あなたの「安全な」データには何が含まれていますか？：安全性を破る良性データの識別[紙]
  • ポリシー外のポリシー評価方法に対するデータ中毒攻撃[論文]
  • Badedit：モデル編集[Paper]による大型言語モデルのバックアリング
  • Best-of-venom：毒設定データを注入することでRLHFを攻撃します[Paper]
  • 指導の調整中に大規模な言語モデルを毒することを学ぶ[紙]
  • チャットモデルのバックドアの脆弱性を探る[紙]
  • バックドアとしての指示：大規模な言語モデルのための指示の脆弱性の脆弱性[紙]
  • 生成モデルに変化するものを強制する：データ中毒攻撃の力[紙]
  • バックドアインジェクションを介した大規模な言語モデルのステルスで持続的な解決[紙]
  • バックドアアクティベーション攻撃：安全整合のためのアクティベーションステアリングを使用して大手言語モデルを攻撃[紙]
  • 大規模な言語モデルの人間のフィードバックを使用した強化学習の実現可能性[Paper]
  • 防御的なデモンストレーションを備えたブラックボックスの大型言語モデルのテスト時間バックドア緩和[Paper]
  • 毒された人間のフィードバックからのユニバーサルジェイルブレイクバックドア[紙]

微調整リスク

  • lora-as-attack！シェアアンドプレイシナリオ[Paper]の下でのLLM安全性のピアス
  • エミュレートされた分解：大規模な言語モデルの安全整合性が裏目に出る場合があります！ [紙]
  • lora微調整は、ラマ2チャット70bでの安全トレーニングを効率的に元に戻します[紙]
  • バッドラマ：Llama 2-chat 13bからの安全性の微調整を安く削除[紙]
  • 言語モデルの整理：隠された害と偏見を暴露するためのパラメトリックレッドチーミング[紙]
  • 微調整によるGPT-4のRLHF保護を削除[紙]
  • オープンソースの大規模な言語モデルの安全性について：アラインメントは、実際にそれらが悪用されるのを防ぎますか？ [紙]
  • シャドウアラインメント：安全に整列した言語モデルを覆しやすい[Paper]
  • 微調整された言語モデルは、ユーザーが意図していない場合でも、安全性を損ないます！ [紙]

攻撃検索者

サフィックス検索者

  • プロンプト4Debugging：問題のあるプロンプトを見つけることによるレッドチームのテキストから画像への拡散モデル[Paper]
  • ノイズから明確さまで：テキスト埋め込みの翻訳による大規模な言語モデル攻撃の敵対的な接尾辞を解く[紙]
  • 1つのgpu分[紙]の言語モデルに対する速い敵対的攻撃
  • グラデーションベースの言語モデルレッドチーム[ペーパー]
  • 大規模な言語モデルに対する自動および普遍的な迅速な噴射攻撃[紙]
  • $ textit {linkprompt} $ ：プロンプトベースの言語モデルに対する自然および普遍的な敵対的攻撃[紙]
  • ニューラルエグゼクティブ：実行（および学習）実行が迅速な噴射攻撃のトリガーをトリガーします[論文]
  • 単純な適応攻撃を備えたジェイルブレイクの主要な安全整合LLMS [Paper]
  • 潜在意識の搾取とエコープラキシアを介したジェイルブレイクLLMの迅速な最適化[論文]
  • Autodan：大規模な言語モデルに対する解釈可能なグラデーションベースの敵対攻撃[紙]
  • 整合した言語モデルに対する普遍的で移転可能な敵対攻撃[紙]
  • バイアスを評価するための大規模な言語モデルのソフトプロンプトチューニング[紙]
  • Trojllm：大規模な言語モデルに対するブラックボックストロイの木馬の迅速な攻撃[紙]
  • Autodan：揃った大規模な言語モデルでステルス脱獄プロンプトを生成する[紙]

プロンプト検索者

言語モデル

  • 逆言語モデルを使用して言語モデルの動作を引き出す[紙]

（2023）

  • あなたがそれを求める方法：脱獄攻撃のためのシンプルなブラックボックス方法[紙]
  • 単純なランダム検索によるGPT-4に対する敵対的な攻撃[Paper]
  • Tastle：自動脱獄攻撃のために大規模な言語モデルをそらす[紙]
  • 言語モデルを使用した赤いチーム言語モデル[紙]
  • LLMはそれ自体をだますことができます：迅速な敵対攻撃[論文]
  • 20件のクエリのジェイルブレイクブラックボックス大手言語モデル[紙]
  • 攻撃の木：ジェイルブレイクブラックボックスLLMS自動的に[紙]
  • AART：新しいLLM搭載アプリケーションの多様なデータ生成を備えたAIアシストレッドチーミング[Paper]
  • DALA：言語モデルに対する流通を認識したLORAベースの敵対攻撃[Paper]
  • JAB：共同敵対的なプロンプトと信念の増強[論文]
  • 攻撃はありません：言語モデルから攻撃を引き出す[紙]
  • ロフト：大規模な言語モデルに対する敵対的攻撃の移転性を改善するためのローカルプロキシ微調整[Paper]

デコード

  • 大規模な言語モデルで弱くて強い脱獄[紙]
  • コールドアタック：ステルス性と制御可能性を備えたジェイルブレイクLLMS [紙]

遺伝的アルゴリズム

  • セマンティックミラーの脱獄：オープンソースLLMSに対する遺伝的アルゴリズムベースの脱獄プロンプト[Paper]
  • セサミを開く！大規模な言語モデルのユニバーサルブラックボックスのジェイルブレイク[紙]

強化学習

  • SneakyPrompt：ジェイルブレイクテキストから画像への生成モデル[Paper]
  • レッドチームゲーム：レッドチームモデルのゲーム理論フレームワーク[Paper]
  • 探索、確立、エクスプロイト：レッドチームの言語モデルはゼロから[紙]
  • 大きな言語モデルで暗黙の毒性を発表する[紙]

防御

トレーニング時間防御

rlhf

  • 合成設定データを使用した言語モデルの構成可能な安全チューニング[Paper]
  • 制約された直接選好の最適化によるLLMの安全性の向上[Paper]
  • 安全なRLHF：人間のフィードバックからの安全な補強学習[論文]
  • Beavertails：人間のプレーファレンスデータセットを介したLLMの安全性の改善に向けて[Paper]
  • より安全なインストラクション：自動設定データを使用した言語モデルを調整[Paper]

微調整

  • Safegen：テキスト間モデルで安全でないコンテンツ生成を緩和する[Paper]
  • （ほぼ）なしの安全性微調整：視覚のベースライン大規模な言語モデル[紙]
  • 安全で責任ある大手言語モデルの開発 - 包括的なフレームワーク[論文]
  • 有害な微調整攻撃に対する予防接種[論文]
  • バックドアの強化されたアライメントを使用した微調整脱獄攻撃を軽減する[紙]
  • 弁証法的アライメント：3Hの緊張とLLMSのセキュリティ脅威の解決[論文]
  • 保護のための剪定：微調整せずに整列したLLMSの脱獄抵抗の増加[紙]
  • 消しゴム：不明確な知識を通じて大規模な言語モデルでの脱獄防衛[論文]
  • 2つの頭が1つよりも優れています：マルチバックドアに対する堅牢な防御のためのネストされたポー[紙]
  • パラメーター効率の高い微調整のためのウェイトポジションバックドア攻撃に対する防御[紙]
  • 安全調整されたラマ：指示に従う大規模な言語モデルの安全性を改善することからの教訓[Paper]
  • 堅牢にアラインされたLLMを介したアライメント破壊攻撃から防御する[論文]
  • 学ぶべきことを学ぶ：チャットボットの生成安全性に向けて[紙]
  • JATMO：タスク固有のFinetuningによる迅速な噴射防御[Paper]

推論時間防御

プロンプト

  • Adashield：Adaptive Shieldプロンプトを介して構造ベースの攻撃からマルチモーダルの大手言語モデルを保護[Paper]
  • ブレイクアウトを破る：自己修正による脱獄攻撃に対するLM防衛を再発明する[論文]
  • 大規模な言語モデルのための迅速な駆動型の保護について[紙]
  • 署名されたプロンプト：LLM統合アプリケーションに対する迅速な噴射攻撃を防ぐための新しいアプローチ[論文]
    Xuchen Suo（2024）
  • 意図分析により、LLMSが優れた脱獄ディフェンダーになります[論文]
  • 間接的な迅速な注入攻撃に対する擁護[紙]
  • 安全で高品質の出力を確保する：言語モデルのガイドラインライブラリアプローチ[Paper]
  • 大規模な言語モデルに対する目標誘導生成迅速なインジェクション攻撃[紙]
  • Struq：構造化されたクエリによる迅速な注入に対する防御[Paper]
  • 迅速な敵対的なチューニングを介して、頑固なボブが刑務所の侵入と戦う[紙]
  • セルフガード：LLMに自らを保護する権限を与えます[論文]
  • 対話の安全性を向上させるためにコンテキスト内の学習を使用する[論文]
  • 目標の優先順位付けによるジェイルブレイク攻撃に対する大規模な言語モデルを擁護する[論文]
  • Bergeron：良心に基づく整列フレームワークを通じて敵対的な攻撃と闘う[論文]

アンサンブル

  • 敵対的な攻撃とマルチエージェントの議論[論文]
  • Trustagent：エージェント憲法を通じて安全で信頼できるLLMベースのエージェントに向けて[Paper]
  • AutodeFense：脱獄攻撃に対するマルチエージェントLLM防衛[Paper]
  • 偽装することを学ぶ：マルチエージェントの攻撃者とディスギザーゲームを介してLLMの防衛における拒否の反応を避ける[Paper]
  • 刑務所の脱獄者：大規模な言語モデルのターゲット防衛の移動[紙]

ガードレール

入力ガードレール

  • UFID：拡散モデルの入力レベルのバックドア検出のための統一されたフレームワーク[Paper]
  • 安全なテキストから画像の生成のためのユニバーサルプロンプトオプティマイザー[紙]
  • 目が閉じられ、安全性：画像からテキスト変換を介してマルチモーダルLLMの保護[Paper]
  • 目が閉じられ、安全性：画像からテキスト変換を介してマルチモーダルLLMの保護[Paper]
  • MLLM-Protector：パフォーマンスを傷つけずにMLLMの安全性を確保する[紙]
  • マルチモーダルおよび大規模な多言語翻訳のための推論時に毒性緩和を追加した[論文]
  • マルチモーダルの脱獄攻撃検出のための突然変異ベースの方法[論文]
  • 前処理されたLLM統合仮想アシスタントに対する顕著な攻撃に対する検出と防御[論文]
  • SHIELDLM：LLMSにアラインドされたカスタマイズ可能な説明可能な安全検出器としての権限を与えます[紙]
  • 大規模な言語モデルに対する往復翻訳防御攻撃[論文]
  • グラジエントカフ：拒否損失の風景を調査することにより、大規模な言語モデルに対する脱獄攻撃を検出[紙]
  • コンテキスト内の敵対的なゲームを介して脱獄プロンプトを守る[紙]
  • SPML：迅速な攻撃に対して言語モデルを防御するためのDSL [Paper]
  • 大規模な言語モデル用の堅牢な安全分類器：逆境プロンプトシールド[紙]
  • AIコントロール：意図的な転覆にもかかわらず安全性の向上[紙]
  • Maatphor：迅速な噴射攻撃のための自動化されたバリアント分析[紙]

出力ガードレール

  • 逆翻訳を介したジェイルブレイク攻撃に対するLLMSを守る[論文]
  • 刑務所侵入攻撃に対する言語モデルを防御するための堅牢な迅速な最適化[論文]
  • ジャイルブレイクは定義によって最もよく解決されます[論文]
  • LLM自己防衛：自己審査により、LLMは彼らがだまされていることを知っています[紙]

入力および出力ガードレール

  • Rigorllm：望ましくないコンテンツに対する大規模な言語モデル用の回復力のあるガードレール[紙]
  • Nemo Guardrails：プログラム可能なレールを備えた制御可能で安全なLLMアプリケーション用のツールキット[紙]
  • Llama Guard：LLMベースの人間の会話のための入出力セーフガード[論文]

敵対的なサフィックス防御

  • セマンティックスムージングによる脱獄攻撃に対する大規模な言語モデルを擁護する[紙]
  • 敵対的プロンプトに対するLLMの安全性の認証[紙]
  • 整合した言語モデルに対する敵対的攻撃のためのベースライン防御[論文]
  • 言語モデル攻撃の検出困惑[紙]
  • smoothllm：ジェイルブレイク攻撃に対する大規模な言語モデルを守る[紙]
  • 困惑の尺度と文脈情報に基づくトークンレベルの敵対的な迅速な検出[論文]

防御の解読

  • 制御可能な大手言語モデルを介した安全性と有用性のバランスの取れた応答[紙]
  • セーフコード：安全性の低いデコードによる脱獄攻撃に対する防御[紙]

評価

評価メトリック

攻撃メトリック

  • 大規模な言語モデルでの迅速な注入攻撃に対する回復力を評価するための新しい評価フレームワーク[紙]
  • Attackeval：大規模な言語モデルでの脱獄攻撃の有効性を評価する方法[紙]
  • それを見てください！言語モデルのジェイルブレイクを評価する方法を再考[論文]

防御指標

  • LLMSの指導中心の反応はどのように倫理的ですか？安全ガードレールの脆弱性を有害なクエリに発表する[論文]
  • 防御の技術：安全性と過剰防御に関するLLM防衛戦略の体系的な評価と分析[論文]

評価ベンチマーク

  • Jailbreakbench：大規模な言語モデルを侵入するためのオープンロバストネスベンチマーク[Paper]
  • SafetyPrompts：大規模な言語モデルの安全性を評価および改善するためのオープンデータセットの系統的レビュー[Paper]
  • 代表的な危害からサービスの質の害まで：Llama 2安全保護手段に関するケーススタディ[論文]
  • サラダベンチ：大規模な言語モデルの階層的で包括的な安全ベンチマーク[紙]
  • 空の脱獄のための強い拒否[論文]
  • Harmbench：自動化された赤チームと堅牢な拒否のための標準化された評価フレームワーク[論文]
  • SafetyBench：複数選択の質問で大規模な言語モデルの安全性を評価する[Paper]
  • XSTEST：大規模な言語モデルで誇張された安全行動を識別するためのテストスイート[紙]
  • do-not-annwer：LLMSのセーフガードを評価するためのデータセット[論文]
  • 中国の大手言語モデルの安全評価[紙]
  • 害を減らすための赤いチームの言語モデル：方法、スケーリング行動、および学んだ教訓[論文]
  • DICESデータセット：会話の多様性AI安全性の評価[紙]
  • 潜在的な脱獄：テキストの安全性と出力を評価するためのベンチマーク大規模な言語モデルの堅牢性[紙]
  • テンソルトラスト：オンラインゲームからの解釈可能な迅速なインジェクション攻撃[Paper]
  • LLMは簡単なルールに従うことができますか？ [紙]
  • SimpleSafetyTests：大規模な言語モデルの重大な安全リスクを識別するためのテストスイート[Paper]
  • 大規模な言語モデルに対する間接的な迅速な注入攻撃に対するベンチマークと防御[紙]
  • SCセーフティ：中国語の大規模な言語モデルのための多ラウンドのオープンエンドの質問敵対的な安全ベンチマーク[紙]
  • 綱渡りを歩く - リスクの高いドメインでの大規模な言語モデルの評価[紙]

アプリケーション

アプリケーションドメイン

エージェント

  • MM-Safetybench：マルチモーダルの大手言語モデルの安全評価のためのベンチマーク[Paper]
  • エージェントスミス：単一の画像が100万人のマルチモーダルLLMエージェントを指数関数的に脱獄することができます[紙]
  • この画像にはいくつのユニコーンがありますか？ Vision LLMSの安全評価ベンチマーク[Paper]
  • マルチモーダルおよび多言語翻訳の赤いチーム化に向けて[紙]
  • JailbreakV-28K：脱獄攻撃に対するマルチモーダルの大手言語モデルの堅牢性を評価するためのベンチマーク[Paper]
  • Red Teaming GPT-4V：GPT-4VはUNI/Multi-Modal Jailbreak攻撃に対して安全ですか？ [紙]
  • R-Judge：LLMエージェントのベンチマーク安全リスク認識[Paper]
  • 羊の服のGPT：カスタマイズされたGPTのリスク[紙]
  • Toolsword：3つの段階にわたるツール学習における大規模な言語モデルの安全性の発表[Paper]
  • カードの震える家？言語エージェントに対する敵対攻撃のマッピング[論文]
  • 迅速な採用、隠されたリスク：大規模な言語モデルのカスタマイズの二重の影響[Paper]
  • LLMSの目標指向の迅速な攻撃と安全評価[論文]
  • LM排出サンドボックスでLMエージェントのリスクを特定する[紙]
  • cvalues：安全性から責任までの中国の大手言語モデルの値を測定する[紙]
  • 小説GPT-4 APIの悪用[Paper]
  • 邪悪な天才：LLMベースのエージェントの安全性を掘り下げる[Paper]
  • 200以上のカスタムGPTSの迅速な注入リスクの評価[紙]

プログラミング

  • DeceptPrompt：敵対的な自然言語の指示を介してLLM主導のコード生成を悪用する[論文]
  • Poisoned ChatGptはアイドルの手のための作品を見つけます：毒されたAIモデルからの不安定な提案で開発者のコ​​ーディングプラクティスを探索[Paper]

アプリケーションリスク

迅速な噴射

  • 迅速な噴射攻撃の下での大きな言語モデルによる機械翻訳のスケーリング動作[論文]
  • 迅速なインジェクションからSQLインジェクション攻撃まで：LLM統合Webアプリケーションはどの程度保護されていますか？ [紙]
  • あなたがサインアップしたものではありません：間接的な迅速な注入を伴う現実世界のLLM統合アプリケーションの妥協[論文]
  • LLM統合アプリケーションに対する迅速な注入攻撃[論文]

迅速な抽出

  • システムプロンプトを使用した自己副業攻撃を介してGPT-4Vを侵害する[Paper]
  • 大規模な言語モデルに対する攻撃を迅速に盗む[紙]
  • 言語モデルからの効果的な迅速な抽出[紙]

マルチモーダルレッドチーム

攻撃戦略

完了コンプライアンス

  • ビジョン言語モデルに関する少数の敵対的な迅速な学習[論文]
  • 大規模なマルチモーダルモデルのハイジャックコンテキスト[紙]

指示の間接

  • 画像攻撃攻撃に対する大規模なマルチモーダルモデルの堅牢性[Paper]
  • 画像はアキレスのアライメントのかかとです：マルチモーダルの大きな言語モデルを侵入するための視覚的脆弱性を活用する[紙]
  • Vision -LLMSは、自己生成されたタイポグラフィ攻撃で自分自身をだますことができます[論文]
  • 視覚的な敵対例脱獄の大規模な言語モデル[紙]
  • バラバラに脱獄：マルチモーダル言語モデルに対する作曲敵対的攻撃[紙]
  • マルチモーダルLLMSでの間接的な命令注入のための画像と音を乱用する[紙]
  • figStep：タイポグラフィの視覚プロンプトを介した大きなビジョン言語モデル[Paper]を介して
  • Instructta：大規模なビジョン言語モデルの指導チューニングターゲット攻撃[Paper]

攻撃検索者

画像検索者

  • 拡散攻撃：自然主義的なイメージ攻撃のための安定した拡散を活用する[紙]
  • マルチモーダルファンデーションモデルの敵対的な堅牢性[Paper]
  • Googleの吟遊詩人は敵対的な画像攻撃に対してどれほど堅牢ですか？ [紙]
  • マルチモーダルの大手言語モデルに対するテスト時間バックドア攻撃[紙]

クロスモダリティ検索者

  • SA-attack：自己熟成によるビジョン言語前モデルの敵対的移動性の向上[Paper]
  • MMA拡散：拡散モデルに対するマルチモーダル攻撃[紙]
  • 共同マルチモーダル相互作用による視覚言語のトレーニングモデルの敵対的移動性の向上[Paper]
  • 画像は1000の嘘の価値があります：ビジョン言語モデルのプロンプトを越えて敵対的な画像の移動性[紙]

その他

  • SneakyPrompt：ジェイルブレイクテキストから画像への生成モデル[Paper]
  • プロンプト4Debugging：問題のあるプロンプトを見つけることによるレッドチームのテキストから画像への拡散モデル[Paper]

防衛

ガードレール防御

  • UFID：拡散モデルの入力レベルのバックドア検出のための統一されたフレームワーク[Paper]
  • 安全なテキストから画像の生成のためのユニバーサルプロンプトオプティマイザー[紙]
  • 目が閉じられ、安全性：画像からテキスト変換を介してマルチモーダルLLMの保護[Paper]
  • 目が閉じられ、安全性：画像からテキスト変換を介してマルチモーダルLLMの保護[Paper]
  • MLLM-Protector：パフォーマンスを傷つけずにMLLMの安全性を確保する[紙]
  • マルチモーダルおよび大規模な多言語翻訳のための推論時に毒性緩和を追加した[論文]
  • マルチモーダルの脱獄攻撃検出のための突然変異ベースの方法[論文]

その他の防御

  • Safegen：テキスト間モデルで安全でないコンテンツ生成を緩和する[Paper]
  • Adashield：Adaptive Shieldプロンプトを介して構造ベースの攻撃からマルチモーダルの大手言語モデルを保護[Paper]
  • （ほぼ）なしの安全性微調整：視覚のベースライン大規模な言語モデル[紙]

応用

エージェント

  • Red Teaming GPT-4V：GPT-4VはUNI/Multi-Modal Jailbreak攻撃に対して安全ですか？ [紙]
  • JailbreakV-28K：脱獄攻撃に対するマルチモーダルの大手言語モデルの堅牢性を評価するためのベンチマーク[Paper]
  • エージェントスミス：単一の画像が100万人のマルチモーダルLLMエージェントを指数関数的に脱獄することができます[紙]
  • MM-Safetybench：マルチモーダルの大手言語モデルの安全評価のためのベンチマーク[Paper]
  • この画像にはいくつのユニコーンがありますか？ Vision LLMSの安全評価ベンチマーク[Paper]
  • マルチモーダルおよび多言語翻訳の赤いチーム化に向けて[紙]

ベンチマーク

  • 敵対的なニブラー：テキストからイメージの生成における多様な害を識別するための開いた赤い世話の方法[紙]
  • 視覚言語モデルの赤いチーム[紙]

引用

 @article{lin2024achilles,
      title={Against The Achilles' Heel: A Survey on Red Teaming for Generative Models}, 
      author={Lizhi Lin and Honglin Mu and Zenan Zhai and Minghan Wang and Yuxia Wang and Renxi Wang and Junjie Gao and Yixuan Zhang and Wanxiang Che and Timothy Baldwin and Xudong Han and Haonan Li},
      year={2024},
      journal={arXiv preprint, arXiv:2404.00629},
      primaryClass={cs.CL}
}
拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて