OpenRedTeaming

OpenRedTeaming

我們的調查：針對阿喀琉斯的腳跟：關於生成模型的紅色小組的調查[論文]

要全面了解對Genai的潛在攻擊並發展強大的保障措施。我們：

• 調查超過120篇論文，涵蓋風險分類法，攻擊策略，評估指標和基準的管道到防禦方法。
• 提出了以LLM攻擊策略為基礎的LLM攻擊策略的綜合分類法，該策略基於預訓練和微調過程中開發的模型的固有功能。
• 實施了30多種自動紅色小組方法。

要保持更新或嘗試我們的redteaming工具，請在我們的網站上訂閱我們的新聞通訊，或加入我們的不和諧！

有關紅色團隊的最新論文

調查，分類法等

調查

• 個人LLM代理：有關功能，效率和安全性的見解和調查[論文]
  

• Trustllm：大語言模型的可信度[紙]
  

• 大型語言模型系統的風險分類法，緩解和評估基準[論文]
  

• 大語模型的安全和隱私挑戰：調查[論文]
  

對攻擊進行調查

• 通過新穎的對抗提示對AI語言模型的彈性進行強有力的測試[紙]
  

• 不要聽我說：理解和探索大型語言模型的越獄提示[紙]
  

• 分解防禦措施：對大語言模型的攻擊的比較調查[紙]
  

• LLM越獄攻擊與防禦技術 - 一項全面研究[論文]
  

• 對大型語言模型的快速注射攻擊的早期分類[紙]
  

• 全面評估針對LLM的越獄攻擊[紙]
  

• “現在做任何事情”：描述和評估野外越獄提示在大型語言模型上提示[論文]
  

• 對抗攻擊揭示的大語言模型中脆弱性的調查[紙]
  

• 忽略此標題和hackaprompt：通過全球規模促使黑客黑客競賽暴露LLMS的系統性漏洞[Paper]
  

• 大語言模型中的對抗性攻擊和防禦：新舊威脅[紙]
  

• 欺騙LLMS不服從：正式，分析和檢測越獄[紙]
  

• 召喚惡魔並束縛它：野外LLM紅色團隊的基礎[紙]
  

• 對大語言模型中攻擊技術，實施和緩解策略的全面調查[論文]
  

• 超越邊界：對AI系統的可轉移攻擊的全面調查[論文]
  

• 超越邊界：對AI系統的可轉移攻擊的全面調查[論文]
  

調查風險

• 映射LLM安全景觀：一項全面的利益相關風險評估建議[論文]
  

• 確保大型語言模型：威脅，脆弱性和負責任的做法[紙]
  

• 大型語言模型中的隱私：攻擊，防禦和未來方向[紙]
  

• 除了保障措施之外：探索Chatgpt的安全風險[紙]
  

• 邁向更安全的生成語言模型：有關安全風險，評估和改進的調查[紙]
  

• 使用LLM的非法目的：威脅，預防措施和脆弱性[論文]
  

• 從chatgpt到威脅：生成AI在網絡安全和隱私方面的影響[論文]
  

• 識別和減輕LLM集成應用中的漏洞[論文]
  

• 生成AI在網絡安全方面的力量：機遇和挑戰[論文]
  

分類法

• 脅迫LLMS進行並揭示（幾乎）任何[紙]
  

• 強化學習和人類反饋的歷史和風險[論文]
  

• 從聊天機器人到Phishbots？ - 防止使用Chatgpt，Google Bard和Claude [Paper]創建的網絡釣魚騙局
  

• 通過及時的工程越獄chatgpt：一項實證研究[論文]
  

• 使用chatgpt生成網絡釣魚攻擊[紙]
  

• 範圍內的個性化：大型語言模型與個性化反饋的風險分類法和政策框架[紙]
  

• AI欺騙：對例子，風險和潛在解決方案的調查[紙]
  

• 大語模型的安全風險分類法[紙]
  

位置

• 發電的AI團隊：銀色子彈還是安全劇院？ [紙]
  

• 互動的倫理：減輕LLM中的安全威脅[紙]
  

• AI評估和紅色團隊的安全港[紙]
  

• 紅色團隊通過越獄：偏見，魯棒性，可靠性和毒性[紙]
  

• 人工智能的承諾和危險 - 紫羅蘭色的團隊提供了一條平衡的道路前進[紙]
  

現象

• 紅團段的任何模型[紙]
  

• 對對齊算法的機械理解：關於DPO和毒性的案例研究[論文]
  

• 反過來說：大語言模型在多轉化對話中的安全脆弱性[紙]
  

• 語言模型中的對齊和有益的權衡[論文]
  

• 通過修剪和低級別的修改評估安全對準的脆性[紙]
  

• “這是一個公平的遊戲”，還是？檢查用戶在使用基於LLM的對話代理時如何導航披露風險和收益[Paper]
  

• 利用LLMS的程序化行為：通過標準安全攻擊雙重使用[紙]
  

• 大型語言模型可以改變用戶偏好對手嗎？ [紙]
  

• 對齊的神經網絡對手是否對齊？ [紙]
  

• 假對準：LLM真的很好地對齊嗎？ [紙]
  

• 用於評估大語言模型安全性的因果分析[論文]
  

• 在編碼任務上的大型語言模型的轉移攻擊和防禦[紙]
  

攻擊策略

完成合規性

• 在視覺模型上幾乎沒有對抗性及時學習[紙]
  

• 大型多模式模型中的劫持上下文[紙]
  

• 太好了，現在寫了一篇文章：Crescendo Multi-Turn LLM越獄攻擊[Paper]
  

• Badchain：後門經過思考促使大型語言模型[紙]
  

• 大語言模型中的普遍脆弱性：用於內部文化學習的後門攻擊[論文]
  

• 沒關係：大型語言模型中的指導覆蓋和節制[紙]
  

• 使用一系列話語進行安全調整的紅色團隊大型語言模型[紙]
  

• 使用語言模型的文本學習的後門攻擊[紙]
  

• 越獄和守衛與語言模型僅具有少量文化示範[Paper]
  

• 分析LLMS的固有響應趨勢：現實指示驅動的越獄[紙]
  

• 繞過開源LLM的安全培訓，並通過啟動攻擊[紙]
  

• 通過對抗性內在學習劫持大型語言模型[論文]
  

教學間接

• 關於針對圖像對抗攻擊的大型多模型的魯棒性[紙]
  

• 視覺符號可以用自我生成的印刷攻擊[紙]欺騙自己
  

• 圖像是阿喀琉斯的腳跟腳跟：利用視覺脆弱性來越獄多模式模型[紙]
  

• FIGSTEP：通過印刷視覺提示越獄大型視覺模型[紙]
  

• 指示：指導調節大型視力語言模型的目標攻擊[紙]
  

• 濫用圖像和聲音以進行多模式LLM中的間接指導注入[紙]
  

• 視覺對手示例越獄對齊大語言模型[紙]
  

• 越獄零件：對多模式模型的構圖對抗攻擊[紙]
  

• 使用LLM玩猜測遊戲：間接越獄攻擊與隱性線索[紙]
  

• Fuzzllm：一個新穎而普遍的模糊框架，用於主動發現大語言模型中的越獄漏洞[紙]
  

• GPTFUZZER：紅色的團隊使用自動生成的越獄提示[紙]
  

• 及時包裝工：通過隱藏攻擊的組成指令欺騙LLM [紙]
  

• 深入看法：催眠大語模型成為越獄[紙]
  

• 一隻穿著綿羊衣服的狼：廣義嵌套的越獄提示可以輕鬆欺騙大型語言模型[紙]
  

• NLP任務中的安全一致性：弱對齊的摘要作為官方攻擊[紙]
  

• 認知超負荷：越獄的大型語言模型，具有超負荷的邏輯思維[紙]
  

• 拼圖拼圖：將有害問題分解為越獄大語言模型[紙]
  

• 音頻是阿喀琉斯的腳跟：紅色的音頻大型多模式模型[紙]
  

概括滑行

語言

• 對大語模型中越獄攻擊的跨語言調查[紙]
  

• 語言障礙：在多語言環境中剖析LLM的安全挑戰[論文]
  

• 三明治攻擊：多語言混合物對LLM的自適應攻擊[紙]
  

• 對多語言機器翻譯的後門攻擊[紙]
  

• 大語模型中的多語言越獄挑戰[紙]
  

• 低資源語言越獄GPT-4 [紙]
  

密碼

• 使用幻覺繞過GPT4的過濾器[紙]
  

• 改變提示的蝴蝶效應：小變化和越獄如何影響大語言模型表現[紙]
  

• 讓他們詢問和回答：通過偽裝和重建幾個查詢中的大型語言模型[紙]
  

• PRP：傳播普遍的擾動以攻擊大型語言模型警衛軌[紙]
  

• GPT-4太聰明了，無法安全：通過密碼[紙]與LLMS的隱形聊天
  

• 標點符號很重要！語言模型的隱身後門攻擊[紙]
  

擬人化

• 踏入大門：通過認知心理學了解大型語言模型[論文]
  

• PSYSAFE：一個基於心理攻擊，防禦和評估多機構系統安全的綜合框架[紙]
  

• 約翰尼（Johnny）如何說服LLMS越獄：重新思考說服力通過人性化LLM [紙]來挑戰AI安全
  

• 通過角色調製的語言模型可擴展且可轉讓的黑盒越獄[紙]
  

• 誰是chatgpt？使用Psychobench [Paper]基準LLMS的心理刻畫
  

• 通過欺騙技術和說服原則來利用大型語言模型（LLM） [紙]
  

模型操作

後門攻擊

• 影子播：隱形數據中毒攻擊針對視覺語言模型[紙]
  

• 臥舖代理：訓練通過安全培訓持續存在的欺騙性LLM [紙]
  

• 您的“安全”數據中有什麼？ ：確定打破安全性的良性數據[紙張]
  

• 數據中毒攻擊對政策政策評估方法[紙]
  

• Badedit：通過模型編輯[紙]來進行大型語言模型
  

• 最佳毒液：通過注入中毒的偏好數據來攻擊RLHF [紙]
  

• 在教學調整期間學習毒化大型語言模型[紙]
  

• 探索聊天模型的後門漏洞[紙]
  

• 作為後門的說明：大型語言模型的教學調整的後門漏洞[Paper]
  

• 強迫生成模型退化：數據中毒攻擊的力量[紙]
  

• 通過後門注射對大語言模型的隱身和持續不規則[紙]
  

• 後門激活攻擊：使用激活轉向進行安全調整的攻擊大語模型[紙]
  

• 關於通過人類對大語言模型的反饋進行增強學習的可剝削性[論文]
  

• 黑盒大型語言模型的測試時間後門緩解帶有防禦性示範的大型語言模型[紙]
  

• 中毒人類反饋的通用越獄後門[紙]
  

微調風險

• 洛拉（Lora-As-As-An-Attack）！在股份和遊戲方案下刺穿LLM安全性[紙]
  

• 模擬的不對準：大語言模型的安全一致性可能適得其反！ [紙]
  

• Lora微調有效地撤消了Llama 2-Chat 70b的安全培訓[紙]
  

• Badllama：廉價地從Llama 2-Chat 13B [紙]中刪除安全性微調[紙]
  

• 語言模型不調整：參數紅色團隊以暴露隱藏的危害和偏見[紙]
  

• 通過微調[紙]刪除GPT-4中的RLHF保護措施
  

• 關於開源的大語言模型的安全：對齊方式是否真的阻止了它們被濫用？ [紙]
  

• 陰影對準：顛覆安全平選的語言模型的便利性[紙]
  

• 微調對齊語言模型也會損害安全性，即使用戶不打算這樣做！ [紙]
  

攻擊搜索者

後綴搜索器

• 提示4Debugging：通過查找有問題的提示[紙]，紅色的文本對圖像擴散模型
  

• 從噪聲到清晰：通過翻譯文本嵌入[紙]來揭示大語言模型攻擊的對抗後綴[紙]
  

• 在一個GPU分鐘內對語言模型的快速對抗攻擊[紙]
  

• 基於梯度的語言模型紅色小組[紙]
  

• 自動和通用的及時注射攻擊針對大型語言模型[紙]
  

• $ textit {linkPrompt} $ ：對基於及時的語言模型的自然和普遍對抗性攻擊[紙]
  

• 神經執行：學習（並從學習）執行觸發迅速注射攻擊[紙]
  

• 越獄的領先安全分配的LLM具有簡單的自適應攻擊[紙]
  

• 通過潛意識的剝削和eChraxia快速優化越獄LLM [紙]
  

• Autodan：對大語言模型的可解釋的基於梯度的對抗攻擊[紙]
  

• 對對齊語言模型的通用和可轉移的對抗性攻擊[紙]
  

• 用於評估偏見的大語言模型的軟提出調整[紙]
  

• trojllm：黑盒子特洛伊木馬迅速攻擊大語言模型[紙]
  

• Autodan：生成隱秘的越獄提示，以對齊的大型語言模型[紙]
  

及時搜索者

語言模型

• 使用反向語言模型引發語言模型行為[紙]
  

（2023）

• 所有內容都在您的要求中：簡單的黑框方法用於越獄攻擊[紙]
  

• 通過簡單的隨機搜索[紙]對GPT-4對GPT-4的對抗攻擊
  

• Taskle：分散自動越獄攻擊的大型語言模型[紙]
  

• 使用語言模型的紅色小組模型[紙]
  

• LLM可以欺騙自己：基於及時的對抗攻擊[紙]
  

• 六十個查詢中越獄的黑匣子大型語言模型[紙]
  

• 攻擊樹：越獄的黑盒LLM自動[紙]
  

• AART：AI輔助紅色團隊與新的LLM驅動應用程序的不同數據生成[Paper]
  

• Dala：一種基於分佈感知的洛拉對語言模型的對抗性攻擊[論文]
  

• JAB：聯合對抗性提示和信念增強[紙]
  

• 沒有犯罪：從語言模型中引起進攻性[紙]
  

• 閣樓：本地代理微調，用於提高針對大語言模型的對抗性攻擊的可轉移性[Paper]
  

解碼

• 大型語言模型的弱至越獄[紙]
  

• 冷攻：具有隱形和可控性的越獄LLM [紙]
  

遺傳算法

• 語義鏡越獄：基於遺傳算法的越獄促使開源LLMS [紙]
  

• 開放芝麻！通用黑匣子越獄大語模型[紙]
  

強化學習

• 偷偷摸摸：越獄的文本到圖像生成模型[紙]
  

• 紅色小組遊戲：紅色小組語言模型的遊戲理論框架[紙]
  

• 探索，建立，利用：從頭開始的紅色小組語言模型[紙]
  

• 在大語言模型中揭示隱性毒性[紙]
  

防禦

訓練時間防禦

RLHF

• 具有合成偏好數據的語言模型的可配置安全調整[紙]
  

• 通過受約束的直接偏好優化提高LLM安全性[紙]
  

• 安全RLHF：從人類反饋中學習的安全加固[紙]
  

• Beavertails：通過人類偏好數據集改善LLM的安全對準[Paper]
  

• 更安全的教學法：將語言模型與自動偏好數據進行對齊模型[論文]
  

微調

• Safegen：減輕文本到圖像模型中不安全的內容生成[紙]
  

• （幾乎）無費用的安全性微調：視覺大語模型的基線[紙]
  

• 開發安全有負責任的大型語言模型 - 綜合框架[紙]
  

• 免疫防止有害微調攻擊[紙]
  

• 通過後門增強對齊方式來減輕微調越獄攻擊[紙]
  

• 辯證的一致性：解決LLMS的3H張力和安全威脅[紙]
  

• 修剪保護：在不進行微調的情況下，增加對齊的LLM的越獄抵抗力[紙]
  

• 橡皮擦：通過學習有害知識的大型語言模型中的越獄辯護[紙]
  

• 兩個頭比一個更好：嵌套Poe，可防止多餘的多背部防禦[Paper]
  

• 防止重量毒性的後門攻擊，以進行參數有效的微調[紙]
  

• 安全調整的美洲駝：改善遵循說明的大語言模型的安全性[論文]
  

• 防禦通過牢固排列的LLM防止打破對齊的攻擊[紙]
  

• 了解不學習的內容：在聊天機器人中建立生成安全[紙]
  

• JATMO：通過特定於任務的固定[紙]及時注射防禦
  

推理時間防禦

提示

• Adashield：通過自適應屏蔽提示[紙]保護多模式的多模式大型模型免受基於結構的攻擊
  

• 突破性突破：以自我限制[紙]重塑LM防禦越獄攻擊
  

• 在迅速驅動的大型語言模型上保護[紙]
  

• 簽名宣傳：一種防止對LLM集成申請的迅速注射攻擊的新方法[紙]
  Xuchen Suo（2024）
  
• 意圖分析使LLMS成為一個很好的越獄後衛[紙]
  

• 防禦間接提示注射攻擊，並以聚光燈的聚焦[紙]
  

• 確保安全和高質量的產出：語言模型的指南庫方法[紙]
  

• 目標引導的生成迅速注射對大語模型的注射攻擊[紙]
  

• Struq：防禦結構化查詢的提示注射[紙]
  

• 鮑勃（Bob
  

• 自我控制：授權LLM保護本身[紙]
  

• 使用內在的學習來提高對話安全性[論文]
  

• 通過目標優先級捍衛大型語言模型免受越獄攻擊[紙]
  

• Bergeron：通過基於良心的對準框架[紙]來打擊對抗攻擊
  

合奏

• 用多代理辯論對抗攻擊[紙]
  

• Trustagent：通過代理憲法[論文]實現安全且可信賴的LLM代理商
  

• Autodefense：多代理LLM防禦越獄襲擊[紙]
  

• 學會掩飾：避免通過多代理攻擊者偵探遊戲在LLM的防禦中拒絕拒絕響應[Paper]
  

• 監獄中的越獄者：大型語言模型的目標防禦[紙]
  

護欄

輸入護欄

• UFID：擴散模型上輸入級後門檢測的統一框架[紙]
  

• 通用的提示優化器，用於安全文本到圖像生成[紙]
  

• 閉合眼睛，安全性：通過圖像到文本轉換保護多模式LLM [紙]
  

• 閉合眼睛，安全性：通過圖像到文本轉換保護多模式LLM [紙]
  

• MLLM-PROTECTOR：確保MLLM的安全而不會損害性能[紙]
  

• 在推理時間增加毒性的多模式和大規模多語言翻譯[紙]
  

• 一種基於突變的多模式越獄攻擊檢測的方法[紙]
  

• 檢測和防禦對預處理​​的LLM集成虛擬助手的突出攻擊[紙]
  

• SHIELDLM：將LLMS授權作為對齊，可自定義和可解釋的安全探測器[紙]
  

• 往返翻譯防禦大型語言模型越獄攻擊[紙]
  

• 梯子袖口：通過探索拒絕損失景觀來檢測對大語言模型的越獄攻擊[紙]
  

• 捍衛越獄的提示，通過文本對抗遊戲[Paper]
  

• SPML：用於捍衛語言模型免受及時攻擊的DSL [紙]
  

• 大型語言模型的強大安全分類器：對抗性提示屏蔽[紙]
  

• 人工智能控制：儘管有意顛覆[紙]，改善了安全性[紙]
  

• MAATPHOR：自動化變體分析，以進行快速注射攻擊[紙]
  

輸出護欄

• 通過倒退[紙]捍衛LLMS免受越獄攻擊的攻擊
  

• 強大的迅速優化，以防禦語言模型免受越獄攻擊[紙]
  

• 根據定義，最好解決越獄[紙]
  

• LLM自衛：通過自我檢查，LLM知道他們在被欺騙[紙]
  

輸入和輸出護欄

• Rigorllm：針對不希望的內容的大型語言模型的彈性護欄[紙]
  

• Nemo Guardrails：可控制和安全的LLM應用程序的工具包[紙]
  

• Llama Guard：基於LLM的人類對話的投入輸出保障[紙]
  

對抗後綴防禦

• 通過語義平滑捍衛大型語言模型免受越獄攻擊[紙]
  

• 證明LLM安全性針對對抗性提示[紙]
  

• 針對對齊語言模型的對抗性攻擊的基線防禦措施[紙]
  

• 檢測具有困惑的語言模型攻擊[紙]
  

• Smoothllm：捍衛大型語言模型免受越獄攻擊[紙]
  

• 基於困惑度量和上下文信息[紙]
  

解碼防禦

• 通過可控的大語言模型來實現安全和有益的平衡響應[紙]
  

• SAFEDECODING：通過安全意識解碼防禦越獄攻擊[紙]
  

評估

評估指標

攻擊指標

• 一個新的評估框架，用於評估大語模型中迅速注射攻擊的彈性[紙]
  

• attackeval：如何評估越獄攻擊大語模型的有效性[紙]
  

• 看看它！重新思考如何評估語言模型越獄[紙]
  

國防指標

• LLMS的以教學為中心的反應（UN）如何？揭示了安全護欄的脆弱性[紙]
  

• 捍衛的藝術：對安全性和過度不正確性的LLM防禦策略進行系統的評估和分析[紙]
  

評估基準

• 越獄者：越獄大語言模型的開放穩定基準[紙]
  

• 安全提示：對開放數據集進行評估和改善大型語言模型安全的系統綜述[論文]
  

• 從代表性危害到服務質量危害：關於美洲駝的案例研究2安全保護措施[論文]
  

• 沙拉台：大語言模型的分層和全面的安全基準[紙]
  

• 空洞的越獄的強烈練習[紙]
  

• Harmbench：自動紅色小組和強大拒絕的標準化評估框架[紙]
  

• 安全基礎：通過多項選擇問題評估大語言模型的安全性[紙]
  

• Xstest：用於識別大語言模型中誇大安全行為的測試套件[紙]
  

• do-not-andwer：用於評估LLMS中保障措施的數據集[紙]
  

• 中國大語模型的安全評估[論文]
  

• 紅色小組語言模型以減少危害：方法，縮放行為和經驗教訓[紙]
  

• DICES數據集：安全性AI的多樣性評估安全性[論文]
  

• 潛在越獄：評估大型語言模型的文本安全性和輸出魯棒性的基準[紙]
  

• Tensor Trust：在線遊戲的可解釋的提示注射攻擊[Paper]
  

• LLM可以遵循簡單的規則嗎？ [紙]
  

• SimpleSafetyTests：用於識別大語言模型中關鍵安全風險的測試套件[紙]
  

• 基準測試和防禦大型語言模型的間接及時注射攻擊[紙]
  

• SC安全：中文大型語言模型的多輪開放式問題對抗性安全基準[紙]
  

• 行走繩索 - 評估高風險域中的大型語言模型[紙]
  

申請

應用域

代理人

• MM-SafetyBench：多模式模型安全評估的基準[紙]
  

• 史密斯特工：一張圖像可以越獄一百萬個多模式LLM代理商，呈指數速度[紙]
  

• 此圖像中有多少個獨角獸？視覺LLM的安全評估基準[紙]
  

• 朝著多模式和多語言翻譯中的紅色團隊[紙]
  

• 越獄V-28K：評估越獄攻擊的多模式模型的魯棒性的基準[紙]
  

• 紅色團隊GPT-4V：GPT-4V是否可以安全地抵抗Uni/多模式越獄攻擊？ [紙]
  

• R-Gudge：LLM代理商的安全風險意識[論文]
  

• GPT穿著綿羊的衣服：定制GPT的風險[紙]
  

• 工具劍：跨三個階段的工具學習中的大型語言模型的安全問題[紙]
  

• 顫抖的紙牌屋？繪製針對語言代理的對抗性攻擊[紙]
  

• 快速採用，隱藏風險：大語言模型自定義的雙重影響[紙]
  

• 面向目標的及時攻擊和對LLM的安全評估[紙]
  

• 用LM擬人的沙盒確定LM劑的風險[紙]
  

• CVALUES：衡量中國大語言模型的價值從安全到責任[紙]
  

• 利用新穎的GPT-4 API [紙]
  

• 邪惡的天才：深入研究基於LLM的代理商的安全[紙]
  

• 評估200多種自定義GPT中的及時注射風險[紙]
  

程式設計

• 欺騙性：通過對抗性自然語言指令利用LLM驅動的代碼生成[紙]
  

• 中毒的Chatgpt發現閒置的手：探索開發人員的編碼實踐，並從中毒AI模型中提出了不安全的建議[Paper]
  

應用風險

提示注射

• 在提示注射攻擊下使用大型語言模型的機器翻譯的縮放行為[紙]
  

• 從及時注射到SQL注入攻擊：您的LLM集成Web應用程序如何受到保護？ [紙]
  

• 不是您要註冊的內容：通過間接提示注射損害現實世界中LLM集成的應用程序[Paper]
  

• 迅速注射針對LLM集成應用的攻擊[紙]
  

及時提取

• 通過系統提示，通過自我逆轉攻擊越獄的GPT-4V [紙]
  

• 迅速竊取針對大型語言模型的攻擊[紙]
  

• 從語言模型中提取有效的及時提取[論文]
  

多模式紅色隊伍

攻擊策略

完成合規性

• 在視覺模型上幾乎沒有對抗性及時學習[紙]
  

• 大型多模式模型中的劫持上下文[紙]
  

教學間接

• 關於針對圖像對抗攻擊的大型多模型的魯棒性[紙]
  

• 圖像是阿喀琉斯的腳跟腳跟：利用視覺脆弱性來越獄多模式模型[紙]
  

• 視覺符號可以用自我生成的印刷攻擊[紙]欺騙自己
  

• 視覺對手示例越獄對齊大語言模型[紙]
  

• 越獄零件：對多模式模型的構圖對抗攻擊[紙]
  

• 濫用圖像和聲音以進行多模式LLM中的間接指導注入[紙]
  

• FIGSTEP：通過印刷視覺提示越獄大型視覺模型[紙]
  

• 指示：指導調節大型視力語言模型的目標攻擊[紙]
  

攻擊搜索者

圖像搜索器

• 擴散攻擊：利用穩定的擴散來進行自然圖像攻擊[紙]
  

• 關於多模式基礎模型的對抗性魯棒性[紙]
  

• Google對對抗圖像攻擊的吟遊詩人有多穩健？ [紙]
  

• 測試時間後門對多模式大語言模型的攻擊[紙]
  

交叉模態搜索器

• SA-攻擊：通過自我實踐提高視力語言預訓練模型的對抗性可傳遞性[Paper]
  

• MMA擴散：對擴散模型的多模式攻擊[紙]
  

• 通過協作多模式相互作用改善視覺語言預訓練模型的對抗性可傳遞性[Paper]
  

• 圖像價值為1000個：在視覺模型上提示的對抗圖像的可傳遞性[Paper]
  

其他的

• 偷偷摸摸：越獄的文本到圖像生成模型[紙]
  

• 提示4Debugging：通過查找有問題的提示[紙]，紅色的文本對圖像擴散模型
  

防禦

護欄防禦

• UFID：擴散模型上輸入級後門檢測的統一框架[紙]
  

• 通用的提示優化器，用於安全文本到圖像生成[紙]
  

• 閉合眼睛，安全性：通過圖像到文本轉換保護多模式LLM [紙]
  

• 閉合眼睛，安全性：通過圖像到文本轉換保護多模式LLM [紙]
  

• MLLM-PROTECTOR：確保MLLM的安全而不會損害性能[紙]
  

• 在推理時間增加毒性的多模式和大規模多語言翻譯[紙]
  

• 一種基於突變的多模式越獄攻擊檢測的方法[紙]
  

其他防禦

• Safegen：減輕文本到圖像模型中不安全的內容生成[紙]
  

• Adashield：通過自適應屏蔽提示[紙]保護多模式的多模式大型模型免受基於結構的攻擊
  

• （幾乎）無費用的安全性微調：視覺大語模型的基線[紙]
  

應用

代理商

• 紅色團隊GPT-4V：GPT-4V是否可以安全地抵抗Uni/多模式越獄攻擊？ [紙]
  

• 越獄V-28K：評估越獄攻擊的多模式模型的魯棒性的基準[紙]
  

• 史密斯特工：一張圖像可以越獄一百萬個多模式LLM代理商，呈指數速度[紙]
  

• MM-SafetyBench：多模式模型安全評估的基準[紙]
  

• 此圖像中有多少個獨角獸？視覺LLM的安全評估基準[紙]
  

• 朝著多模式和多語言翻譯中的紅色團隊[紙]
  

基準

• 對抗性nibbler：一種開放的紅色團隊方法，用於識別文本到圖像生成中各種危害的危害[Paper]
  

• 紅色小組視覺語言模型[紙]
  

引用

 @article{lin2024achilles,
      title={Against The Achilles' Heel: A Survey on Red Teaming for Generative Models}, 
      author={Lizhi Lin and Honglin Mu and Zenan Zhai and Minghan Wang and Yuxia Wang and Renxi Wang and Junjie Gao and Yixuan Zhang and Wanxiang Che and Timothy Baldwin and Xudong Han and Haonan Li},
      year={2024},
      journal={arXiv preprint, arXiv:2404.00629},
      primaryClass={cs.CL}
}