BAGM下載 - BAGM源代碼下載

BAGM

其他源碼

1.0.0

下載

BAGM-對文本到圖像生成模型（BAGM）的後門攻擊

BAGM流程圖

文本到圖像生成人工智能（AI）的普及引起了廣泛的公眾利益。同時，後門攻擊在機器學習文獻中眾所周知，因為它們有效地操縱了神經模型，這在從業者中越來越關注。我們通過引入對文本對像生成模型（BAGM）的後門攻擊來強調生成AI的威脅。我們的攻擊是第一個針對生成過程三個階段的三個獨特的文本對圖像體系結構的目標，從而修改了嵌入式令牌的行為以及預訓練的語言和視覺神經網絡。根據滲透率，BAGM採取了一系列攻擊的形式，這些攻擊被稱為表面，淺和深攻擊。我們將BAGM的性能與最近出現的相關方法進行比較。我們還貢獻了一組定量指標，以評估未來對生成AI模型的後門攻擊的性能。提出的框架的功效是通過以數字營銷場景為目標域來針對最先進的生成模型來確定的。為此，我們還為品牌產品圖像提供了可銷售的食品數據集。我們的後門可以將對目標產出的偏見提高多達515％，而不會降低模型的魯棒性和效用。我們希望這項工作有助於揭露當代生成AI安全挑戰，並促進有關解決這些挑戰的先發製人努力的討論。

該存儲庫包含在本文中復制實驗所需的所有代碼和數據：

J. Vice，N。Akhtar，R。Hartley和A. Mian，“ Bagm：用於操縱文本到圖像生成模型的後門攻擊”，《信息法醫和安全性的IEEE交易》，doi：10.1109/tifs.2024.3386058。

可用：https：//ieeexplore.ieee.org/abstract/document/10494544

此存儲庫包含：

字幕目錄 - 包含用作生成管道輸入的所有可可提示
樣本輸出目錄 - 包含一些使用三個模型生成的圖像的示例，但要受到不同的攻擊
Image Generation.pynb筆記本 - 用於使用三種不同的生成管道生成圖像，使用可可字幕作為輸入提示。
公制生成.pynb筆記本 - 用於使用我們建議的指標評估生成的圖像集。這些指標將來可以用來評估對生成模型的後門攻擊。
檢索Coco Captions.pynb筆記本 - 給定一個帶有可可字幕的生成圖像，在文件名中檢索相應的可可字幕（用於在相應的目錄中生成字幕數據）。

為了運行上述筆記本，我們在NVIDIA GEFORCE RTX 4090 GPU上使用了Pytorch，除了我們的一個實驗之一外。我們利用了雲計算服務，並需要NVIIDA RTX A6000將後門注入嵌入在deepfloyd-if管道中的“ XXL” T5編碼器中。使用的基本模型全部通過擁抱面公開獲得。有關每種基本模型的更多信息，我們將讀者推薦給適當的模型卡。

雖然每類僅使用250張圖像進行網絡微調，但所有可銷售食品（MF）數據集的所有圖像（大約1400張）都在IEEE DataPort上可用。如果您無法訪問超鏈接，只需搜索“可銷售的食物（MF）數據集”，然後按照IEEE DataPort的鏈接即可。

注意：以下部分是從穩定的擴散V1模型卡中修改的，但適用於使用上述筆記本電腦的生成圖像。注意：鑑於我們建議BAGM作為攻擊框架，請注意，具有惡意意圖的對手可能不會考慮以下考慮帳戶！

引用

如果我們的代碼，指標或紙張用於進一步研究，請引用我們的論文：

 @article { Vice2023BAGM ,
  author = { Vice, Jordan and Akhtar, Naveed and Hartley, Richard and Mian, Ajmal } ,
  journal = { IEEE Transactions on Information Forensics and Security } , 
  title = { BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models } , 
  year = { 2024 } ,
  volume = { 19 } ,
  number = { } ,
  pages = { 4865-4880 } ,
  doi = { 10.1109/TIFS.2024.3386058 }
}