BAGM 다운로드 - BAGM 소스 코드 다운로드

BAGM

기타 소스코드

1.0.0

다운로드

Bagm- 텍스트-이미지 생성 모델에 대한 백도어 공격 (Bagm)

백마 흐름도

텍스트-이미지 생성 인공 지능 (AI)의 인기 증가는 광범위한 대중의 관심을 끌었습니다. 동시에, 백도어 공격은 기계 학습 문헌에서 신경 모델의 효과적인 조작을 위해 잘 알려져 있으며, 이는 실무자들 사이의 관심이 커지고 있습니다. 우리는 텍스트-이미지 생성 모델 (BABM)에 대한 백도어 공격을 도입하여 생성 AI에 대한이 위협을 강조합니다. 우리의 공격은 생성 프로세스의 3 단계에 걸쳐 3 개의 고유 한 텍스트-이미지 아키텍처를 목표로 삼아 임베디드 토 케이저와 미리 훈련 된 언어 및 시각적 신경망의 동작을 수정했습니다. 침투 수준에 따라 Bagm 은이 기사에서 표면, 얕은 및 깊은 공격이라고하는 다양한 공격 제품군을 취합니다. 우리는 Bagm의 성능을 최근에 새로운 관련 방법과 비교합니다. 또한 향후 생성 AI 모델에 대한 백도어 공격의 성능을 평가하기위한 정량적 메트릭 세트에 기여합니다. 제안 된 프레임 워크의 효능은 디지털 마케팅 시나리오를 대상 도메인으로 사용하여 최첨단 생성 모델을 대상으로하여 확립됩니다. 이를 위해, 우리는 또한 브랜드 제품 이미지의 시장성있는 식품 데이터 세트를 제공합니다. 우리의 백도어는 모델 견고성과 유틸리티를 줄이지 않고 목표 출력에 대한 편견을 최대 515%까지 증가시킬 수 있습니다. 우리는이 작업이 현대의 생성 AI 보안 문제를 드러내는 데 기여하고 이러한 과제를 해결하기위한 선제 적 노력에 대한 토론을 촉진하기를 바랍니다.

이 저장소에는 논문의 실험을 복제하는 데 필요한 모든 코드 및 데이터가 포함되어 있습니다.

J. VICE, N. AKHTAR, R. HARTLEY 및 A. MIAN, "BAGM : 정보 법의학 및 보안에 대한 IEEE 거래에서 텍스트-이미지 생성 모델 조작을위한 백도어 공격, DOI : 10.1109/tifs.2024.3386058.

사용 가능 : https://ieeexplore.ieee.org/abstract/document/10494544

이 repo에는 다음이 포함됩니다.

캡션 디렉토리 - 생성 파이프 라인에 입력으로 사용되는 모든 Coco 프롬프트가 포함되어 있습니다.
샘플 출력 디렉토리 - 다른 공격에 따라 세 가지 모델을 사용하여 생성 된 이미지의 일부 예를 포함합니다.
Image Generation.pynb 노트북 - 세 가지 다른 생성 파이프 라인을 사용하여 이미지를 생성하고 Coco 캡션을 입력 프롬프트로 사용합니다.
Metric Generation.pynb 노트북 - 제안 된 메트릭을 사용하여 생성 된 이미지 세트를 평가합니다. 이러한 메트릭은 향후 생성 모델에 대한 백도어 공격을 평가하는 데 사용될 수 있습니다.
Coco Captions.pynb 노트북 - 파일 이름에 Coco 캡션이있는 생성 된 이미지가 주어지면 해당 Coco 캡션 (해당 디렉토리에서 캡션 데이터를 생성하는 데 사용)을 검색합니다.

위의 노트북을 실행하기 위해 우리는 실험 중 하나를 제외한 Nvidia Geforce RTX 4090 GPU에서 Pytorch를 사용했습니다. 우리는 클라우드 컴퓨팅 서비스를 이용했으며 Deepfloyd-IF 파이프 라인에 내장 된 'XXL'T5-Encoder에 백도어를 주입하기 위해 NVIIDA RTX A6000이 필요했습니다. 사용 된 기본 모델은 모두 포옹을 통해 공개적으로 제공됩니다. 각 기본 모델에 대한 자세한 내용은 독자에게 적절한 모델 카드를 참조하십시오.

클래스 당 250 개의 이미지 만 네트워크 미세 조정에 사용되었지만 IEEE Dataport에서는 마케팅 가능한 식품 (MF) 데이터 세트의 모든 이미지 (약 1400)가 제공됩니다. 하이퍼 링크에 액세스 할 수없는 경우 "마케팅 가능한 식품 (MF) 데이터 세트"를 검색하고 IEEE DATAPORT에 대한 링크를 따릅니다.

참고 : 다음 섹션은 안정적인 확산 v1 모델 카드에서 수정되었지만 위의 노트북을 사용하여 이미지 생성에 적용됩니다. 참고 : Bagm을 공격 프레임 워크로 제안하면 악의적 인 의도로 작용하는 대적은 다음과 같은 고려 사항을 사용하지 않을 수 있습니다!

소환

당사의 코드, 메트릭 또는 논문이 연구를 추가로 사용하는 데 사용되는 경우 논문을 인용하십시오.

 @article { Vice2023BAGM ,
  author = { Vice, Jordan and Akhtar, Naveed and Hartley, Richard and Mian, Ajmal } ,
  journal = { IEEE Transactions on Information Forensics and Security } , 
  title = { BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models } , 
  year = { 2024 } ,
  volume = { 19 } ,
  number = { } ,
  pages = { 4865-4880 } ,
  doi = { 10.1109/TIFS.2024.3386058 }
}