awesome generative modeling under data constraints

제한된 데이터, 몇 가지 샷 및 제로 샷으로 생성 모델링에 대한 설문 조사

프로젝트 페이지 | 종이 | Bibtex

Milad Abdollahzadeh, Touba Malekzadeh*, Christopher th Teo*, Keshigeyan Chandrasegaran*, Guimeng Liu, Ngai-Man Cheung †
(* 동등한 기여, † 해당 저자)

이 repo에는 데이터 제약 (GM-DC)에서 생성 모델링을위한 공공 코드 구현이 포함 된 논문 목록이 포함되어 있습니다. 각 작업에 대해, 우리는 해결 된 생성 작업, 접근 방식 및 사용 된 생성 모델의 유형을 결정합니다.

먼저 생성 작업과 접근 방식 정의를 정의한 다음 GM-DC의 작품 목록에 각 작업에 필요한 세부 사항을 제공합니다.

개요

기계 학습에서 생성 모델링은 교육 데이터 배포와 통계적으로 유사한 새로운 데이터를 생성하는 법을 배우는 것을 목표로합니다. 이 논문에서는 데이터 제약 (GM-DC) 하에서 생성 모델링이라고 불리는 제한된 데이터, 몇 가지 샷 및 제로 샷에서 생성 모델을 학습하는 생성 모델을 조사합니다. 이것은 데이터 수집이 도전 할 때, 예를 들어 의료 응용 프로그램입니다. 우리는 배경, 도전에 대해 논의하고 두 가지 분류법을 제안합니다. 하나는 GM-DC 작업과 GM-DC 접근 방식에 대해. 중요하게도, 우리는 다른 GM-DC 작업과 접근 방식 사이의 상호 작용을 연구합니다. 또한, 우리는 향후 탐색을위한 연구 격차, 연구 동향 및 잠재적 인 길을 강조합니다.

? 소식

• 2024 년 10 월 28 일 : "제한된 데이터에 대한 생성 모델링, 몇 가지 샷 및 제로 샷" 에 대한 ICIP 자습서의 슬라이드는 여기에서 찾을 수 있습니다.
• 2023 년 7 월 28 일 : 첫 번째 릴리스 (113 작품 포함)!

생성 작업 정의

우리는 문헌의 엄격한 검토에 기초하여 데이터 제약 하에서 8 가지 다른 생성 작업을 정의합니다. 이 작업에 대한 설명은 Follwing 테이블에서 찾을 수 있습니다.

일	설명 및 예제	삽화
UGM-1	설명 : 주어진 $ k $ 도메인에서 샘플 $ mathcal {d} $ , 다양한 고품질 샘플을 생성하는 법을 배우십시오 $ mathcal {d} $ 예 : ADA는 AFHQ-DOG의 1K 이미지를 사용하여 StyleGan2를 배웁니다.	배치 통계 적응을 통한 소규모 데이터 세트의 이미지 생성 ICCV 2019 [논문] [공식 코드] 식별기를 동결하십시오 : 미세 조정을위한 간단한 기준선 CVPR 2020-W [논문] [공식 코드] 제한된 데이터를 가진 세대를 위해 사전 주사 된 Gans를 활용합니다 ICML 2020 [논문] [공식 코드] 탄성 중량 통합으로 거의 샷 이미지 생성 Neurips 2020 [종이] 잊지 않은 간 메모리 Neurips 2020 [논문] [공식 코드] 생성 적대성 네트워크의 적응은 거의 없습니다 Arxiv 2020 [논문] [공식 코드] 이미지가 거의없는 GAN에서 대상 도메인으로 효과적인 지식 전달 CVPR 2021 [논문] [공식 코드] 크로스 도메인 서신을 통한 거의 샷 이미지 생성 CVPR 2021 [논문] [공식 코드] 클래스 전체에 걸쳐 Konwledge 전파를 통한 효율적인 조건부 GAN 전송 CVPR 2021 [논문] [공식 코드] Cam-gan : 생성 적대적 네트워크를위한 지속적인 적응 모듈 Neurips 2021 [논문] [공식 코드] 소수의 이미지 생성에서 교차 도메인 서신에 대한 대조적 인 학습 Neurips 2021-W [종이] 인스턴스 조정 된 간 Neurips 2021 [논문] [공식 코드] 제한된 데이터 도메인으로 효율적인 지식 전달을위한 광업 생성 모델 Arxiv 2021 [논문] [공식 코드] 원샷 생성 도메인 적응 Arxiv 2021 [논문] [공식 코드] 언제, 왜, 그리고 어떤 미리 훈련 된 간이 유용합니까? ICLR 2022 [논문] [공식 코드] 생성 적대 네트워크를위한 단일 샷 도메인 적응에 대한 도메인 갭 제어 ICLR 2022 [논문] [공식 코드] 소수의 이미지 생성을 자세히 살펴보십시오 CVPR 2022 [종이] 편안한 공간 구조적 정렬을 통한 몇 가지 샷 생성 모델 적응 CVPR 2022 [논문] [공식 코드] 한 샷 얼굴 스타일 ECCV 2022 [논문] [공식 코드] 적응 인식 커널 변조를 통한 거의 샷 이미지 생성 Neurips 2022 [논문] [공식 코드] 생성 적대성 네트워크에 대한 범용 도메인 적응 Neurips 2022 [논문] [공식 코드] 생성 적대성 네트워크의 일반화 된 원샷 도메인 적응 Neurips 2022 [논문] [공식 코드] 생성 적대적 네트워크의 다양하고 충실한 원샷 적응으로 Neurips 2022 [논문] [공식 코드] 이미지 생성기의 클립 유도 도메인 적응 ACM-TOG 2022 [논문] [공식 코드] 여러 도메인에 대한 GAN의 동적 몇 샷 적응 Siggraph-Asia 2022 [논문] [공식 코드] 소수의 이미지 생성에 대한 지식 증류 악용 Arxiv 2022 [종이] 대조적 인 전송 학습을 가진 소수의 예술적 초상화 세대 Arxiv 2022 [종이] 소수의 이미지 생성 적응에 대한 동적 가중 시맨틱 서신 ACM-MM 2022 [종이] 전송 학습을 통한 공정한 생성 모델 AAAI 2023 [논문] [공식 코드] 정렬없는 공간 상관 관계를 갖는 생성 모델의 점진적인 소수 샷 적응 AAAI 2023 [논문] [공식 코드] 추론 시간 잠재 코드 학습을 통한 소수의 샷 크로스 도메인 이미지 생성 ICLR 2023 [논문] [공식 코드] 소수의 이미지 생성에서 양립 할 수없는 지식 전달을 탐구합니다 CVPR 2023 [논문] [공식 코드] 이미지 별 프롬프트 학습을 통한 제로 샷 생성 모델 적응 CVPR 2023 [논문] [공식 코드] 생성 전송 학습을위한 시각적 프롬프트 튜닝 CVPR 2023 [논문] [공식 코드] 텍스트-이미지 확산 모델로 단일 이미지 편집 CVPR 2023 [논문] [공식 코드] Dreambooth : 주제 중심 생성을위한 미세 튜닝 텍스트-이미지 확산 모델 CVPR 2023 [종이] 텍스트-이미지 확산의 다중 개념 사용자 정의 CVPR 2023 [논문] [공식 코드] 보이지 않는 스타일을 배우기 위해 텍스트-이미지 확산 모델의 플러그 앤 플레이 샘플 효율적인 미세 조정 CVPR 2023 [종이] 단일 샷 적응을위한 목표 인식 생성 강화 ICML 2023 [논문] [공식 코드] 다중 회전 : 제어 된 이미지 생성을위한 확산 경로 융합 ICML 2023 [논문] [공식 코드] 제한된 데이터를 가진 이미지 생성을위한 데이터 의존 도메인 전송 간 GAN AC-MTMCCA 2023 [종이] 단 하나의 클립으로 Gan의 원샷 적응 TPAMI 2023 [논문] [공식 코드] 마스크 차별을 통한 몇 가지 이미지 생성 ARXIV 2023 [종이] 잠재 우주 재배치를 통한 몇 가지 이미지 생성 ARXIV 2023 [종이] 중추 튜닝 반전 및 PCA를 사용하여 특정 그룹의 기능을 갖춘 더 빠른 소수의 얼굴 이미지 생성 ICAIIC 2023 [종이] 확산 모델을 갖춘 소수의 이미지 생성 ARXIV 2023 [종이] 소수의 이미지 생성에 대한 교차 도메인 시맨틱 관계를 다시 생각합니다 응용 지수 2023 [논문] [공식 코드] 이미지는 한 단어의 가치가 있습니다 : 텍스트 반전을 사용하여 텍스트-이미지 생성 개인화 ARXIV 2023 [논문] [공식 코드] Blip-Diviviless : 제어 가능한 텍스트-이미지 생성 및 편집에 대한 미리 훈련 된 주제 표현 ARXIV 2023 [논문] [공식 코드] 데이터 확대 확장/붕괴하려면 클릭하십시오. 12 작업 생성 적대 네트워크에 대한 일관성 정규화 ICLR 2019 [논문] [공식 코드] 데이터가 제한된 생성 적대적 네트워크 교육 Neurips 2020 [논문] [공식 코드] 데이터 효율적인 GAN 교육을위한 차별화 가능한 증강 Neurips 2020 [논문] [공식 코드] GAN 훈련을위한 이미지 확대 Arxiv 2020 [종이] GAN의 일관성 정규화 향상 AAAI 2021 [종이] 속임수 : 제한된 데이터를 가진 GAN 훈련을위한 적응 의사 증강 Neurips 2021 [논문] [공식 코드] (Just) 확대 이상의 데이터 효율적인 GAN 교육 : 복권 관점 Neurips 2021 [논문] [공식 코드] 라벨 확대 된 자체 감독 간 Gans Neurips 2021 [논문] [공식 코드] GAN 교육을위한 데이터 확대 팁 2021 [논문] [공식 코드] 로우 샷 이미지 생성을위한 적응 기능 보간 ECCV 2022 [논문] [공식 코드] 확산과 함께 훈련 ICLR 2023 [논문] [공식 코드] 확산 모델의 더 빠르고 데이터 효율적인 교육 ARXIV 2023 [종이] 네트워크 아키텍처 클릭하여 확장/붕괴 11 작업 고 충실도 소수의 이미지 합성을위한 더 빠르고 안정화 된 간 훈련을 향해 ICLR 2021 [논문] [공식 코드] (Just) 확대 이상의 데이터 효율적인 GAN 교육 : 복권 관점 Neurips 2021 [논문] [공식 코드] 예상 된 Gans는 더 빨리 수렴합니다 Neurips 2021 [논문] [공식 코드] 소수의 샷 이미지 생성에 대한 프로토 타입 메모리 및주의 메커니즘 ICLR 2022 [논문] [공식 코드] 컨디셔닝에 의한 붕괴 : 데이터가 제한된 클래스 조건 GAN을 훈련시킵니다 ICLR 2022 [논문] [공식 코드] 간 훈련을위한 기성품 모델 앙상블 CVPR 2022 [논문] [공식 코드] 소수의 샷 생성에 대한 계층 적 맥락 집계 ICML 2022 [논문] [공식 코드] 역동적 인 판별 자로 Gans 개선 Neurips 2022 [논문] [공식 코드] 건축 재구성을 통한 데이터 효율적인 GANS 교육 CVPR 2023 [논문] [공식 코드] 소수의 샷 이미지 생성에 대한 편집 및 대표 속성을 소개합니다 AI 2023의 엔지니어링 응용 [논문] [공식 코드] 더 나은 이미지 합성 GAN 프레임 워크를 향해 NAS 및 대조 학습을 통한 고 충실도 소수의 데이터 세트 Elsevier KBS 2023 [논문] [공식 코드] 멀티 태스킹 목표 클릭하여 확장/붕괴 25 작업 GAN 훈련을위한 이미지 확대 Arxiv 2020 [종이] 제한된 데이터 하에서 생성 적대적 네트워크를 정규화합니다 CVPR 2021 [논문] [공식 코드] 소수의 이미지 생성에서 교차 도메인 서신에 대한 대조적 인 학습 Neurips 2021-W [종이] 인스턴스 식별에서 데이터 효율적인 인스턴스 생성 Neurips 2021 [논문] [공식 코드] 소수의 조건부 생성에 대한 확산 디코딩 모델 Neurips 2021 [논문] [공식 코드] 데이터가 제한된 생성 적대자 네트워크에 대한 생성 공동 훈련 AAAI 2022 [논문] [공식 코드] 소수의 샷 이미지 생성에 대한 프로토 타입 메모리 및주의 메커니즘 ICLR 2022 [논문] [공식 코드] 소수의 이미지 생성을 자세히 살펴보십시오 CVPR 2022 [종이] Mixup 기반 원격 학습을 갖춘 소수의 이미지 생성 ECCV 2022 [논문] [공식 코드] 데이터 효율적인 GANS에서 잠재적 불연속성을 해결하기위한 대조적 학습 탐색 ECCV 2022 [논문] [공식 코드] 고해상도 이미지 합성을위한 모든 해상도 훈련 ECCV 2022 [논문] [공식 코드] 제한된 데이터를 갖는 GAN 훈련을위한 판별 자 그라디언트 갭 정규화 Neurips 2022 [논문] [공식 코드] 마스크 생성 적대 네트워크는 데이터 효율적인 세대 학습자입니다 Neurips 2022 [종이] 소수의 이미지 생성에 대한 지식 증류 악용 Arxiv 2022 [종이] 대조적 인 전송 학습을 가진 소수의 예술적 초상화 세대 Arxiv 2022 [종이] 소수의 확산 모델 Arxiv 2022 [논문] [공식 코드] 대조 메타 학습 생성 적대 네트워크를 기반으로 한 소수의 이미지 생성 시각 컴퓨터 2022 [종이] 확산과 함께 훈련 ICLR 2023 [논문] [공식 코드] 지식 증류를 통한 데이터 제한 이미지 생성 CVPR 2023 [종이] 소수의 사전 해독이없는 생성 모델링에 대한 적응 형 IMLE ICML 2023 [논문] [공식 코드] 마스크 차별을 통한 몇 가지 이미지 생성 ARXIV 2023 [종이] 확산 모델의 더 빠르고 데이터 효율적인 교육 ARXIV 2023 [종이] 제한된 데이터 하에서 높은 다양성과 충실도 이미지 합성으로 정보 과학 2023 [논문] [공식 코드] 제한된 데이터 하에서 라벨-절제 된 생성 적대 네트워크를 정규화합니다 IEEE Access 2023 [종이] 생성 적대성 네트워크를위한 동적으로 마스크 된 판별 자 ARXIV 2023 [종이] 주파수 구성 요소 악용 확장/붕괴 4 작업을 클릭하십시오 데이터가 제한된 생성 적대자 네트워크에 대한 생성 공동 훈련 AAAI 2022 [논문] [공식 코드] 고 충실도 소수의 이미지 생성을위한 주파수 인식 간 ECCV 2022 [논문] [공식 코드] 역동적 인 판별 자로 Gans 개선 Neurips 2022 [논문] [공식 코드] 제한된 데이터 하에서 GAN을 훈련하기위한 주파수 구성 요소 악용 Neurips 2022 [논문] [공식 코드] 메타 학습 클릭하여 확장/붕괴 17 작업 데이터 증강 생성 적대적 네트워크 ARXIV 2017 [논문] [공식 코드] 생성 매칭 네트워크를 갖춘 소수의 생성 모델링 Aistats 2018 [종이] 파충류와 함께 거의 샷 이미지 생성 ARXIV 2019 [논문] [공식 코드] 도메인 적응성 소수의 샷 생성 프레임 워크 Arxiv 2020 [종이] 일치하는 기반 몇 샷 이미지 생성 ICME 2020 [논문] [공식 코드] 몇 번의 샷 이미지 생성을위한 간이 gan ACM-MM 2020 [논문] [공식 코드] 소수의 이미지 생성에 대한 로컬 표현 융합 ICCV 2021 [논문] [공식 코드] 소수의 샷 이미지 생성을위한 빠른 적응 형 메타 학습 TMM 2021 [논문] [공식 코드] 고 충실도 소수의 이미지 생성을위한 주파수 인식 간 ECCV 2022 [논문] [공식 코드] 샘플 특이 적 델타로 다양한 소수의 이미지 생성을 향해 ECCV 2022 [논문] [공식 코드] 대조 메타 학습 생성 적대 네트워크를 기반으로 한 소수의 이미지 생성 시각 컴퓨터 2022 [종이] 불연속 컨텐츠 표현을 사용한 거의 샷 이미지 생성 ACM MM 2022 [종이] 유클리드 공간은 사악합니다 : 소수의 이미지 생성에 대한 쌍곡선 속성 편집 Arxiv 2022 [종이] 내 자리는 어디에 있습니까? 잠재적 인 서브 스페이스 최적화를 통한 거의 샷 이미지 생성 CVPR 2023 [논문] [공식 코드] 신뢰할 수있는 소수의 샷 이미지 생성에 대한 속성 그룹 편집 CVPR 2023 [논문] [공식 코드] 소수의 이미지 생성을위한 적응 형 다중 규모 변조 생성 적대 네트워크 응용 지능 2023 [종이] 안정적인 속성 그룹 편집 신뢰할 수있는 소수의 샷 이미지 생성 ARXIV 2023 [논문] [공식 코드] 내부 패치 분포 모델링 클릭하여 확장/붕괴 8 작업 단일 자연 이미지에서 생성 모델 학습 ICCV 2019 [논문] [공식 코드] 단일 이미지와 비디오에서 샘플을 생성하는 법을 배우는 학습 CVPR 2021-W [논문] [공식 코드] 단일 이미지 간 훈련을위한 개선 된 기술 WACV 2021 [논문] [공식 코드] 단일 자연 이미지에서 확산 모델 학습 Arxiv 2022 [논문] [공식 코드] 공간 이미지 정체성 컨디셔닝으로 단일 이미지의 내부 분포 학습 및 혼합 Arxiv 2022 [종이] 단일 이미지 또는 비디오에서 확산 모델을 훈련시킵니다 ICML 2023 [논문] [공식 코드] 단일 이미지 denoising 확산 모델 ICML 2023 [논문] [공식 코드] 소수의 이미지 합성에 대한 다양한 속성 전송 Visigrapp 2023 [논문] [공식 코드] 소환 이 repo가 ​​유용하다고 생각되면 우리 논문을 인용하십시오 @article{abdollahzadeh2023survey, title={A Survey on Generative Modeling with Limited Data, Few Shots, and Zero Shot}, author={Milad Abdollahzadeh and Touba Malekzadeh and Christopher T. H. Teo and Keshigeyan Chandrasegaran and Guimeng Liu and Ngai-Man Cheung}, year={2023}, eprint={2307.14397}, archivePrefix={arXiv}, primaryClass={cs.CV} }