intro_dgm

"깊은 생성 모델링": 소개 예

이 저장소에는 "Deep Generative Modeling"이라는 책에 대한 깊은 생성 모델의 예가 포함되어 있습니다.

1. 가우스 (Mogs)의 혼합물 : 가우스의 혼합물
2. 자가 회귀 모델 (ARMS) : 인과 컨볼 루션 및 변압기로 매개 변수화 된 팔
3. 흐름 기반 모델 (흐름) : RealNVP 및 IDF (정수 이산 흐름)
4. 변형 자동 인코더 (VAES) : 평범한 VAE 및 다양한 사전, 계층 적 VAE
5. 확산 기반 심층 생성 모델 (DDGMS) : 가우스 전방 확산
6. 점수 기반 생성 모델 (SBGMS) : 점수 매칭, 점수 기반 생성 모델, (조건부) 흐름 일치
7. 하이브리드 모델링
8. 에너지 기반 모델
9. 생성 적대적 네트워크 (GANS)
10. 깊은 생성 모델링으로 신경 압축
11. 대형 언어 모델 (LLMS)

예제는 지나치게 단순 해 보일 수 있지만 그게 요점입니다! 내 생각은 모든 사람이 코드의 모든 라인을 따라갈 수 있고 거의 모든 노트북이나 컴퓨터에서 몇 분 안에 실험을 실행할 수 있다는 것입니다. 저의 목표는 새로운 새로운 사람들이 깊은 생성 모델을 이해하고 놀도록 격려하는 것입니다. 반면에 더 고급 사용자는 지식을 새로 고칠 수 있거나 그 위에 구축하여 아이디어를 신속하게 확인할 수 있습니다. 어느 쪽이든, 코드가 모든 사람들이 깊은 생성 모델링에 대한 매혹적인 여행에 참여하는 데 도움이되기를 바랍니다!

요구 사항

모든 예에서 우리는 다음을 사용했습니다.

• pytorch 1.7.0
• numpy 1.17.2
• matplotlib 3.1.1
• scikit-learn 0.21.3
• pytorch-model-summary 0.1.1
• jupyter 1.0.0

예

구현 된 깊은 생성 모델의 모든 예는 Jupyter 노트북으로 제공됩니다. 다음 폴더에서 찾을 수 있습니다.

1. mog : 가우시안의 혼합물과 장비 성분 또는 훈련 가능한 구성 요소 확률의 예.
2. arms : 1D 및 변압기의 인과 적 컨볼 루션 층이있는 자동 회귀 모델의 예.
3. flows : 흐름 기반 모델의 예, 즉 커플 링 레이어 및 순열 레이어가있는 RealNVP 및 IDF (정수 이산 흐름)의 예입니다.
4. vaes : (i) 완전히 연결된 층을 사용한 변형 자동 인코딩과 표준 가우시안 사전, (ii) VAE에 대한 다양한 우선 순위의 예, (iii) 계층 적 VAE의 예.
5. ddgms : 고정 변수 및 MLP에 의해 파라미터 된 역 확산을 갖는 가우시안 전방 확산을 사용한 확산 기반 심층 생성 모델의 예.
6. sbgms : (i) 스코어 매칭 방법 및 MLP 기반 스코어 모델을 사용한 스코어 모델의 예, (ii) MLP에 의해 매개 변수화 된 SDE 기반 확산 모델의 예, (iii) MLP에 의해 매개 변수화 된 조건부 흐름 일치 모델의 예.
7. hybrid_modeling : 완전히 연결된 레이어 및 IDF를 사용하는 하이브리드 모델의 예.
8. ebms : MLP에 의해 매개 변수화 된 에너지 기반 모델의 예.
9. gans : MLP에 의해 매개 변수화 된 GAN의 예.
10. neural_compression : 이미지 신경 압축에 깊은 생성 모델링을 적용하는 예.
11. llms : 디코더 기반 변압기의 예 (LLM; 여기서 우리는 그것을 teenygpt라고 부릅니다.

소환

이 코드를 어떤 식 으로든 사용하는 경우 내 책 "Deep Generative Modeling"을 인용하여 참조하십시오.

• APA 스타일 :

 Tomczak, J. M. (2024). Deep Generative Modeling. Springer Cham

• Bibtex :

 @book{tomczak2024deep,
  title={Deep Generative Modeling},
  author={Tomczak, Jakub M},
  publisher={Springer Cham},
  year={2024}
}