intro_dgm

"Pemodelan generatif yang dalam": contoh pengantar

Repositori ini berisi contoh model generatif yang dalam untuk buku "Deep Generative Modeling":

1. Campuran Gaussians (Mogs): Campuran Gaussians
2. Autoregressive Models (ARMS): Lengan parameterisasi dengan konvolusi dan transformator sebab
3. Model berbasis aliran (aliran): RealNVP dan IDFS (Integer Discrete Flows)
4. Variasional auto-encoder (VAE): vae polos dan berbagai prior, vae hierarkis
5. Model generatif mendalam berbasis difusi (DDGM): Difusi ke depan Gaussian
6. Model generatif berbasis skor (SBGM): pencocokan skor, model generatif berbasis skor, (kondisional) pencocokan aliran
7. Pemodelan Hibrida
8. Model berbasis energi
9. Jaringan permusuhan generatif (GANS)
10. Kompresi saraf dengan pemodelan generatif yang dalam
11. Model Bahasa Besar (LLM)

Contoh -contohnya mungkin terlihat berlebihan tapi itulah intinya! Ide saya adalah bahwa setiap orang dapat mengikuti setiap baris kode, dan menjalankan eksperimen dalam beberapa menit di hampir semua laptop atau komputer. Tujuan saya adalah mendorong orang -orang yang baru untuk memahami dan bermain dengan model generatif yang mendalam. Pengguna yang lebih maju, di sisi lain, dapat menyegarkan pengetahuan mereka atau membangun di atasnya untuk dengan cepat memeriksa ide -ide mereka. Either way, saya berharap kode ini akan membantu semua orang untuk bergabung dengan perjalanan yang menarik pada pemodelan generatif yang mendalam!

Persyaratan

Dalam semua contoh, kami menggunakan:

• pytorch 1.7.0
• numpy 1.17.2
• matplotlib 3.1.1
• scikit-learn 0.21.3
• pytorch-model-summary 0.1.1
• jupyter 1.0.0

Contoh

Semua contoh model generatif yang diimplementasikan disediakan sebagai buku catatan Jupyter. Mereka dapat ditemukan di folder berikut:

1. mog : Contoh campuran Gaussians dengan komponen yang dapat dilengkapi atau probabilitas komponen yang dapat dilatih.
2. arms : Contoh model autoregresif dengan lapisan konvolusi kausal dalam 1D dan transformer.
3. flows : Contoh model berbasis aliran, yaitu, RealNVP dengan lapisan kopling dan lapisan permutasi, dan IDF (aliran diskrit integer).
4. vaes : (i) Contoh variasional auto-encoder menggunakan lapisan yang sepenuhnya terhubung dan Gaussian standar sebelumnya, (ii) Contoh dari berbagai prior untuk VAE, (iii) contoh vae hierarkis.
5. ddgms : Contoh model generatif mendalam berbasis difusi menggunakan difusi ke depan Gaussian dengan variasi tetap dan difusi terbalik parameterisasi oleh MLP.
6. sbgms : (i) Contoh model skor menggunakan metode pencocokan skor dan model skor berbasis MLP, (ii) contoh model difusi berbasis SDE yang diparameterisasi oleh MLP, (iii) contoh model pencocokan aliran kondisional yang diparameterisasi oleh MLP.
7. hybrid_modeling : Contoh model hybrid menggunakan lapisan dan IDF yang terhubung sepenuhnya.
8. ebms : Contoh model berbasis energi yang diparameterisasi oleh MLP.
9. gans : Contoh GAN yang diparameterisasi oleh MLP.
10. neural_compression : Contoh penerapan pemodelan generatif yang dalam untuk gambar kompresi saraf.
11. llms : Contoh transformator berbasis dekoder (sebuah llm; di sini kita menyebutnya Teenygpt.

Kutipan

Jika Anda menggunakan kode ini dengan cara apa pun, silakan merujuknya dengan mengutip buku saya "Deep Generative Modeling":

• Gaya APA:

 Tomczak, J. M. (2024). Deep Generative Modeling. Springer Cham

• Bibtex:

 @book{tomczak2024deep,
  title={Deep Generative Modeling},
  author={Tomczak, Jakub M},
  publisher={Springer Cham},
  year={2024}
}