intro_dgm

“深入生成建模”：介紹性示例

該存儲庫包含“深層生成建模”一書的深層生成模型的示例：

1. 高斯（MOGS）的混合物：高斯人的混合物
2. 自迴旋模型（ARM）：用因果卷積和變形金剛參數的手臂
3. 基於流的模型（流）：RealnVP和IDF（整數離散流）
4. 變性自動編碼器（VAE）：平原和各種先驗，層次vae
5. 基於擴散的深層生成模型（DDGM）：高斯正向擴散
6. 基於分數的生成模型（SBGM）：得分匹配，基於得分的生成模型，（條件）流量匹配
7. 混合建模
8. 基於能量的模型
9. 生成對抗網絡（GAN）
10. 神經壓縮，具有深層生成建模
11. 大語言模型（LLM）

這些例子看起來可能過於簡單，但這就是重點！我的想法是，每個人都可以遵循代碼的每一行，並在幾分鐘內幾乎在任何筆記本電腦或計算機上運行實驗。我的目標是鼓勵那些新手理解和使用深層生成模型的人。另一方面，更高級的用戶可以刷新他們的知識或以此為基礎來快速檢查他們的想法。無論哪種方式，我希望這些代碼都會幫助每個人參加深刻生成建模的迷人旅程！

要求

在所有示例中，我們都使用了：

• pytorch 1.7.0
• numpy 1.17.2
• matplotlib 3.1.1
• scikit-learn 0.21.3
• pytorch-model-summary 0.1.1
• jupyter 1.0.0

例子

所有實施的深層生成模型的示例均以Jupyter筆記本電腦提供。可以在以下文件夾中找到它們：

1. mog ：高斯與均衡組件或可訓練組件概率的混合物的示例。
2. arms ：具有因果卷積層和變壓器的因果卷積層的自迴旋模型的示例。
3. flows ：一個基於流的模型的示例，即帶有耦合層和排列層的RealnVP以及IDF（整數離散流）。
4. vaes ：（i）使用完全連接的層和標準高斯先驗的變量自動編碼器的示例，（ii）VAE的各種先驗的示例，（iii）層次vae的示例。
5. ddgms ：使用具有固定變量和通過MLP參數參數的反向擴散的高斯正向擴散的基於擴散的深生成模型的示例。
6. sbgms ：（i）使用得分匹配方法和基於MLP的得分模型的得分模型的示例，（ii）由MLP參數化的基於SDE的基於SDE的擴散模型的示例，（iii）由MLP參數化的條件流量匹配模型的示例。
7. hybrid_modeling ：使用完全連接的層和IDF的混合模型的示例。
8. ebms ：由MLP參數化的基於能量的模型的示例。
9. gans ：由MLP參數參數的gan的示例。
10. neural_compression ：將深層生成建模應用於圖像神經壓縮的一個示例。
11. llms ：一個基於解碼器的變壓器的示例（LLM；在這裡我們稱之為teenygpt。

引用

如果您以任何方式使用此代碼，請引用我的書“深層生成建模”來參考它：

• APA樣式：

 Tomczak, J. M. (2024). Deep Generative Modeling. Springer Cham

• Bibtex：

 @book{tomczak2024deep,
  title={Deep Generative Modeling},
  author={Tomczak, Jakub M},
  publisher={Springer Cham},
  year={2024}
}