intro_dgm

“深入生成建模”：介绍性示例

该存储库包含“深层生成建模”一书的深层生成模型的示例：

1. 高斯（MOGS）的混合物：高斯人的混合物
2. 自回旋模型（ARM）：用因果卷积和变形金刚参数的手臂
3. 基于流的模型（流）：RealnVP和IDF（整数离散流）
4. 变性自动编码器（VAE）：平原和各种先验，层次vae
5. 基于扩散的深层生成模型（DDGM）：高斯正向扩散
6. 基于分数的生成模型（SBGM）：得分匹配，基于得分的生成模型，（条件）流量匹配
7. 混合建模
8. 基于能量的模型
9. 生成对抗网络（GAN）
10. 神经压缩，具有深层生成建模
11. 大语言模型（LLM）

这些例子看起来可能过于简单，但这就是重点！我的想法是，每个人都可以遵循代码的每一行，并在几分钟内几乎在任何笔记本电脑或计算机上运行实验。我的目标是鼓励那些新手理解和使用深层生成模型的人。另一方面，更高级的用户可以刷新他们的知识或以此为基础来快速检查他们的想法。无论哪种方式，我希望这些代码都会帮助每个人参加深刻生成建模的迷人旅程！

要求

在所有示例中，我们都使用了：

• pytorch 1.7.0
• numpy 1.17.2
• matplotlib 3.1.1
• scikit-learn 0.21.3
• pytorch-model-summary 0.1.1
• jupyter 1.0.0

例子

所有实施的深层生成模型的示例均以Jupyter笔记本电脑提供。可以在以下文件夹中找到它们：

1. mog ：高斯与均衡组件或可训练组件概率的混合物的示例。
2. arms ：具有因果卷积层和变压器的因果卷积层的自回旋模型的示例。
3. flows ：一个基于流的模型的示例，即带有耦合层和排列层的RealnVP以及IDF（整数离散流）。
4. vaes ：（i）使用完全连接的层和标准高斯先验的变量自动编码器的示例，（ii）VAE的各种先验的示例，（iii）层次vae的示例。
5. ddgms ：使用具有固定变量和通过MLP参数参数的反向扩散的高斯正向扩散的基于扩散的深生成模型的示例。
6. sbgms ：（i）使用得分匹配方法和基于MLP的得分模型的得分模型的示例，（ii）由MLP参数化的基于SDE的基于SDE的扩散模型的示例，（iii）由MLP参数化的条件流量匹配模型的示例。
7. hybrid_modeling ：使用完全连接的层和IDF的混合模型的示例。
8. ebms ：由MLP参数化的基于能量的模型的示例。
9. gans ：由MLP参数参数的gan的示例。
10. neural_compression ：将深层生成建模应用于图像神经压缩的一个示例。
11. llms ：一个基于解码器的变压器的示例（LLM；在这里我们称之为teenygpt。

引用

如果您以任何方式使用此代码，请引用我的书“深层生成建模”来参考它：

• APA样式：

 Tomczak, J. M. (2024). Deep Generative Modeling. Springer Cham

• Bibtex：

 @book{tomczak2024deep,
  title={Deep Generative Modeling},
  author={Tomczak, Jakub M},
  publisher={Springer Cham},
  year={2024}
}