intro_dgm

"Deep Generative Modeling": Einführende Beispiele

Dieses Repository enthält Beispiele für tiefe generative Modelle für das Buch "Deep Generative Modeling":

1. Mischung von Gaußschen (Mogs): eine Mischung von Gaußschen
2. Autoregressive Modelle (Arme): Waffen mit kausalen Faltungen und Transformatoren parametrisiert
3. Flow-basierte Modelle (Flows): RealNVP und IDFs (Integer Discrete Flows)
4. Variations-Auto-Encoder (Vaes): ein einfaches Vae und verschiedene Priors, eine hierarchische VAE
5. Diffusionsbasierte tiefe generative Modelle (DDGMs): Eine Gaußsche Vorwärtsdiffusion
6. Score-basierte generative Modelle (SBGMs): Score-Matching, Score-basierte Generative Modelle, (bedingte) Flussabschnitt
7. Hybridmodellierung
8. Energiebasierte Modelle
9. Generative kontroverse Netzwerke (Gans)
10. Neuronale Komprimierung mit tief generativer Modellierung
11. Großspracher Modelle (LLMs)

Die Beispiele mögen übermäßig übermäßig aussehen, aber das ist der Punkt! Meine Idee ist, dass jeder in der Lage ist, jede Zeile des Codes zu folgen und die Experimente innerhalb weniger Minuten auf fast jedem Laptop oder Computer auszuführen. Mein Ziel ist es, Menschen zu ermutigen, die neu sind, um mit tiefen generativen Modellen zu verstehen und mit ihnen zu spielen. Fortgeschrittene Benutzer dagegen könnten ihr Wissen aktualisieren oder darüber aufbauen, um ihre Ideen schnell zu überprüfen. In jedem Fall hoffe ich, dass der Code allen hilft, sich einer faszinierenden Reise mit Deep Generative Modeling anzuschließen!

Anforderungen

In allen Beispielen haben wir verwendet:

• pytorch 1.7.0
• numpy 1.17.2
• matplotlib 3.1.1
• scikit-learn 0.21.3
• pytorch-model-summary 0.1.1
• jupyter 1.0.0

Beispiele

Alle Beispiele für implementierte tiefe generative Modelle werden als Jupyter -Notizbücher bereitgestellt. Sie können in den folgenden Ordnern finden:

1. mog : Ein Beispiel für eine Mischung von Gaußschen mit Ausrüstungskomponenten oder trainierbaren Komponentenwahrscheinlichkeiten.
2. arms : Ein Beispiel für ein autoregressives Modell mit einer kausalen Faltungsschicht in 1D und Transformatoren.
3. flows : Ein Beispiel für ein fließbasiertes Modell, nämlich realNVP mit Kopplungsschichten und Permutationsschichten und IDFs (Integer Discrete Flows).
4. vaes : (i) Ein Beispiel für einen variativen Auto-Codcoder unter Verwendung vollständig vernetzter Schichten und einem standardmäßigen Gaußschen Prior, (ii) ein Beispiel für verschiedene Priors für Vaes, (iii) Ein Beispiel für eine hierarchische VAE.
5. ddgms : Ein Beispiel für ein diffusionsbasiertes tiefes Generativmodell unter Verwendung einer Gaußschen Vorwärtsdiffusion mit einer festen Varize und einer durch ein MLP parametrisierten Reverse-Diffusion.
6. sbgms : (i) Ein Beispiel für ein Score-Modell unter Verwendung der Score Matching-Methode und eines MLP-basierten Score-Modells, (ii) Ein Beispiel für ein von einem MLP parametrisierter SDE-basierter Diffusionsmodell, (iii) Ein Beispiel für ein von einem MLP parametrisierter Modell für bedingte Flussanpassung.
7. hybrid_modeling : Ein Beispiel für ein Hybridmodell unter Verwendung vollständig vernetzter Schichten und IDFs.
8. ebms : Ein Beispiel für ein energiebasiertes Modell, das von einem MLP parametriert ist.
9. gans : Ein Beispiel für ein durch MLPs parametrisierter GaN.
10. neural_compression : Ein Beispiel für die Anwendung einer tiefen generativen Modellierung auf Bildneuralkomprimierung.
11. llms : Ein Beispiel für einen Decoder-basierten Transformator (ein LLM; hier nennen wir es Teenygpt.

Zitat

Wenn Sie diesen Code in irgendeiner Weise verwenden, beziehen Sie sich bitte darauf, indem Sie mein Buch "Deep Generative Modeling" zitieren:

• APA -Stil:

 Tomczak, J. M. (2024). Deep Generative Modeling. Springer Cham

• Bibtex:

 @book{tomczak2024deep,
  title={Deep Generative Modeling},
  author={Tomczak, Jakub M},
  publisher={Springer Cham},
  year={2024}
}