intro_dgm

"Modelado generativo profundo": ejemplos introductorios

Este repositorio contiene ejemplos de modelos generativos profundos para el libro "modelado generativo profundo":

1. Mezcla de gaussianos (mogs): una mezcla de gaussianos
2. Modelos autorregresivos (brazos): brazos parametrizados con convoluciones causales y transformadores
3. Modelos basados ​​en flujo (flujos): RealNVP e IDFS (flujos discretos enteros)
4. Auto-codificadores variacionales (VAE): una vAe simple y varios antecedentes, un VAE jerárquico
5. Modelos generativos profundos basados ​​en difusión (DDGMS): una difusión gaussiana hacia adelante
6. Modelos generativos basados ​​en puntaje (SBGMS): coincidencia de puntaje, modelos generativos basados ​​en puntaje, coincidencia de flujo (condicional)
7. Modelado híbrido
8. Modelos basados ​​en energía
9. Redes adversas generativas (GANS)
10. Compresión neural con modelado generativo profundo
11. Modelos de idiomas grandes (LLM)

Los ejemplos pueden parecer demasiado simplistas, ¡pero ese es el punto! Mi idea es que todos puedan seguir cada línea del código y ejecutar los experimentos en un par de minutos en casi cualquier computadora portátil o computadora. Mi objetivo es alentar a las personas que son nuevas en comprender y jugar con modelos generativos profundos. Los usuarios más avanzados, por otro lado, podrían refrescar su conocimiento o construir sobre eso para verificar rápidamente sus ideas. De cualquier manera, ¡espero que el código ayude a todos a unirse a un viaje fascinante sobre el modelado generativo profundo!

Requisitos

En todos los ejemplos, usamos:

• pytorch 1.7.0
• numpy 1.17.2
• matplotlib 3.1.1
• scikit-learn 0.21.3
• pytorch-model-summary 0.1.1
• jupyter 1.0.0

Ejemplos

Todos los ejemplos de modelos generativos profundos implementados se proporcionan como cuadernos Jupyter. Se pueden encontrar en las siguientes carpetas:

1. mog : Un ejemplo de una mezcla de gaussianos con componentes equiprobables o probabilidades de componentes capacitables.
2. arms : un ejemplo de un modelo autorregresivo con una capa de convolución causal en 1D y transformadores.
3. flows : un ejemplo de un modelo basado en el flujo, a saber, RealNVP con capas de acoplamiento y capas de permutación, e IDF (flujos discretos enteros).
4. vaes : (i) Un ejemplo de un codificador automático variacional que usa capas totalmente conectadas y un prior gaussiano estándar, (ii) un ejemplo de varios prioridades para VAE, (iii) un ejemplo de una VAE jerárquica.
5. ddgms : un ejemplo de un modelo generativo profundo basado en difusión que utiliza una difusión gaussiana hacia adelante con una variación fija y una difusión inversa parametrizada por un MLP.
6. sbgms : (i) Un ejemplo de un modelo de puntaje utilizando el método de coincidencia de puntaje y un modelo de puntaje basado en MLP, (ii) un ejemplo de un modelo de difusión basado en SDE parametrizado por un MLP, (iii) un ejemplo de un modelo de coincidencia de flujo condicional parametrizado por un MLP.
7. hybrid_modeling : un ejemplo de un modelo híbrido que utiliza capas totalmente conectadas e IDF.
8. ebms : un ejemplo de un modelo basado en energía parametrizado por un MLP.
9. gans : un ejemplo de un GaN parametrizado por MLP.
10. neural_compression : un ejemplo de aplicar modelado generativo profundo a la compresión neural de imagen.
11. llms : Un ejemplo de un transformador basado en el decodificador (un LLM; aquí lo llamamos Teenygpt.

Citación

Si usa este código de alguna manera, consulte él citando mi libro "Modelado generativo profundo":

• Estilo APA:

 Tomczak, J. M. (2024). Deep Generative Modeling. Springer Cham

• Bibtex:

 @book{tomczak2024deep,
  title={Deep Generative Modeling},
  author={Tomczak, Jakub M},
  publisher={Springer Cham},
  year={2024}
}