intro_dgm

"Modelagem generativa profunda": exemplos introdutórios

Este repositório contém exemplos de modelos generativos profundos para o livro "Modelagem generativa profunda":

1. Mistura de gaussianos (MOGs): uma mistura de gaussianos
2. Modelos autoregressivos (ARMS): Armas parametrizadas com Congrestonionas e Transformers causais
3. Modelos baseados em fluxo (fluxos): RealNVP e IDFs (fluxos inteiros discretos)
4. Automotores de auto-codificadores variacionais (VAEs): um Vae simples e vários anteriores, um VAE hierárquico
5. Modelos generativos profundos baseados em difusão (DDGMs): uma difusão para a frente gaussiana
6. Modelos generativos baseados em pontuação (SBGMS): correspondência de pontuação, modelos generativos baseados em pontuação, correspondência de fluxo (condicional)
7. Modelagem híbrida
8. Modelos baseados em energia
9. Redes adversárias generativas (GANS)
10. Compressão neural com modelagem generativa profunda
11. Modelos de idiomas grandes (LLMS)

Os exemplos podem parecer simplistas, mas esse é o ponto! Minha idéia é que todos possam seguir todas as linhas do código e executar os experimentos em alguns minutos em quase qualquer laptop ou computador. Meu objetivo é incentivar as pessoas que são novas para entender e brincar com modelos generativos profundos. Usuários mais avançados, por outro lado, podem atualizar seus conhecimentos ou desenvolver isso para verificar rapidamente suas idéias. De qualquer forma, espero que o código ajude a todos a participar de uma jornada fascinante sobre modelagem generativa profunda!

Requisitos

Em todos os exemplos, usamos:

• pytorch 1.7.0
• numpy 1.17.2
• matplotlib 3.1.1
• scikit-learn 0.21.3
• pytorch-model-summary 0.1.1
• jupyter 1.0.0

Exemplos

Todos os exemplos de modelos generativos profundos implementados são fornecidos como notebooks Jupyter. Eles podem ser encontrados nas seguintes pastas:

1. mog : Um exemplo de uma mistura de gaussianos com componentes equipado ou probabilidades de componentes treináveis.
2. arms : Um exemplo de modelo autoregressivo com uma camada de convolução causal em 1D e transformadores.
3. flows : um exemplo de modelo baseado em fluxo, a saber, realnvp com camadas de acoplamento e camadas de permutação e IDFs (fluxos inteiros discretos).
4. vaes : (i) Um exemplo de um codificador automático variacional usando camadas totalmente conectadas e um prior gaussiano padrão, (ii) um exemplo de vários anteriores para Vaes, (iii) um exemplo de um VAE hierárquico.
5. ddgms : Um exemplo de um modelo generativo profundo baseado em difusão usando uma difusão direta gaussiana com uma variace fixa e uma difusão reversa parametrizada por um MLP.
6. sbgms : (i) Um exemplo de modelo de pontuação usando o método de correspondência de pontuação e um modelo de pontuação baseado em MLP, (ii) um exemplo de um modelo de difusão baseado em SDE parametrizado por um MLP, (iii) um exemplo de um modelo de correspondência de fluxo condicional parametrizado por um MLP.
7. hybrid_modeling : um exemplo de um modelo híbrido usando camadas e IDFs totalmente conectados.
8. ebms : um exemplo de um modelo baseado em energia parametrizado por um MLP.
9. gans : Um exemplo de um GaN parametrizado por MLPs.
10. neural_compression : um exemplo de aplicação de modelagem generativa profunda à compressão neural da imagem.
11. llms : Um exemplo de um transformador baseado em decodificador (um LLM; aqui chamamos de adolescente.

Citação

Se você usar este código de alguma forma, consulte -o citando meu livro "Deep Gerative Modeling":

• Estilo Apa:

 Tomczak, J. M. (2024). Deep Generative Modeling. Springer Cham

• Bibtex:

 @book{tomczak2024deep,
  title={Deep Generative Modeling},
  author={Tomczak, Jakub M},
  publisher={Springer Cham},
  year={2024}
}