intro_dgm

«Глубокое генеративное моделирование»: вводные примеры

Этот репозиторий содержит примеры глубоких генеративных моделей для книги «глубокое генеративное моделирование»:

1. Смесь гауссов (Mogs): смесь гауссовцев
2. Авторегрессивные модели (оружие): вооружения, параметризованные с причиной свертки и трансформаторов
3. Модели на основе потока (потоки): realnvp и IDFS (целочисленные дискретные потоки)
4. Вариационные автообороды (VAE): простые VAE и различные априоры, иерархические Vae
5. Диффузионные глубокие генеративные модели (DDGMS): гауссовая прямая диффузия
6. Генеративные модели на основе баллов (SBGMS): соответствие оценки, генеративные модели на основе баллов, (условное) Сопоставление потока
7. Гибридное моделирование
8. Энергетические модели
9. Генеративные состязательные сети (Gans)
10. Нейронное сжатие с глубоким генеративным моделированием
11. Большие языковые модели (LLMS)

Примеры могут выглядеть упростит, но в этом дело! Моя идея заключается в том, что каждый может следовать каждой строке кода и запускать эксперименты в течение нескольких минут практически на любом ноутбуке или компьютере. Моя цель - поощрять людей, которые являются новичками, чтобы понять и играть с глубокими генеративными моделями. Более продвинутые пользователи, с другой стороны, могли бы обновить свои знания или построить это, чтобы быстро проверить свои идеи. В любом случае, я надеюсь, что код поможет всем присоединиться к увлекательному путешествию по глубокому генеративному моделированию!

Требования

Во всех примерах мы использовали:

• pytorch 1.7.0
• numpy 1.17.2
• matplotlib 3.1.1
• scikit-learn 0.21.3
• pytorch-model-summary 0.1.1
• jupyter 1.0.0

Примеры

Все примеры реализованных глубоких генеративных моделей предоставляются в качестве ноутбуков Jupyter. Их можно найти в следующих папках:

1. mog : пример смеси гауссов с экологически чистым компонентами или возможностями обучения.
2. arms : пример авторегрессии модели с причинным слоем свертки в 1D и трансформаторах.
3. flows : пример модели на основе потока, а именно, realNVP с слоями связи и слоями перестановки, а также IDF (целочисленные дискретные потоки).
4. vaes : (i) пример вариационного автоободера с использованием полностью подключенных слоев и стандартного гауссового ранее, (ii) пример различных априоров для VAES, (iii) пример иерархического VAE.
5. ddgms : пример глубокой генеративной модели на основе диффузии с использованием гауссовой прямой диффузии с фиксированной вариацией и обратной диффузии, параметризованной MLP.
6. sbgms : (i) пример модели баллов с использованием метода соответствия баллов и модели баллов на основе MLP, (ii) пример модели диффузии на основе SDE, параметризованной MLP, (iii) примером модели условного потока, параметризованной MLP.
7. hybrid_modeling : пример гибридной модели с использованием полностью подключенных слоев и IDF.
8. ebms : пример модели на основе энергии, параметризованной MLP.
9. gans : пример GAN, параметризованный MLP.
10. neural_compression : пример применения глубокого генеративного моделирования к нейронному сжатию изображения.
11. llms : пример трансформатора на основе декодера (LLM; здесь мы называем это TeenyGpt.

Цитирование

Если вы используете этот код каким -либо образом, пожалуйста, обратитесь к нему, ссылаясь на мою книгу «глубокое генеративное моделирование»:

• Стиль APA:

 Tomczak, J. M. (2024). Deep Generative Modeling. Springer Cham

• Bibtex:

 @book{tomczak2024deep,
  title={Deep Generative Modeling},
  author={Tomczak, Jakub M},
  publisher={Springer Cham},
  year={2024}
}