UniDiffusion

Unidiffusion

Перейдите в универ -стих диффузионных моделей с универсальным рабочим процессом.

Введение

Unidiffusion-это набор инструментов, который обеспечивает современные алгоритмы обучения и вывода, основанные на диффузорах. Unidiffusion предназначен для исследователей и пользователей, которые хотят глубоко настроить обучение стабильной диффузии. Мы надеемся, что этот репозиторий кода сможет обеспечить отличную поддержку для будущих исследований и расширений приложений.

Если вы также хотите реализовать следующие вещи, повеселитесь с Unidiffusion

• Тренируйте только cross attention (или convolution / feedforward / ...) слой.
• Установите разные lr / weight decay / ... для разных слоев.
• Использование или поддержку методов PEFT/PETL для разных слоев и легко их объединение, например, Conetune The Cellosing Layer и обновите уровень внимания с помощью LORA.
• Обучите весь параметр в стабильную диффузию, включая UNET, VAE, TEXT_ENCODER и автоматически сохранять и загружать.

ПРИМЕЧАНИЕ: Unidiffusion все еще находится в стадии разработки. Некоторые модули заимствованы из других репозитории кода и еще не были протестированы, особенно компоненты, которые не включены по умолчанию в системе конфигурации. Мы усердно работаем, чтобы улучшить этот проект.

Функции

• Модульный дизайн . Unidiffusion разработан с модульной архитектурой. Модульная конструкция обеспечивает легкую реализацию новых методов.
• Конфигурационная система . Lazyconfig System для более гибкого синтаксиса и чистых файлов конфигурации.
• Простой в использовании .
  • Распределенное обучение : использование ускорения для поддержки всей распределенной учебной среды.
  • Трекер эксперимента : использование Wandb для регистрации всей учебной информации.
  • Распределенная оценка : оценить ✅fid, ✅is, оценка клипа во время обучения

Объединенный учебный рабочий процесс

В Unidiffusion все методы обучения разлагаются на три измерения

• Учебные параметры : какой слой или какой модуль будет обновлен.
• Метод PEFT/PETL : как их обновить. Например, Finetune, низкодовольная адаптация, адаптер и т. Д.
• Процесс обучения : по умолчанию до распределения диффузии, который может быть расширен, как XTI.

Это позволяет нам проводить унифицированный тренировочный трубопровод с сильной системой конфигурации.

Пример различий в учебном рабочем процессе из других кодовых баз.

Вот простой пример. В диффузорах обучение text-to-image finetune и dreambooth Like:

python train_dreambooth.py --arg ......
python train_finetune.py --arg ......

и комбинирование или корректировка некоторых методов затруднено (например, обучение только к перекрестному вниманию во время Dreambooth).

В Unidiffusion мы можем легко разработать наши собственные учебные аргументы в файле конфигурации:

 # text-to-image finetune
unet . training_args = { '' : { 'mode' : 'finetune' }}
# text-to-image finetune with lora
unet . training_args = { '' : { 'mode' : 'lora' }}
# update cross attention with lora
unet . training_args = { 'attn2' : { 'mode' : 'lora' }}

# dreambooth
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True }}
# dreambooth with small lr for text-encoder
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True , 'optim_kwargs' : { 'lr' : 1e-6 }}}

а затем беги

accelerate launch scripts/train.py --config-file /path/to/your/config

Это облегчает более легкую настройку, комбинацию и улучшение методов, а также позволяет сравнивать сходства и различия между методами с помощью файлов конфигурации.

Регулярное соответствие для выбора модуля

В Unidiffusion мы предоставляем регулярную систему сопоставления для выбора модуля. Это позволяет нам выбирать модули при регулярном сопоставлении. См. Регулярное соответствие для выбора модуля для получения более подробной информации.

Мощная поддержка методов PEFT/PETL

Мы оказываем мощную поддержку методам PEFT/PETL. См. Методы PEFT/PETL для более подробной информации.

? Установка

1. Установите предпосылки

• Python 3.10
• Pytorch 2.0 + cuda11.8
• Cudnn

2. Установить требования

pip install -e requirements.txt

3. Настройка Accelerate и Wandb

accelerate config
wandb login

? Начиная

См. Текстовую инверсию поезда / Dreambooth / Lora / Text-To-Image Finetune для деталей.

accelerate launch scrits/common.py --config-file configs/train/text_to_image_finetune.py

Подробная демонстрация

1. Обучить текстовую инверсию / Dreambooth / lora / text-to-image finetune.
2. Настройте процесс обучения.

[Делает] Учебное пособие

1. [TODO] Поддержка нового набора данных.
2. [TODO] Поддержка нового метода PETL.
3. [TODO] Поддержка нового тренировочного конвейера.

? Модельный зоопарк

Поддерживаемые методы персонализации

• Текст-к изображению Cenetune
• Dreambooth
• Лора
• текстовая инверсия
• Xti
• Пользовательская диффузия

Примечание. Методы персонализации разлагаются в тренировочных параметрах, методах PEFT/PETL и процессе обучения в универфузии. См. Файл конфигурации для получения более подробной информации.

Поддерживаемые методы PEFT/PETL

• тонкая настройка
• Лора
• Репедаптер

Тодо

Мы собираемся добавить следующие функции в будущем. Мы также приветствуем вклад сообщества. Не стесняйтесь выносить запросы или открывать проблему, чтобы обсудить идеи для новых функций.

• Методы :
  • Сохранение классовых семантических априоров (Dreambooth).
  • Xti & Custom Diffusion.
  • REPADAPTER и LYCORIS.
• Функции :
  • Объединить PEFT в оригинальную модель.
  • Преобразовать модель в диффузоры и формат WebUI.
  • Расширение WebUI.

Вклад

Мы приветствуем вклад сообщества с открытым исходным кодом!

Сознавать

• Диффузионный тренер построен на основе диффузоров.
• Много дизайна модуля заимствовано у Detectron2 и DetRex.
• Некоторые реализации методов заимствованы у диффузоров и ликорисов.

Цитирование

Если вы используете этот набор инструментов в своем исследовании или хотите ссылаться на базовые результаты, опубликованные здесь, используйте следующие записи Bibtex:

• Ссылаясь на универфузию :

 @misc { pu2022diffusion ,
  author =       { Pu Cao, Tianrui Huang, Lu Yang, Qing Song } ,
  title =        { UniDiffusion } ,
  howpublished = { url{https://github.com/PRIV-Creation/UniDiffusion} } ,
  year =         { 2023 }
}

Цитирование поддерживает алгоритмы

Скоро