UniDiffusion

Unidiffusão

Navegue pelo versículo uni de modelos de difusão com fluxo de trabalho unido .

Introdução

A Unidiffusion é uma caixa de ferramentas que fornece algoritmos de treinamento e inferência de última geração, com base em difusores. A Unidiffusion visa pesquisadores e usuários que desejam personalizar profundamente o treinamento de difusão estável. Esperamos que este repositório de código possa fornecer excelente suporte para futuras extensões de pesquisa e aplicação.

Se você também deseja implementar as seguintes coisas, divirta -se com unidiffusion

• O trem apenas cross attention (ou convolution / feedforward / ...) camada.
• Defina Diferentes lr / weight decay / ... para Camadas Diferentes.
• Usando ou apoiando os métodos PEFT/PETL para diferentes camadas e mesclando facilmente, por exemplo, Finerune a camada de convolução e atualize a camada de atenção com o LORA.
• Treine todos os parâmetros em difusão estável, incluindo UNET, VAE, Text_Encoder e salve e carregam automaticamente.

Nota: A unidifusão ainda está em desenvolvimento. Alguns módulos são emprestados de outros repositórios de código e ainda não foram testados, especialmente os componentes que não são ativados por padrão no sistema de configuração. Estamos trabalhando duro para melhorar este projeto.

Características

• Design modular . A unidifusão é projetada com uma arquitetura modular. O design modular permite fácil implementação de novos métodos.
• Sistema de configuração . Sistema LazyConfig para obter arquivos de configuração mais flexíveis e mais limpos.
• Fácil de usar .
  • Treinamento distribuído : Usando acelerar para apoiar todo o ambiente de treinamento distribuído.
  • Rastreador de experimento : Usando o WANDB para registrar todas as informações de treinamento.
  • Avaliação distribuída : avaliar ✅fid, ✅is, pontuação de clipe durante o treinamento

Fluxo de trabalho de treinamento unificado

Na unidifusão, todos os métodos de treinamento são decompostos em três dimensões

• Parâmetros aprendidos : qual camada ou qual módulo será atualizado.
• Método PEFT/PETL : Como atualizá -los. Por exemplo, Finetune, adaptação de baixo rank, adaptador, etc.
• Processo de Treinamento : Padrão de denutiação de Difúia, que pode ser estendida como XTI.

Ele permite que realizemos um pipeline de treinamento unificado com um sistema de configuração forte.

Exemplo de diferença no fluxo de trabalho de treinamento de outras bases de código.

Aqui está um exemplo simples. Nos difusores, o treinamento text-to-image finetune e dreambooth como:

python train_dreambooth.py --arg ......
python train_finetune.py --arg ......

E combinar ou ajustar alguns dos métodos é difícil (por exemplo, apenas o treinamento atravessa a atenção durante o Dreambooth).

Na Unidiffusion, podemos facilmente projetar nossos próprios argumentos de treinamento no arquivo de configuração:

 # text-to-image finetune
unet . training_args = { '' : { 'mode' : 'finetune' }}
# text-to-image finetune with lora
unet . training_args = { '' : { 'mode' : 'lora' }}
# update cross attention with lora
unet . training_args = { 'attn2' : { 'mode' : 'lora' }}

# dreambooth
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True }}
# dreambooth with small lr for text-encoder
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True , 'optim_kwargs' : { 'lr' : 1e-6 }}}

e depois corra

accelerate launch scripts/train.py --config-file /path/to/your/config

Isso facilita a personalização, a combinação e o aprimoramento mais fácil dos métodos e também permite a comparação de semelhanças e diferenças entre os métodos por meio de arquivos de configuração.

Combinação regular para seleção de módulos

Na Unidiffusion, fornecemos um sistema de correspondência regular para seleção de módulos. Ele nos permite selecionar módulos por correspondência regular. Consulte a correspondência regular para seleção de módulos para obter mais detalhes.

Suporte poderoso para métodos PEFT/PETL

Fornecemos um suporte poderoso aos métodos PEFT/PETL. Consulte os métodos PEFT/PETL para obter mais detalhes.

? Instalação

1. Instale pré -requisitos

• Python 3.10
• Pytorch 2.0 + Cuda11.8
• Cudnn

2. Instale requisitos

pip install -e requirements.txt

3. Configurando acelerar e wandb

accelerate config
wandb login

? Começando

Consulte o trem Inversão textual / Dreambooth / Lora / Text-to-Image Finetune para obter detalhes.

accelerate launch scrits/common.py --config-file configs/train/text_to_image_finetune.py

Demonstração detalhada

1. Treine Inversão textual / Dreambooth / Lora / Text-to-Image Finetune.
2. Personalize seu processo de treinamento.

[Fazendo] tutorial

1. [TODO] Apoiando um novo conjunto de dados.
2. [TODO] apoiando o novo método PETL.
3. [TODO] apoiando o novo pipeline de treinamento.

? Modelo Zoológico

Métodos de personalização suportados

• Finetune de texto para imagem
• Dreambooth
• Lora
• inversão textual
• Xti
• Difusão personalizada

Nota: Os métodos de personalização são decompõe em parâmetros treináveis, métodos PEFT/PETL e processo de treinamento em unidifusão. Consulte o arquivo de configuração para obter mais detalhes.

Métodos PEFT/PETL suportados

• afinar
• Lora
• Repadapter

PENDÊNCIA

Vamos adicionar os seguintes recursos no futuro. Também recebemos contribuições da comunidade. Sinta -se à vontade para obter solicitações ou abrir um problema para discutir idéias para novos recursos.

• Métodos :
  • Preservação de Priores Semânticos de Classe (Dreambooth).
  • XTI e difusão personalizada.
  • Repadapter e Lycoris.
• Características :
  • Mesclar peft para o modelo original.
  • Converta o modelo em difusores e formato Webui.
  • Extensão Webui.

Contribuição

Congratulamo-nos com contribuições da comunidade de código aberto!

Reconhecer

• O instrutor de difusão é construído com base em difusores.
• Muito design do módulo é emprestado da Detectron2 e Detrex.
• Algumas implementações de métodos são emprestadas de difusores e lycoris.

Citação

Se você usar esta caixa de ferramentas em sua pesquisa ou desejar consultar os resultados da linha de base publicados aqui, use as seguintes entradas Bibtex:

• Citando unidiffusion :

 @misc { pu2022diffusion ,
  author =       { Pu Cao, Tianrui Huang, Lu Yang, Qing Song } ,
  title =        { UniDiffusion } ,
  howpublished = { url{https://github.com/PRIV-Creation/UniDiffusion} } ,
  year =         { 2023 }
}

Algoritmos suportados por citação

Vindo em breve