UniDiffusion 다운로드 - UniDiffusion 소스 코드 다운로드

UniDiffusion

AI 소스 코드

1.0.0

다운로드

단점

확산 모델의 Uni 구절을 Uni Fied 워크 플로우로 탐색하십시오.

소개

워크 플로

단일 확산은 디퓨저를 기반으로 한 최첨단 교육 및 추론 알고리즘을 제공하는 도구 상자입니다. 단일 확산은 안정적인 확산의 훈련을 깊이 사용자 정의하려는 연구원과 사용자를 대상으로합니다. 이 코드 저장소가 향후 연구 및 응용 프로그램 확장에 대한 탁월한 지원을 제공 할 수 있기를 바랍니다.

다음을 구현하고 싶다면 불쾌감을 느끼십시오.

cross attention (또는 convolution / feedforward / ...) 층 만 훈련하십시오.
다른 레이어에 대해 다른 lr / weight decay / ...을 설정하십시오.
다른 층에 PEFT/PETL 방법을 사용하거나 지원하고 쉽게 병합 할 수 있습니다.
UNET, VAE, Text_encoder를 포함하여 모든 매개 변수를 안정적인 확산으로 훈련시키고 자동으로 저장 및로드하십시오.

참고 : 단순화는 여전히 개발 중입니다. 일부 모듈은 다른 코드 리포지토리에서 빌려 왔으며 아직 테스트되지 않았습니다. 특히 구성 시스템에서 기본적으로 활성화되지 않은 구성 요소. 우리는이 프로젝트를 개선하기 위해 열심히 노력하고 있습니다.

특징

모듈 식 디자인 . 단일 확산은 모듈 식 아키텍처로 설계되었습니다. 모듈 식 디자인을 사용하면 새로운 방법을 쉽게 구현할 수 있습니다.
구성 시스템 . 보다 유연한 구문 및 클리너 구성 파일을위한 LazyConfig 시스템.
사용하기 쉽습니다 .
- 분산 교육 : 가속을 사용하여 모든 분산 교육 환경을 지원합니다.
- 실험 추적기 : WANDB를 사용하여 모든 교육 정보를 기록합니다.
- 분산 평가 : 훈련 중 ✅fid, ✅is, 클립 점수 평가

통합 교육 워크 플로우

불분명하게 모든 훈련 방법은 세 가지 차원으로 분해됩니다.

학습 가능한 매개 변수 : 어떤 레이어 또는 어떤 모듈이 업데이트 될 것인지.
PEFT/PETL 방법 : 업데이트하는 방법. 예를 들어, Finetune, 저급 적응, 어댑터 등
훈련 과정 : XTI와 같이 확장 될 수있는 확산 디포 디노 이징 기본값.

강력한 구성 시스템으로 통합 교육 파이프 라인을 수행 할 수 있습니다.

다른 코드베이스의 교육 워크 플로의 차이에 대한 예.

다음은 간단한 예입니다. 디퓨저에서는 text-to-image finetune 및 dreambooth 와 같은 교육을 교육합니다.

python train_dreambooth.py --arg ......
python train_finetune.py --arg ......

그리고 일부 방법을 결합하거나 조정하는 것은 어렵습니다 (예 : Dreambooth 중에는 교차 교육 만).

Unidiffusion에서는 구성 파일에서 자체 교육 인수를 쉽게 설계 할 수 있습니다.

 # text-to-image finetune
unet . training_args = { '' : { 'mode' : 'finetune' }}
# text-to-image finetune with lora
unet . training_args = { '' : { 'mode' : 'lora' }}
# update cross attention with lora
unet . training_args = { 'attn2' : { 'mode' : 'lora' }}

# dreambooth
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True }}
# dreambooth with small lr for text-encoder
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True , 'optim_kwargs' : { 'lr' : 1e-6 }}}

그런 다음 실행됩니다

accelerate launch scripts/train.py --config-file /path/to/your/config

이를 통해 메소드의 쉽게 사용자 정의, 조합 및 향상을 촉진하면 구성 파일을 통한 메소드 간의 유사성과 차이를 비교할 수 있습니다.

모듈 선택을위한 정기적 인 일치

회전하면 모듈 선택을위한 정기적 인 일치 시스템을 제공합니다. 정기적으로 일치하여 모듈을 선택할 수 있습니다. 자세한 내용은 모듈 선택에 대해서는 정기적 인 일치를 참조하십시오.

PEFT/PETL 방법에 대한 강력한 지원

우리는 PEFT/PETL 방법에 대한 강력한 지원을 제공합니다. 자세한 내용은 PEFT/PETL 방법을 참조하십시오.

? 설치

전제 조건을 설치하십시오

파이썬 3.10
Pytorch 2.0 + Cuda11.8
CUDNN

요구 사항을 설치하십시오

pip install -e requirements.txt

가속 및 wandb 구성

accelerate config
wandb login

? 시작하기

자세한 내용은 열차 텍스트 반전 / Dreambooth / Lora / Text-to-Image Finetune을 참조하십시오.

accelerate launch scrits/common.py --config-file configs/train/text_to_image_finetune.py

자세한 데모

텍스트 반전 / 드림 부스 / lora / 텍스트-투 이미지 결승.
교육 과정을 사용자 정의하십시오.

[수행] 튜토리얼

[TODO] 새로운 데이터 세트 지원.
[TODO] 새로운 PETL 방법을 지원합니다.
[TODO] 새로운 교육 파이프 라인 지원.

? 모델 동물원

지원되는 개인화 방법

참고 : 개인화 방법은 훈련 가능한 매개 변수, PEFT/PETL 방법 및 단일 연합에서의 훈련 프로세스에서 분해됩니다. 자세한 내용은 구성 파일을 참조하십시오.

지원되는 PEFT/PETL 방법

FINETUNE
로라
repadapter

TODO

앞으로 다음과 같은 기능을 추가 할 예정입니다. 우리는 또한 지역 사회의 기여를 환영합니다. 새로운 기능에 대한 아이디어를 논의하기 위해 요청을 가져 오거나 문제를 열어주십시오.

방법 :
- 시맨틱 사전의 보존 (Dreambooth).
- XTI 및 사용자 정의 확산.
- repadapter와 lycoris.
특징 :
- PEFT를 원래 모델로 병합하십시오.
- 모델을 디퓨저 및 WebUI 형식으로 변환하십시오.
- Webui 확장.

기부금

우리는 오픈 소스 커뮤니티의 기여를 환영합니다!

인정하다

확산 트레이너는 디퓨저를 기반으로 구축됩니다.
많은 모듈 디자인이 Detectron2 및 Detrex에서 빌려 왔습니다.
일부 방법 구현은 디퓨저 및 리코리스에서 빌려줍니다.

소환

연구 에서이 도구 상자를 사용하거나 여기에 게시 된 기준 결과를 참조하려면 다음 Bibtex 항목을 사용하십시오.

불분명 한 인용 :

 @misc { pu2022diffusion ,
  author =       { Pu Cao, Tianrui Huang, Lu Yang, Qing Song } ,
  title =        { UniDiffusion } ,
  howpublished = { url{https://github.com/PRIV-Creation/UniDiffusion} } ,
  year =         { 2023 }
}