sd lora trainer

훈련자

이 트레이너는 Eden 팀에 의해 개발되었으며 앱 에서 호스팅 된 트레이너 버전을 시도해 볼 수 있습니다. 안정적인 확산 위에 완전한 결합 및 훈련 LORA 모듈에 사용할 수있는 고도로 최적화 된 트레이너입니다. SDV15 및 SDXL 모두에서 작동하는 단일 교육 스크립트 및 손실 모듈을 사용합니다!

이 트레이너의 출력은 Comfyui 및 Auto111과 완전히 호환됩니다. 여기 문서를 참조하십시오. 교육에 대한 전체 가이드는 문서 에서 찾을 수 있습니다.

훈련 이미지 :

훈련 된 LORA와 함께 IMG를 생성합니다.

트레이너는 4 가지 방법으로 실행할 수 있습니다.

• 당사 웹 사이트에서 호스팅 된 서비스로
• 복제를 통한 호스팅 서비스로
• Comfyui 노드로
• 독립형 파이썬 스크립트로

Comfyui 사용 :

• 트레이너를 실행하고 추론하는 방법에 대한 워크 플로 예 /ComfyUI_workflows 에서 찾을 수 있습니다.
• 중요 하게도이 트레이너는 ChatGpt 호출을 사용하여 자동 생성 된 프롬프트를 정리하고 훈련 가능한 토큰을 주입합니다. 이것은 단일 줄의 루트에 Openai 키를 포함하는 .env 파일이있는 경우에만 작동합니다. OPENAI_API_KEY=your_key_string 이것없이 작동하지만, 결과를 설정하는 경우, '대상'과 '대상'을 설정하면 결과가 더 좋습니다.

트레이너는 3 가지 기본 모드를 지원합니다.

• 스타일 : 이미지 모음의 미적 스타일을 배우는 데 사용됩니다.
• 얼굴 : 특정 얼굴을 배우는 데 사용됩니다 (인간, 성격, ...).
• 개체 : 훈련 이미지에 특징이있는 특정 객체 또는 물건을 배웁니다.

스타일 훈련 예 :

설정

모든 종속성을 사용하여 설치하십시오

pip install -r requirements.txt

그런 다음 간단히 실행할 수 있습니다.

python main.py train_configs/training_args.json 훈련 작업을 시작합니다.

training_args.json 내부의 인수를 조정하여 맞춤형 교육 작업을 설정하십시오.

---

COG (~ docker image)를 사용하여 복제를 통해 이것을 실행할 수도 있습니다.

1. 복제 'COG'설치 :

 sudo curl -o /usr/local/bin/cog -L "https://github.com/replicate/cog/releases/latest/download/cog_$(uname -s)_$(uname -m)"
sudo chmod +x /usr/local/bin/cog

2. cog build 로 이미지를 작성하십시오
3. sh cog_test_train.sh 로 훈련을 실행하십시오
4. cog run /bin/bash 로 컨테이너로 들어갈 수도 있습니다.

완전한 UNET FINETUNING

이 트레이너를 기본 파이썬에서 실행할 때는 python main.py train_configs/full_finetuning_example.json 과 같은 것을 사용하여 완전한 UNET Finetuning을 수행 할 수도 있습니다.

Todo 's

버그 :

• SD15에 대한 순수한 텍스트 반전은 잘 작동하지 않는 것 같습니다 ... (그러나 SDXL에게는 놀랍도록 잘 작동합니다 ...) ---> 누군가 누군가 이것을 알아낼 수 있다면 영원히 감사 할 것입니다!
• Comfyui 노드를 통해 훈련이 3 배 느려지는 것과 Python 작업으로 Main.py를 실행하는 이유를 알아 봅니다.?
• DataLoader에서 Analspect_ratio Bucketing 수정 (https://github.com/kohya-ss/sd-scripts 참조)

더 큰 개선 :

• 플럭스 / SD3 통합
• 멀티 컨셉 훈련 추가 (단일 로라로 훈련 된 여러 토큰으로 표현되는 여러 가지)
• 더 강력한 토큰 정규화 추가 (예 : 유명인 기준)
• 관류 아이디어 구현 (슈퍼 클래스로 키 잠금) : https://research.nvidia.com/labs/par/perfusion/
• 프롬프트 구현 : https://prompt-aligned.github.io/