sd lora trainer

Тренер

Этот тренер был разработан командой EDEN , вы можете попробовать нашу хостинную версию тренера в нашем приложении . Это высоко оптимизированный тренер, который можно использовать как для полного создания, так и для обучения модулей LORA поверх стабильной диффузии. Он использует единственный учебный сценарий и модуль потерь, который работает как для SDV15 , так и для SDXL !

Выходы этого тренера полностью совместимы с Comfyui и Auto111, см. Документацию здесь. Полное руководство по обучению можно найти в наших документах .

Обучающие изображения:

Сгенерировал IMG с обученной Лорой:

Тренер можно запустить 4 различными способами:

• В качестве размещенного сервиса на нашем сайте
• В качестве размещенного сервиса через репликацию
• как узел Comfyui
• Как автономный сценарий Python

Использование в Comfyui:

• Пример рабочих процессов для запуска тренера и сделать вывод с ним можно найти в /ComfyUI_workflows
• Важно отметить, что этот тренер использует призыв CHATGPT для очистки автоматических подсказок и внедрения обучаемого токена, он будет работать только в том случае, если у вас есть файл .env, содержащий ваш ключ Openai в корне репозиции, который содержит одну строку: OPENAI_API_KEY=your_key_string все будет работать без этого, но результаты будут лучше, если вы установите это, особенно для того, чтобы сделать это, и объекты.

Тренер поддерживает 3 режима по умолчанию:

• Стиль : используется для изучения эстетического стиля коллекции изображений.
• Лицо : используется для изучения конкретного лица (может быть человеком, характер, ...).
• Объект : узнает конкретный объект или вещь, представленную на учебных изображениях.

Пример обучения стиля:

Настраивать

Установить все зависимости, используя

pip install -r requirements.txt

Тогда вы можете просто запустить:

python main.py train_configs/training_args.json чтобы начать обучение.

Отрегулируйте аргументы внутри training_args.json , чтобы настроить пользовательскую учебную задачу.

---

Вы также можете запустить это через репликацию, используя Cog (~ Docker Image):

1. Установите Replicate 'cog':

 sudo curl -o /usr/local/bin/cog -L "https://github.com/replicate/cog/releases/latest/download/cog_$(uname -s)_$(uname -m)"
sudo chmod +x /usr/local/bin/cog

2. Постройте изображение с помощью cog build
3. Запустите обучение с sh cog_test_train.sh
4. Вы также можете перейти в контейнер с cog run /bin/bash

Полная неэтингтун

При запуске этого тренера в Native Python вы также можете выполнить полную неэтингелинг, используя что -то вроде (адаптировать к вашим потребностям) python main.py train_configs/full_finetuning_example.json

Тодо

Ошибки:

• Чистая текстовая инверсия для SD15, кажется, не работает хорошо ... (но это работает удивительно хорошо для SDXL ...) ---> Если кто-то сможет понять это, я бы вечно благодарен!
• Выясните, почему обучение в 3 раза медленнее через узлы Comfyui по сравнению с простой Main.py как работа Python ..?
• Исправьте Aspist_ratio Buckting в DataLoader (см. Https://github.com/kohya-ss/sd-cripts)

Большие улучшения:

• Интегрировать Flux / SD3
• Добавить обучение с несколькими концепциями (несколько вещей, представленных несколькими токенами, обученные в одну лору)
• Добавить более сильную регуляризацию токенов (например, знаменитость охватывающей основы)
• Реализуйте перфузионные идеи (блокировка ключей с SuperClass): https://research.nvidia.com/labs/par/perfusion/
• Реализовать rample-alcevend: https://prompt-aligned.github.io/