sd3.5

Стабильная диффузия 3.5

Крошечная эталонная реализация SD3.5 и SD3, предназначенная только для вывода — все, что вам нужно для простого вывода с использованием SD3.5/SD3, за исключением файлов весов.

Содержит код для кодировщиков текста (OpenAI CLIP-L/14, OpenCLIP bigG, Google T5-XXL) (все эти модели общедоступны), декодера VAE (аналогично предыдущим моделям SD, но с 16 каналами и без шага постквантового преобразования), и ядро ​​ММ-ДиТ (совершенно новое).

Примечание. Этот репозиторий представляет собой справочную библиотеку, призванную помочь партнерским организациям во внедрении SD3.5/SD3. Для альтернативного вывода используйте Comfy.

Обновления

• 29 октября 2024 г.: выпущен код вывода для SD3.5-Medium.
• 24 октября 2024 г.: Кодовая лицензия обновлена ​​до MIT License.
• 22 октября 2024 г.: выпущен код вывода для SD3.5-Large, Large-Turbo. Также работает на SD3-Medium.

Скачать

Загрузите следующие модели из HuggingFace в каталог models :

1. Стабильность AI SD3.5 Большая или Стабильность AI SD3.5 Большая Турбо или Стабильность AI SD3.5 Средняя
2. OpenAI CLIP-L
3. OpenCLIP bigG
4. Гугл Т5-XXL

Этот код также работает для Stability AI SD3 Medium.

Установить

 # Note: on windows use "python" not "python3"
python3 -s -m venv .sd3.5
source .sd3.5/bin/activate
# or on windows: venv/scripts/activate
python3 -s -m pip install -r requirements.txt

Бегать

 # Generate a cat using SD3.5 Large model (at models/sd3.5_large.safetensors) with its default settings
python3 sd3_infer.py --prompt " cute wallpaper art of a cat "
# Or use a text file with a list of prompts, using SD3.5 Large
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large.safetensors
# Generate from prompt file using SD3.5 Large Turbo with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large_turbo.safetensors
# Generate from prompt file using SD3.5 Medium with its default settings, at 2k resolution
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --width 1920 --height 1080
# Generate from prompt file using SD3 Medium with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3_medium.safetensors

По умолчанию изображения будут выводиться на outputs/<MODEL>/<PROMPT>_<DATETIME>_<POSTFIX> . Чтобы добавить постфикс в выходной каталог, добавьте --postfix <my_postfix> . Например,

python3 sd3_infer.py --prompt path/to/my_prompts.txt --postfix " steps100 " --steps 100

Чтобы изменить разрешение сгенерированного изображения, добавьте --width <WIDTH> --height <HEIGHT> .

При желании можно использовать «Пропустить наведение по слоям» для потенциально лучшей согласованности структуры и анатомии из SD3.5-Medium.

python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --skip_layer_cfg True

Руководство по файлам

• sd3_infer.py — точка входа, ознакомьтесь с базовым использованием модели диффузии.
• sd3_impls.py — содержит оболочку MMDiTX и VAE.
• other_impls.py — содержит модели CLIP, модель T5 и некоторые утилиты.
• mmditx.py — содержит ядро ​​самого MMDiT-X
• папка models со следующими файлами (скачать отдельно):
  • clip_l.safetensors (OpenAI CLIP-L, как и SDXL/SD3, может получить общедоступную копию)
  • clip_g.safetensors (openclip bigG, как и SDXL/SD3, может получить общедоступную копию)
  • t5xxl.safetensors (Google T5-v1.1-XXL, можно получить общедоступную копию)
  • sd3.5_large.safetensors или sd3.5_large_turbo.safetensors или sd3.5_medium.safetensors (или sd3_medium.safetensors )

Код происхождения

Приведенный здесь код взят из:

• Хранилище кода внутреннего исследования стабильности AI (MM-DiT)
• Репозитории ИИ публичной стабильности (например, VAE)
• Некоторый уникальный код для этого справочного репозитория, написанный Алексом Гудвином и Викрамом Волети для Stability AI.
• Некоторый код из внутренней реализации стабильности ComfyUI SD3 (для некоторых исправлений кода и обработчиков)
• HuggingFace и вышестоящие поставщики (для разделов кода CLIP/T5)

Юридический

Проверьте файл ЛИЦЕНЗИОННОГО КОДА.

Примечание

Некоторый код в other_impls создан HuggingFace и подпадает под действие лицензии HuggingFace Transformers Apache2.