DiffSynth Studio

ДиффСинт Студия

Документ: https://diffsynth-studio.readthedocs.io/zh-cn/latest/index.html.

Введение

DiffSynth Studio — это движок Diffusion. Мы реструктурировали архитектуры, включая Text Encoder, UNet, VAE и другие, сохранив совместимость с моделями сообщества открытого исходного кода и одновременно повысив вычислительную производительность. Мы предоставляем много интересных функций. Наслаждайтесь волшебством моделей Diffusion!

До сих пор DiffSynth Studio поддерживала следующие модели:

• CogVideoX
• ПОТОК
• ЭксВидео
• Колорс
• Стабильная диффузия 3
• Стабильная диффузия видео
• Хунюань-ДиТ
• Райф
• ЭСРГАН
• Ip-адаптер
• АниматеДифф
• Контрольная сеть
• Стабильная диффузия XL
• Стабильная диффузия

Новости

• 25 октября 2024 г. Мы предоставляем обширную поддержку FLUX ControlNet. Этот проект поддерживает множество различных моделей ControlNet, которые можно свободно комбинировать, даже если их структуры различаются. Кроме того, модели ControlNet совместимы с методами уточнения и управления разделами высокого разрешения, что позволяет создавать очень мощные управляемые изображения. См ./examples/ControlNet/ .

• 8 октября 2024 г. Мы выпускаем расширенную версию LoRA на основе CogVideoX-5B и ExVideo. Вы можете скачать эту модель с ModelScope или HuggingFace.

• 22 августа 2024 г. В этом проекте поддерживается CogVideoX-5B. Смотрите здесь. Мы предоставляем несколько интересных функций для этой модели преобразования текста в видео, в том числе

  • Текст в видео
  • Монтаж видео
  • Самомасштабирование
  • Интерполяция видео

• 22 августа 2024 г. Мы реализовали интересный рисовальщик, поддерживающий все модели преобразования текста в изображение. Теперь вы можете создавать потрясающие изображения с помощью художника при помощи искусственного интеллекта!

  • Используйте его в нашем веб-интерфейсе.

• 21 августа 2024 г. В DiffSynth-Studio поддерживается FLUX.

  • Включите CFG и исправление высокого разрешения, чтобы улучшить качество изображения. Смотрите здесь
  • LoRA, ControlNet и другие модели будут доступны в ближайшее время.

• 21 июня 2024 г. ??? Мы предлагаем ExVideo, метод пост-настройки, направленный на расширение возможностей моделей генерации видео. Мы расширили Stable Video Diffusion, чтобы обеспечить создание длинных видео до 128 кадров.

  • Страница проекта
  • Исходный код опубликован в этом репозитории. См. examples/ExVideo .
  • Модели публикуются на HuggingFace и ModelScope.
  • Технический отчет опубликован на arXiv.
  • Вы можете попробовать ExVideo в этой демо-версии!

• 13 июня 2024 г. DiffSynth Studio переводится в ModelScope. Разработчики перешли от «Я» к «Мы». Конечно, я по-прежнему буду участвовать в разработке и обслуживании.

• 29 января 2024 г. Мы предлагаем Diffutoon — фантастическое решение для затенения мультяшек.

  • Страница проекта
  • Исходные коды публикуются в этом проекте.
  • Технический отчет (IJCAI 2024) опубликован на arXiv.

• 8 декабря 2023 г. Мы решили разработать новый проект, целью которого является раскрытие потенциала моделей диффузии, особенно в синтезе видео. Начата разработка этого проекта.

• 15 ноября 2023 г. Мы предлагаем FastBlend — мощный алгоритм устранения мерцания видео.

  • Расширение sd-webui опубликовано на GitHub.
  • На Bilibili показаны демо-ролики, включающие три задания.
    • Устранение мерцания видео
    • Интерполяция видео
    • Рендеринг видео на основе изображений
  • Технический отчет опубликован на arXiv.
  • Неофициальное расширение ComfyUI, разработанное другими пользователями, выпущено на GitHub.

• 1 октября 2023 г. Мы выпускаем раннюю версию этого проекта, а именно FastSDXL. Попытка создания диффузионного двигателя.

  • Исходные коды опубликованы на GitHub.
  • FastSDXL включает в себя обучаемый планировщик OLSS для повышения эффективности.
    • Оригинальный репозиторий OLSS находится здесь.
    • Технический отчет (CIKM 2023) опубликован на arXiv.
    • Демонстрационное видео показано на Bilibili.
    • Поскольку OLSS требует дополнительного обучения, мы не реализуем его в этом проекте.

• 29 августа 2023 г. Мы предлагаем DiffSynth, платформу для синтеза видео.

  • Страница проекта.
  • Исходные коды опубликованы в EasyNLP.
  • Технический отчет (ECML PKDD 2024) опубликован на arXiv.

Установка

Установить из исходного кода (рекомендуется):

 git clone https://github.com/modelscope/DiffSynth-Studio.git
cd DiffSynth-Studio
pip install -e .

Или установите из pypi:

 pip install diffsynth

Использование (в коде Python)

Примеры Python находятся в examples . Мы предоставляем обзор здесь.

Скачать модели

Загрузите предустановленные модели. Идентификаторы моделей можно найти в файле конфигурации.

 from diffsynth import download_models

download_models ([ "FLUX.1-dev" , "Kolors" ])

Загрузите свои собственные модели.

 from diffsynth . models . downloader import download_from_huggingface , download_from_modelscope

# From Modelscope (recommended)
download_from_modelscope ( "Kwai-Kolors/Kolors" , "vae/diffusion_pytorch_model.fp16.bin" , "models/kolors/Kolors/vae" )
# From Huggingface
download_from_huggingface ( "Kwai-Kolors/Kolors" , "vae/diffusion_pytorch_model.fp16.safetensors" , "models/kolors/Kolors/vae" )

Видеосинтез

Преобразование текста в видео с использованием CogVideoX-5B

CogVideoX-5B выпущен компанией ZhiPu. Мы предоставляем улучшенный конвейер, поддерживающий преобразование текста в видео, редактирование видео, автоматическое масштабирование и интерполяцию видео. examples/video_synthesis

Видео слева генерируется с использованием исходного конвейера преобразования текста в видео, а видео справа является результатом редактирования и интерполяции кадров.

cogvideo.mp4

Синтез длинного видео

Мы обучили расширенные модели синтеза видео, которые могут генерировать 128 кадров. examples/ExVideo

github_title.mp4

демо.mp4

Мультяшное затенение

Рендерите реалистичные видео в плоском стиле и включите функции редактирования видео. examples/Diffutoon

Диффутон.mp4

Diffutoon_edit.mp4

Стилизация видео

Стилизация видео без видеомоделей. examples/diffsynth

зимний_камень.mp4

Синтез изображений

Создавайте изображения высокого разрешения, преодолевая ограничения диффузионных моделей! examples/image_synthesis .

Тонкая настройка LoRA поддерживается в examples/train .

ПОТОК	Стабильная диффузия 3

Колорс	Хунюань-ДиТ

Стабильная диффузия	Стабильная диффузия XL

Использование (в WebUI)

Создавайте потрясающие изображения с помощью художника и с помощью искусственного интеллекта!

видео.mp4

Это видео не отображается в реальном времени.

Перед запуском WebUI загрузите модели в папку ./models . Смотрите здесь.

• Gradio версия

 pip install gradio

 python apps/gradio/DiffSynth_Studio.py

• Streamlit версия

 pip install streamlit streamlit-drawable-canvas

 python -m streamlit run apps/streamlit/DiffSynth_Studio.py

sdxl_turbo_ui.mp4