VideoGenHub

Видеогенхаб

VideoGenHub-это универсальная библиотека для стандартизации вывода и оценки всех моделей условного генерации видео.

• Мы определяем 2 выдающихся задач генерации (текст к Video и изображение-видео).
• Мы построили унифицированный конференция для вывода, чтобы обеспечить справедливое сравнение. В настоящее время мы поддерживаем около 10 моделей.

? Новости

• 2024 июня 10: Genai-Arena Paper вышел. Он представлен на газете Daily Daily.

? Оглавление

• Установка
• ? ‍? Начните
• ? Лицензия
• Цитирование

Установка?

Установка из PYPI:

 pip install videogen-hub

Установить из GitHub:

 git clone https : // github . com / TIGER - AI - Lab / VideoGenHub . git
cd VideoGenHub
cd env_cfg
pip install - r requirements . txt
cd ..
pip install - e .

Требование Opensora - в env_cfg/opensora.txt

Для некоторых моделей, таких как Show One, вам нужно войти через huggingface-cli .

huggingface-cli login

? ‍? Начните?

Сравнительный анализ

Воспроизвести наш эксперимент с использованием эталона.

Для генерации текста к Video:

 ./t2v_inference.sh --<model_name> --<device>

Предполагая одну модель

 import videogen_hub

model = videogen_hub . load ( 'VideoCrafter2' )
video = model . infer_one_video ( prompt = "A child excitedly swings on a rusty swing set, laughter filling the air." )

# Here video is a torch tensor of shape torch.Size([16, 3, 320, 512])

См. Google Colab здесь: https://colab.research.google.com/drive/145umsboe5jlqz2m0lkqvqsyrja1ieae?usp=Sharing

? Философия?

Учитывая исследования и сотрудничество, VideoGenHub играет ключевую роль в продвижении области генерации видео.

• Чистота оценки: мы обеспечиваем справедливую и последовательную оценку для всех моделей, устраняя смещения.
• Research Roadmap: Определяя задачи и наборы данных, мы предоставляем четкое направление для исследователей.
• Открытое сотрудничество: наша платформа способствует обмену и сотрудничеству связанных технологий, объединяя умы и инновации.

Внедренные модели

Мы включили более 10 моделей в генерацию видео.

Метод	Место проведения	Тип
Лави	-	Поколение текста к Video
VideoCrafter2	-	Поколение текста к Video
Моделикоп	-	Поколение текста к Video
Streamingt2v	-	Поколение текста к Video
Показать 1	-	Поколение текста к Video
Opensensora	-	Поколение текста к Video
OpenSorsora-Plan	-	Поколение текста к Video
T2V-Turbo	-	Поколение текста к Video
Dynamicrafter2	-	Образование изображения к Video
Сена	ICLR'24	Образование изображения к Video
Consusti2v	-	ИЗОБРАЖЕНИЕ-КОГДА-ЛИБО
I2vgenxl	-	ИЗОБРАЖЕНИЕ-КОГДА-ЛИБО

Тодо

• Добавьте поддержку Comfyui
• Добавить поддержку метрик
• Добавить поддержку визуализации (аналогично ImagenHub)
• Добавить задачу редактирования видео

? Лицензия?

Этот проект выпущен под лицензией.

Цитата?

Эта работа является частью работы Genai-Arena.

Пожалуйста, обратитесь к нашей статье, если вы используете наш код, данные, модели или результаты:

 @misc { jiang2024genai ,
      title = { GenAI Arena: An Open Evaluation Platform for Generative Models } , 
      author = { Dongfu Jiang and Max Ku and Tianle Li and Yuansheng Ni and Shizhuo Sun and Rongqi Fan and Wenhu Chen } ,
      year = { 2024 } ,
      eprint = { 2406.04485 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.AI }
}