VideoGenHub

VideogenHub

VideogenHub是一个一站式库，可以标准化所有条件视频生成模型的推理和评估。

• 我们定义了2个著名的生成任务（文本到视频和图像到视频）。
• 我们建立了一个统一的推理管道，以确保公平比较。我们目前支持大约10个型号。

？消息

• 2024年6月10日：Genai-Arena论文已发行。它在Huggingface Daily Papers上进行了特色。

？目录

• 安装
• ？‍？开始
• ？执照
• 引用

安装 ？

从PYPI安装：

 pip install videogen-hub

从github安装：

 git clone https : // github . com / TIGER - AI - Lab / VideoGenHub . git
cd VideoGenHub
cd env_cfg
pip install - r requirements . txt
cd ..
pip install - e .

OpenSora的要求在env_cfg/opensora.txt中

对于某些模型，例如Show One，您需要通过huggingface-cli登录。

huggingface-cli login

？‍？开始？

基准测试

使用基准重现我们的实验。

对于文本到视频的生成：

 ./t2v_inference.sh --<model_name> --<device>

推断一个模型

 import videogen_hub

model = videogen_hub . load ( 'VideoCrafter2' )
video = model . infer_one_video ( prompt = "A child excitedly swings on a rusty swing set, laughter filling the air." )

# Here video is a torch tensor of shape torch.Size([16, 3, 320, 512])

在此处查看Google Colab：https：//colab.research.google.com/drive/145umsboe5jlqz2m0lkqvqvqvqvqsyrja1ieaeae？usp = sharing

？哲学 ？

通过简化研究与协作，VideogenHub在推动视频生成领域中扮演着关键的角色。

• 评估的纯度：我们确保对所有模型进行公平，一致的评估，从而消除偏见。
• 研究路线图：通过定义任务并策划数据集，我们为研究人员提供了明确的方向。
• 公开协作：我们的平台促进了相关技术的交流与合作，从而汇集了思想和创新。

实施模型

我们在视频生成中包括了10多个模型。

方法	场地	类型
拉维	-	文本到视频的生成
VideoCrafter2	-	文本到视频的生成
ModelsCope	-	文本到视频的生成
Streamingt2v	-	文本到视频的生成
显示1	-	文本到视频的生成
Opensora	-	文本到视频的生成
opensora-plan	-	文本到视频的生成
T2V-Turbo	-	文本到视频的生成
Dynamicrafter2	-	图像到视频生成
罾	ICLR'24	图像到视频生成
组成	-	图像to_video生成
i2vgenxl	-	图像to_video生成

托多

• 添加comfyui支持
• 添加指标支持
• 添加可视化支持（类似于ImagenHub）
• 添加视频编辑任务

？执照 ？

该项目根据许可证发布。

引用？

这项工作是Genai-Arena工作的一部分。

如果您使用我们的代码，数据，模型或结果，请请我们的论文请访问：

 @misc { jiang2024genai ,
      title = { GenAI Arena: An Open Evaluation Platform for Generative Models } , 
      author = { Dongfu Jiang and Max Ku and Tianle Li and Yuansheng Ni and Shizhuo Sun and Rongqi Fan and Wenhu Chen } ,
      year = { 2024 } ,
      eprint = { 2406.04485 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.AI }
}