VideoGenHub

VideogenHub

VideogenHub是一個一站式庫，可以標準化所有條件視頻生成模型的推理和評估。

• 我們定義了2個著名的生成任務（文本到視頻和圖像到視頻）。
• 我們建立了一個統一的推理管道，以確保公平比較。我們目前支持大約10個型號。

？消息

• 2024年6月10日：Genai-Arena論文已發行。它在Huggingface Daily Papers上進行了特色。

？目錄

• 安裝
• ？‍？開始
• ？執照
• 引用

安裝 ？

從PYPI安裝：

 pip install videogen-hub

從github安裝：

 git clone https : // github . com / TIGER - AI - Lab / VideoGenHub . git
cd VideoGenHub
cd env_cfg
pip install - r requirements . txt
cd ..
pip install - e .

OpenSora的要求在env_cfg/opensora.txt中

對於某些模型，例如Show One，您需要通過huggingface-cli登錄。

huggingface-cli login

？‍？開始？

基準測試

使用基準重現我們的實驗。

對於文本到視頻的生成：

 ./t2v_inference.sh --<model_name> --<device>

推斷一個模型

 import videogen_hub

model = videogen_hub . load ( 'VideoCrafter2' )
video = model . infer_one_video ( prompt = "A child excitedly swings on a rusty swing set, laughter filling the air." )

# Here video is a torch tensor of shape torch.Size([16, 3, 320, 512])

在此處查看Google Colab：https：//colab.research.google.com/drive/145umsboe5jlqz2m0lkqvqvqvqvqsyrja1ieaeae？usp = sharing

？哲學 ？

通過簡化研究與協作，VideogenHub在推動視頻生成領域中扮演著關鍵的角色。

• 評估的純度：我們確保對所有模型進行公平，一致的評估，從而消除偏見。
• 研究路線圖：通過定義任務並策劃數據集，我們為研究人員提供了明確的方向。
• 公開協作：我們的平台促進了相關技術的交流與合作，從而匯集了思想和創新。

實施模型

我們在視頻生成中包括了10多個模型。

方法	場地	類型
拉維	-	文本到視頻的生成
VideoCrafter2	-	文本到視頻的生成
ModelsCope	-	文本到視頻的生成
Streamingt2v	-	文本到視頻的生成
顯示1	-	文本到視頻的生成
Opensora	-	文本到視頻的生成
opensora-plan	-	文本到視頻的生成
T2V-Turbo	-	文本到視頻的生成
Dynamicrafter2	-	圖像到視頻生成
罾	ICLR'24	圖像到視頻生成
組成	-	圖像to_video生成
i2vgenxl	-	圖像to_video生成

托多

• 添加comfyui支持
• 添加指標支持
• 添加可視化支持（類似於ImagenHub）
• 添加視頻編輯任務

？執照 ？

該項目根據許可證發布。

引用？

這項工作是Genai-Arena工作的一部分。

如果您使用我們的代碼，數據，模型或結果，請請我們的論文請訪問：

 @misc { jiang2024genai ,
      title = { GenAI Arena: An Open Evaluation Platform for Generative Models } , 
      author = { Dongfu Jiang and Max Ku and Tianle Li and Yuansheng Ni and Shizhuo Sun and Rongqi Fan and Wenhu Chen } ,
      year = { 2024 } ,
      eprint = { 2406.04485 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.AI }
}