VideoGenHub

videogenhub

VideogenHubは、すべての条件付きビデオ生成モデルの推論と評価を標準化するためのワンストップライブラリです。

• 2つの著名な生成タスク（テキストからビデオへのビデオとビデオへの画像）を定義します。
• 公正な比較を確保するために、統一された推論パイプラインを構築しました。現在、約10のモデルをサポートしています。

？ニュース

• 2024年6月10日：genai-Arena Paperが出ています。 Huggingface Daily Papersで紹介されています。

？目次

• インストール
• ？‍？始めましょう
• ？ライセンス
• 引用

インストール？

Pypiからインストールするには：

 pip install videogen-hub

Githubからインストールするには：

 git clone https : // github . com / TIGER - AI - Lab / VideoGenHub . git
cd VideoGenHub
cd env_cfg
pip install - r requirements . txt
cd ..
pip install - e .

Opensoraの要件はenv_cfg/opensora.txtにあります

Show Oneのようなモデルの場合、 huggingface-cliを介してログインする必要があります。

huggingface-cli login

？‍？始めますか？

ベンチマーク

ベンチマークを使用して実験を再現します。

テキストからビデオへの生成のため：

 ./t2v_inference.sh --<model_name> --<device>

1つのモデルを推測します

 import videogen_hub

model = videogen_hub . load ( 'VideoCrafter2' )
video = model . infer_one_video ( prompt = "A child excitedly swings on a rusty swing set, laughter filling the air." )

# Here video is a torch tensor of shape torch.Size([16, 3, 320, 512])

Google Colabはこちらをご覧ください：https：//colab.research.google.com/drive/145umsboe5jlqz2m0lkqvvqsyrja1ieae？usp = sharing

？哲学 ？

研究とコラボレーションを合理化することにより、VideogenHubはビデオ生成の分野を推進する上で極めて重要な役割を果たします。

• 評価の純度：すべてのモデルの公正かつ一貫した評価を確保し、バイアスを排除します。
• 研究ロードマップ：タスクを定義し、データセットをキュレーションすることにより、研究者に明確な方向性を提供します。
• オープンコラボレーション：当社のプラットフォームは、関連するテクノロジーの交換と協力を促進し、心と革新を結び付けます。

実装されたモデル

ビデオ生成には10以上のモデルを含めました。

方法	会場	タイプ
ラビー	-	テキストからビデオへの生成
Videocrafter2	-	テキストからビデオへの生成
ModelScope	-	テキストからビデオへの生成
Streamingt2v	-	テキストからビデオへの生成
show 1	-	テキストからビデオへの生成
Opensora	-	テキストからビデオへの生成
Opensora-Plan	-	テキストからビデオへの生成
T2Vターボ	-	テキストからビデオへの生成
dynamicrafter2	-	画像からビデオへの生成
セーヌ	ICLR'24	画像からビデオへの生成
consti2v	-	Image-to_video生成
i2vgenxl	-	Image-to_video生成

トト

• Comfyuiサポートを追加します
• メトリックサポートを追加します
• 視覚化サポートを追加する（ImagenHubに似ています）
• ビデオ編集タスクを追加します

？ライセンス？

このプロジェクトはライセンスの下でリリースされます。

引用？

この作品は、gena​​i-arenaの作品の一部です。

コード、データ、モデル、または結果を使用している場合は、私たちの論文を引用してください。

 @misc { jiang2024genai ,
      title = { GenAI Arena: An Open Evaluation Platform for Generative Models } , 
      author = { Dongfu Jiang and Max Ku and Tianle Li and Yuansheng Ni and Shizhuo Sun and Rongqi Fan and Wenhu Chen } ,
      year = { 2024 } ,
      eprint = { 2406.04485 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.AI }
}