VideoGenHub

VideogeNHUB

O VideogenHub é uma biblioteca única para padronizar a inferência e avaliação de todos os modelos de geração de vídeo condicional.

• Definimos 2 tarefas de geração proeminente (texto em vídeo e imagem para video).
• Construímos um pipeline de inferência unificada para garantir uma comparação justa. Atualmente, apoiamos cerca de 10 modelos.

? Notícias

• 2024 10 de junho: o papel de Genai-Arena está fora. É apresentado nos papéis diários da Huggingface.

? Índice

• Instalação
• ? ‍? Comece
• ? Licença
• Citação

Instalação?

Para instalar a partir de Pypi:

 pip install videogen-hub

Para instalar no GitHub:

 git clone https : // github . com / TIGER - AI - Lab / VideoGenHub . git
cd VideoGenHub
cd env_cfg
pip install - r requirements . txt
cd ..
pip install - e .

O requisito do OpenSora está em env_cfg/opensora.txt

Para alguns modelos como o Mostrar um, você precisa fazer o login através huggingface-cli .

huggingface-cli login

? ‍? Começar?

Benchmarking

Reproduzir nosso experimento usando a referência.

Para geração de texto para vídeo:

 ./t2v_inference.sh --<model_name> --<device>

Inferindo um modelo

 import videogen_hub

model = videogen_hub . load ( 'VideoCrafter2' )
video = model . infer_one_video ( prompt = "A child excitedly swings on a rusty swing set, laughter filling the air." )

# Here video is a torch tensor of shape torch.Size([16, 3, 320, 512])

Veja o Google Colab aqui: https://colab.research.google.com/drive/145umsboe5jlqz2m0lkqvqsyrja1ieae?usp=sharing

? Filosofia?

Ao simplificar a pesquisa e a colaboração, o VideogenHub desempenha um papel fundamental na impulsionadora do campo da geração de vídeo.

• Pureza da avaliação: Garantimos uma avaliação justa e consistente para todos os modelos, eliminando vieses.
• Roteiro de pesquisa: Ao definir tarefas e curar os conjuntos de dados, fornecemos uma direção clara para os pesquisadores.
• Colaboração aberta: nossa plataforma promove a troca e a cooperação de tecnologias relacionadas, reunindo mentes e inovações.

Modelos implementados

Incluímos mais de 10 modelos na geração de vídeo.

Método	Local	Tipo
Lavie	-	Geração de texto para vídeo
Videocrafter2	-	Geração de texto para vídeo
Modelscope	-	Geração de texto para vídeo
StreamingT2V	-	Geração de texto para vídeo
Mostrar 1	-	Geração de texto para vídeo
OpenSora	-	Geração de texto para vídeo
Plano OpenSora	-	Geração de texto para vídeo
T2V-TURBO	-	Geração de texto para vídeo
Dynamicrafter2	-	Geração de imagem para videão
SEINE	Iclr'24	Geração de imagem para videão
Consisti2v	-	Geração de imagem para_video
I2vgenxl	-	Geração de imagem para_video

PENDÊNCIA

• Adicione suporte conformável
• Adicione o suporte de métricas
• Adicione o suporte à visualização (semelhante ao imagenhub)
• Adicionar tarefa de edição de vídeo

? Licença?

Este projeto é divulgado sob a licença.

Citação?

Este trabalho faz parte do trabalho de Genai-Arena.

Por favor, cite nosso artigo se você usar nosso código, dados, modelos ou resultados:

 @misc { jiang2024genai ,
      title = { GenAI Arena: An Open Evaluation Platform for Generative Models } , 
      author = { Dongfu Jiang and Max Ku and Tianle Li and Yuansheng Ni and Shizhuo Sun and Rongqi Fan and Wenhu Chen } ,
      year = { 2024 } ,
      eprint = { 2406.04485 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.AI }
}