VideoGenHub

Videógeno

VideogenHub es una biblioteca única para estandarizar la inferencia y evaluación de todos los modelos de generación de videos condicionales.

• Definimos 2 tareas de generación prominentes (texto a video e imagen a video).
• Construimos una tubería de inferencia unificada para garantizar una comparación justa. Actualmente apoyamos alrededor de 10 modelos.

? Noticias

• 2024 10 de junio: el papel de Genai-Arena está fuera. Aparece en los documentos diarios de Huggingface.

? Tabla de contenido

• Instalación
• ? ‍? Empezar
• ? Licencia
• Citación

Instalación?

Para instalar desde Pypi:

 pip install videogen-hub

Para instalar desde GitHub:

 git clone https : // github . com / TIGER - AI - Lab / VideoGenHub . git
cd VideoGenHub
cd env_cfg
pip install - r requirements . txt
cd ..
pip install - e .

El requisito de Opensora está en env_cfg/opensora.txt

Para algunos modelos como Show One, debe iniciar sesión a través de huggingface-cli .

huggingface-cli login

? ‍? Empiece?

Margen de evaluación

Para reproducir nuestro experimento usando Benchmark.

Para la generación de texto a video:

 ./t2v_inference.sh --<model_name> --<device>

Inferiendo un modelo

 import videogen_hub

model = videogen_hub . load ( 'VideoCrafter2' )
video = model . infer_one_video ( prompt = "A child excitedly swings on a rusty swing set, laughter filling the air." )

# Here video is a torch tensor of shape torch.Size([16, 3, 320, 512])

Ver Google Colab aquí: https://colab.research.google.com/drive/145umsboe5jlqz2m0lkqvvqsyrja1ieae?usp=sharing

? Filosofía ?

Al racionalizar la investigación y la colaboración, VideogenHub juega un papel fundamental en impulsar el campo de la generación de videos.

• Pureza de la evaluación: aseguramos una evaluación justa y consistente para todos los modelos, eliminando los sesgos.
• Hoja de ruta de investigación: al definir tareas y curar conjuntos de datos, proporcionamos una dirección clara para los investigadores.
• Colaboración abierta: nuestra plataforma fomenta el intercambio y la cooperación de tecnologías relacionadas, reuniendo mentes e innovaciones.

Modelos implementados

Incluimos más de 10 modelos en la generación de videos.

Método	Evento	Tipo
Lavie	-	Generación de texto a video
Videocrafter2	-	Generación de texto a video
Modelscope	-	Generación de texto a video
Streamingt2v	-	Generación de texto a video
Mostrar 1	-	Generación de texto a video
Opensora	-	Generación de texto a video
Opensora	-	Generación de texto a video
T2V-TURBO	-	Generación de texto a video
DynamicRafter2	-	Generación de imagen a video
JÁBEGA	ICLR'24	Generación de imagen a video
Consistente	-	Imagen-to_video generación
I2vgenXl	-	Imagen-to_video generación

HACER

• Agregar soporte cómico
• Agregar soporte de métricas
• Agregar soporte de visualización (similar a ImagenHub)
• Agregar tarea de edición de video

? Licencia?

Este proyecto se publica bajo la licencia.

Cita?

Este trabajo es parte del trabajo de Genai-Arena.

Por favor, cita nuestro documento si usa nuestro código, datos, modelos o resultados:

 @misc { jiang2024genai ,
      title = { GenAI Arena: An Open Evaluation Platform for Generative Models } , 
      author = { Dongfu Jiang and Max Ku and Tianle Li and Yuansheng Ni and Shizhuo Sun and Rongqi Fan and Wenhu Chen } ,
      year = { 2024 } ,
      eprint = { 2406.04485 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.AI }
}