VideoGenHub

Videogenhub

Videogenhub ist eine One-Stop-Bibliothek, um die Inferenz und Bewertung aller bedingten Videogenerierungsmodelle zu standardisieren.

• Wir definieren 2 Aufgaben der prominenten Generation (Text-zu-Video und Bild-zu-Video).
• Wir haben eine einheitliche Inferenzpipeline gebaut, um einen fairen Vergleich zu gewährleisten. Wir unterstützen derzeit rund 10 Modelle.

? Nachricht

• 2024 10. Juni: Genai-Arena-Papier ist heraus. Es ist auf Daily Papers von Huggingface zu sehen.

? Inhaltsverzeichnis

• Installation
• ? ‍? Fangen an
• ? Lizenz
• Zitat

Installation?

Von PYPI zu installieren:

 pip install videogen-hub

Aus GitHub installieren:

 git clone https : // github . com / TIGER - AI - Lab / VideoGenHub . git
cd VideoGenHub
cd env_cfg
pip install - r requirements . txt
cd ..
pip install - e .

Die Anforderung von OpenSora erfolgt in env_cfg/opensora.txt

Für einige Modelle wie Show One müssen Sie sich über huggingface-cli anmelden.

huggingface-cli login

? ‍? Beginnen Sie an?

Benchmarking

Um unser Experiment mit Benchmark zu reproduzieren.

Für die Text-zu-Video-Generation:

 ./t2v_inference.sh --<model_name> --<device>

Ein Modell schließen

 import videogen_hub

model = videogen_hub . load ( 'VideoCrafter2' )
video = model . infer_one_video ( prompt = "A child excitedly swings on a rusty swing set, laughter filling the air." )

# Here video is a torch tensor of shape torch.Size([16, 3, 320, 512])

Siehe Google Colab hier: https://colab.research.google.com/drive/145umsboe5jlqz2m0lkqvqSyrja1ieae?usp=sharing

? Philosophie?

Durch die Straffung von Forschung und Zusammenarbeit spielt Videogenhub eine zentrale Rolle bei der Antrieb des Bereichs der Videogenerierung.

• Bewertungsreinheit: Wir sorgen für eine faire und konsistente Bewertung für alle Modelle, wodurch Verzerrungen beseitigt werden.
• Forschungs -Roadmap: Durch Definieren von Aufgaben und kuratierende Datensätze bieten wir Forschern eine klare Anweisungen.
• Offene Zusammenarbeit: Unsere Plattform fördert den Austausch und die Zusammenarbeit verwandter Technologien und bringt Köpfe und Innovationen zusammen.

Implementierte Modelle

Wir haben mehr als 10 Modelle in die Videogenerierung aufgenommen.

Verfahren	Veranstaltungsort	Typ
Lavie	- -	Text-to-Video-Generierung
Videcrafter2	- -	Text-to-Video-Generierung
ModelsCope	- -	Text-to-Video-Generierung
Streamingt2v	- -	Text-to-Video-Generierung
Show 1	- -	Text-to-Video-Generierung
OpenSora	- -	Text-to-Video-Generierung
OpenSora-Plan	- -	Text-to-Video-Generierung
T2V-Turbo	- -	Text-to-Video-Generierung
Dynamicrafter2	- -	Bild-zu-Video-Erzeugung
Seine	ICLR'24	Bild-zu-Video-Erzeugung
Konsisti2v	- -	Bild-zu_video-Generation
I2vgenxl	- -	Bild-zu_video-Generation

Todo

• Fügen Sie bequeme Unterstützung hinzu
• Metrikenunterstützung hinzufügen
• Fügen Sie die Visualisierungsunterstützung hinzu (ähnlich wie imagEnhub)
• Videobearbeitungsaufgabe hinzufügen

? Lizenz?

Dieses Projekt wird unter der Lizenz veröffentlicht.

Zitat?

Diese Arbeit ist Teil der Genai-Arena-Arbeit.

Bitte zitieren Sie unser Papier, wenn Sie unseren Code, Daten, Modelle oder Ergebnisse verwenden:

 @misc { jiang2024genai ,
      title = { GenAI Arena: An Open Evaluation Platform for Generative Models } , 
      author = { Dongfu Jiang and Max Ku and Tianle Li and Yuansheng Ni and Shizhuo Sun and Rongqi Fan and Wenhu Chen } ,
      year = { 2024 } ,
      eprint = { 2406.04485 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.AI }
}