VideoGenHub

Videogenhub

VideogenHub adalah perpustakaan satu atap untuk membakukan inferensi dan evaluasi semua model pembuatan video bersyarat.

• Kami mendefinisikan 2 tugas generasi yang menonjol (teks-ke-video dan gambar-ke-video).
• Kami membangun pipa inferensi terpadu untuk memastikan perbandingan yang adil. Kami saat ini mendukung sekitar 10 model.

? Berita

• 2024 Juni 10: Kertas Genai-Arena keluar. Ini ditampilkan di Huggingface Daily Papers.

? Daftar isi

• Instalasi
• ? ‍? Mulai
• ? Lisensi
• Kutipan

Instalasi?

Untuk menginstal dari pypi:

 pip install videogen-hub

Untuk menginstal dari github:

 git clone https : // github . com / TIGER - AI - Lab / VideoGenHub . git
cd VideoGenHub
cd env_cfg
pip install - r requirements . txt
cd ..
pip install - e .

Persyaratan OpenSora ada di env_cfg/opensora.txt

Untuk beberapa model seperti Show One, Anda harus masuk melalui huggingface-cli .

huggingface-cli login

? ‍? Mulai?

Benchmarking

Untuk mereproduksi percobaan kami menggunakan tolok ukur.

Untuk generasi teks-ke-video:

 ./t2v_inference.sh --<model_name> --<device>

Menyimpulkan satu model

 import videogen_hub

model = videogen_hub . load ( 'VideoCrafter2' )
video = model . infer_one_video ( prompt = "A child excitedly swings on a rusty swing set, laughter filling the air." )

# Here video is a torch tensor of shape torch.Size([16, 3, 320, 512])

Lihat Google Colab di sini: https://colab.research.google.com/drive/145umsboe5jlqz2m0lkqvvqsyrja1ieae?usp=sharing

? Filsafat?

Dengan merampingkan penelitian dan kolaborasi, VideogenHub memainkan peran penting dalam mendorong bidang pembuatan video.

• Kemurnian Evaluasi: Kami memastikan evaluasi yang adil dan konsisten untuk semua model, menghilangkan bias.
• Roadmap Penelitian: Dengan mendefinisikan tugas dan kumpulan data kurasi, kami memberikan arah yang jelas bagi para peneliti.
• Kolaborasi Terbuka: Platform kami mendorong pertukaran dan kerja sama teknologi terkait, menyatukan pikiran dan inovasi.

Model yang diimplementasikan

Kami menyertakan lebih dari 10 model dalam pembuatan video.

Metode	Lokasi	Jenis
Lavie	-	Generasi teks-ke-video
Videocrafter2	-	Generasi teks-ke-video
Modelscope	-	Generasi teks-ke-video
Streamingt2v	-	Generasi teks-ke-video
Tampilkan 1	-	Generasi teks-ke-video
OpenSora	-	Generasi teks-ke-video
OpenSora-Plan	-	Generasi teks-ke-video
T2V-Turbo	-	Generasi teks-ke-video
DynamicRafter2	-	Generasi gambar-ke-video
PUKAT	Iclr'24	Generasi gambar-ke-video
CONSISTI2V	-	Generasi gambar-to_video
I2vgenxl	-	Generasi gambar-to_video

Todo

• Tambahkan dukungan comfyui
• Tambahkan dukungan metrik
• Tambahkan Dukungan Visualisasi (Mirip dengan ImagenHub)
• Tambahkan Tugas Pengeditan Video

? Lisensi?

Proyek ini dirilis di bawah lisensi.

Kutipan?

Pekerjaan ini adalah bagian dari karya Genai-Arena.

Harap kutip makalah kami jika Anda menggunakan kode, data, model, atau hasil kami:

 @misc { jiang2024genai ,
      title = { GenAI Arena: An Open Evaluation Platform for Generative Models } , 
      author = { Dongfu Jiang and Max Ku and Tianle Li and Yuansheng Ni and Shizhuo Sun and Rongqi Fan and Wenhu Chen } ,
      year = { 2024 } ,
      eprint = { 2406.04485 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.AI }
}