VideoGenHub
v0.1.4a0
VideogenHub هي مكتبة واحدة لتوحيد استنتاج وتقييم جميع نماذج توليد الفيديو الشرطية.
للتثبيت من PYPI:
pip install videogen-hub
للتثبيت من جيثب:
git clone https : // github . com / TIGER - AI - Lab / VideoGenHub . git
cd VideoGenHub
cd env_cfg
pip install - r requirements . txt
cd ..
pip install - e . متطلبات Opensora في env_cfg/opensora.txt
بالنسبة لبعض الطرز مثل عرض واحد ، تحتاج إلى تسجيل الدخول من خلال huggingface-cli .
huggingface-cli loginلإعادة إنتاج تجربتنا باستخدام القياس.
لتوليد النص إلى الفيديو:
./t2v_inference.sh --<model_name> --<device>
import videogen_hub
model = videogen_hub . load ( 'VideoCrafter2' )
video = model . infer_one_video ( prompt = "A child excitedly swings on a rusty swing set, laughter filling the air." )
# Here video is a torch tensor of shape torch.Size([16, 3, 320, 512])انظر Google Colab هنا: https://colab.research.google.com/drive/145umsboe5jlqz2m0lkqvvqsyrjaeae؟usp=sharing
من خلال تبسيط البحث والتعاون ، تلعب VideogenHub دورًا محوريًا في دفع مجال توليد الفيديو.
قمنا بتضمين أكثر من 10 طرز في توليد الفيديو.
| طريقة | مكان | يكتب |
|---|---|---|
| لافي | - | جيل نص إلى الفيديو |
| videocrafter2 | - | جيل نص إلى الفيديو |
| موديلات | - | جيل نص إلى الفيديو |
| Treamingt2v | - | جيل نص إلى الفيديو |
| عرض 1 | - | جيل نص إلى الفيديو |
| Opensora | - | جيل نص إلى الفيديو |
| Opensora-plan | - | جيل نص إلى الفيديو |
| T2V توربو | - | جيل نص إلى الفيديو |
| DynamicraFter2 | - | جيل صورة إلى video |
| نادي | ICLR'24 | جيل صورة إلى video |
| crepled2v | - | جيل Image-to_video |
| i2vgenxl | - | جيل Image-to_video |
يتم إصدار هذا المشروع بموجب الترخيص.
هذا العمل هو جزء من عمل Genai-Arena.
يرجى التكرم في ورقتنا إذا كنت تستخدم التعليمات البرمجية أو البيانات أو النماذج أو النتائج:
@misc { jiang2024genai ,
title = { GenAI Arena: An Open Evaluation Platform for Generative Models } ,
author = { Dongfu Jiang and Max Ku and Tianle Li and Yuansheng Ni and Shizhuo Sun and Rongqi Fan and Wenhu Chen } ,
year = { 2024 } ,
eprint = { 2406.04485 } ,
archivePrefix = { arXiv } ,
primaryClass = { cs.AI }
}
