VideoGenHub
v0.1.4a0
VideogenHub เป็นห้องสมุดแบบครบวงจรเพื่อสร้างมาตรฐานการอนุมานและการประเมินผลของรุ่นการสร้างวิดีโอแบบมีเงื่อนไขทั้งหมด
เพื่อติดตั้งจาก PYPI:
pip install videogen-hub
ในการติดตั้งจาก GitHub:
git clone https : // github . com / TIGER - AI - Lab / VideoGenHub . git
cd VideoGenHub
cd env_cfg
pip install - r requirements . txt
cd ..
pip install - e . ข้อกำหนดของ OpenSora อยู่ใน env_cfg/opensora.txt
สำหรับบางรุ่นเช่น Show One คุณต้องเข้าสู่ระบบผ่าน huggingface-cli
huggingface-cli loginเพื่อทำซ้ำการทดลองของเราโดยใช้เกณฑ์มาตรฐาน
สำหรับการสร้างข้อความถึงวิดีโอ:
./t2v_inference.sh --<model_name> --<device>
import videogen_hub
model = videogen_hub . load ( 'VideoCrafter2' )
video = model . infer_one_video ( prompt = "A child excitedly swings on a rusty swing set, laughter filling the air." )
# Here video is a torch tensor of shape torch.Size([16, 3, 320, 512])ดู Google Colab ได้ที่นี่: https://colab.research.google.com/drive/145umsboe5jlqz2m0lkqvqquqsyrja1ieae?usp=sharing
ด้วยการปรับปรุงการวิจัยและการทำงานร่วมกัน VideogenHub มีบทบาทสำคัญในการขับเคลื่อนด้านการสร้างวิดีโอ
เรารวมมากกว่า 10 รุ่นในการสร้างวิดีโอ
| วิธี | สถานที่จัดงาน | พิมพ์ |
|---|---|---|
| ลาวา | - | การสร้างข้อความถึงวิดีโอ |
| Videocrafter2 | - | การสร้างข้อความถึงวิดีโอ |
| ModelsCope | - | การสร้างข้อความถึงวิดีโอ |
| สตรีมมิ่ง T2V | - | การสร้างข้อความถึงวิดีโอ |
| แสดง 1 | - | การสร้างข้อความถึงวิดีโอ |
| การเปิดให้บริการ | - | การสร้างข้อความถึงวิดีโอ |
| แผนการ | - | การสร้างข้อความถึงวิดีโอ |
| T2V-turbo | - | การสร้างข้อความถึงวิดีโอ |
| Dynamicrafter2 | - | การสร้างภาพเพื่อวิดีโอ |
| เกี่ยวกับแม่น้ำแซน | iclr'24 | การสร้างภาพเพื่อวิดีโอ |
| ประกอบด้วย 2v | - | Image-to_Video Generation |
| i2vgenxl | - | Image-to_Video Generation |
โครงการนี้เปิดตัวภายใต้ใบอนุญาต
งานนี้เป็นส่วนหนึ่งของงาน Genai-Arena
โปรดกรุณาอ้างอิงบทความของเราหากคุณใช้รหัสข้อมูลรุ่นหรือผลลัพธ์:
@misc { jiang2024genai ,
title = { GenAI Arena: An Open Evaluation Platform for Generative Models } ,
author = { Dongfu Jiang and Max Ku and Tianle Li and Yuansheng Ni and Shizhuo Sun and Rongqi Fan and Wenhu Chen } ,
year = { 2024 } ,
eprint = { 2406.04485 } ,
archivePrefix = { arXiv } ,
primaryClass = { cs.AI }
}
