VideoGenHub

Videogenhub

Videogenhub는 모든 조건부 비디오 생성 모델의 추론 및 평가를 표준화하는 원 스톱 라이브러리입니다.

• 우리는 2 개의 저명한 생성 작업 (텍스트-비디오 및 이미지-비디오)을 정의합니다.
• 우리는 공정한 비교를 보장하기 위해 통합 추론 파이프 라인을 구축했습니다. 우리는 현재 약 10 개의 모델을 지원합니다.

? 소식

• 2024 년 6 월 10 일 : Genai-Arena 종이가 나왔습니다. Huggingface Daily Papers에 소개됩니다.

? 목차

• 설치
• ? ‍? 시작하세요
• ? 특허
• 소환

설치?

PYPI에서 설치하려면 :

 pip install videogen-hub

Github에서 설치하려면 :

 git clone https : // github . com / TIGER - AI - Lab / VideoGenHub . git
cd VideoGenHub
cd env_cfg
pip install - r requirements . txt
cd ..
pip install - e .

OpenSora의 요구 사항은 env_cfg/opensora.txt 에 있습니다

Show One과 같은 일부 모델의 경우 huggingface-cli 통해 로그인해야합니다.

huggingface-cli login

? ‍? 시작해?

벤치마킹

벤치 마크를 사용하여 실험을 재현합니다.

텍스트-비디오 생성 :

 ./t2v_inference.sh --<model_name> --<device>

하나의 모델을 추론합니다

 import videogen_hub

model = videogen_hub . load ( 'VideoCrafter2' )
video = model . infer_one_video ( prompt = "A child excitedly swings on a rusty swing set, laughter filling the air." )

# Here video is a torch tensor of shape torch.Size([16, 3, 320, 512])

Google Colab을 참조하십시오. https://colab.research.google.com/drive/145umsboe5jlqz2m0lkqvvvqsyrja1ieae?usp=sharing을 참조하십시오

? 철학 ?

Research 및 Collaboration을 간소화함으로써 Videogenhub는 비디오 생성 분야를 추진하는 데 중추적 인 역할을합니다.

• 평가의 순도 : 우리는 모든 모델에 대한 공정하고 일관된 평가를 보장하여 편견을 제거합니다.
• 연구 로드맵 : 작업을 정의하고 데이터 세트를 선별함으로써 연구원에게 명확한 방향을 제공합니다.
• 공개 협력 : 우리의 플랫폼은 관련 기술의 교환 및 협력을 촉진하여 마음과 혁신을 모았습니다.

구현 된 모델

비디오 생성에 10 개 이상의 모델이 포함되었습니다.

방법	장소	유형
라비	-	텍스트-비디오 생성
videocrafter2	-	텍스트-비디오 생성
ModelsCope	-	텍스트-비디오 생성
Streamingt2v	-	텍스트-비디오 생성
쇼 1	-	텍스트-비디오 생성
Opensora	-	텍스트-비디오 생성
OpenSora-plan	-	텍스트-비디오 생성
T2V 터보	-	텍스트-비디오 생성
Dynamicrafter2	-	이미지-비디오 생성
예망	ICLR'24	이미지-비디오 생성
Constri2v	-	Image-to_video 생성
i2vgenxl	-	Image-to_video 생성

TODO

• Comfyui 지원을 추가하십시오
• 메트릭 지원을 추가하십시오
• 시각화 지원 추가 (ImagenHub와 유사)
• 비디오 편집 작업을 추가하십시오

? 라이센스?

이 프로젝트는 라이센스에 따라 릴리스됩니다.

인용?

이 작품은 Genai-Arena 작업의 일부입니다.

우리의 코드, 데이터, 모델 또는 결과를 사용하는 경우 신문을 친절하게 인용하십시오.

 @misc { jiang2024genai ,
      title = { GenAI Arena: An Open Evaluation Platform for Generative Models } , 
      author = { Dongfu Jiang and Max Ku and Tianle Li and Yuansheng Ni and Shizhuo Sun and Rongqi Fan and Wenhu Chen } ,
      year = { 2024 } ,
      eprint = { 2406.04485 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.AI }
}