MVEdit
1.0.0
논문의 공식 Pytorch 구현 :
3D 자산 : 고품질 3D 세대를위한 기하학적 일관성 다중 뷰 확산
Hansheng Chen 1 , Bokui Shen 2 , Yulin Liu 3,4 , Ruoxi Shi 3 , Linqi Zhou 2 , Connor Z. Lin 2 , Jiayuan Gu 3 , Hao Su 3,4 , Gordon Wetzstein 1 , Leonidas Guibas 1
1 Stanford University, 2 개의 Apparate Labs, 3 UCSD, 4 Hillbot
[프로젝트 페이지] [? 데모] [종이]
제어 된 멀티 뷰 편집을 사용한 일반 3D 확산 어댑터
Hansheng Chen 1 , Ruoxi Shi 2 , Yulin Liu 2 , Bokui Shen 3 , Jiyuan Gu 2 , Gordon Wetzstein 1 , Hao Su 2 , Leonidas Guibas 1
1 Stanford University, 2 UCSD, 3 개의 의류 실험실
[프로젝트 페이지] [? 데모] [종이]
코드는 다음과 같이 설명 된 환경에서 테스트되었습니다.
다른 종속성은 pip install -r requirements.txt 통해 설치할 수 있습니다.
설치 명령의 예는 다음과 같습니다 (CUDA 버전을 직접 변경할 수 있음).
# Export the PATH of CUDA toolkit
export PATH=/usr/local/cuda-12.1/bin: $PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64: $LD_LIBRARY_PATH
# Create conda environment
conda create -y -n mvedit python=3.10
conda activate mvedit
# Install FFmpeg (optional)
conda install -c conda-forge ffmpeg x264
# Install PyTorch
conda install pytorch==2.1.2 torchvision==0.16.2 pytorch-cuda=12.1 -c pytorch -c nvidia
# Clone this repo and install other dependencies
git clone https://github.com/Lakonik/MVEdit && cd MVEdit
pip install -r requirements.txt이 코드베이스는 환경이 올바르게 구성된 경우 Windows 시스템에서도 작동합니다. Windows의 환경 설정에 대한 자세한 내용은 이슈 #8을 참조하십시오.
추론을 위해 Gradio Web UI 및 API를 사용하는 것이 좋습니다. 웹 UI를 실행하려면 24GB 이상의 VRAM이있는 GPU가 필요합니다.
웹 UI를 시작하려면 다음 명령을 실행하십시오.
python app.py --unload-models 웹 UI는 http : // localhost : 7860에서 제공됩니다. --share 플래그를 추가하면 웹 UI를 다른 사람과 공유 할 수 있도록 임시 공개 URL이 생성됩니다.
모든 모델은 주문시 자동으로로드됩니다. 첫 번째 실행은 모델을 다운로드하는 데 시간이 오래 걸립니다. 다운로드가 실패하면 Github, Google 드라이브 및 포옹 얼굴에 대한 네트워크 연결을 확인하십시오.
다른 옵션을 보려면 실행하십시오.
python app.py -h웹 UI를 시작하면 API 문서는 http : // localhost : 7860/? view = api에서 사용할 수 있습니다. 문서는 Gradio에 의해 자동으로 생성되며 데이터 유형 및 기본값이 잘못 될 수 있습니다. 웹 UI의 기본값을 참조로 사용하십시오.
Python이있는 API 사용에 대한 예제를 참조하십시오.
최적화 기반 3D 어댑터 (일명 MVEDIT 어댑터)는 상용 모델 만 채택하며 더 이상 교육이 필요하지 않습니다.
GRM 기반 3D 자산의 교육 코드는 GRM의 공식 릴리스 후에 출시됩니다.
이 코드베이스는 다음 리포지토리를 기반으로합니다.
@misc { 3dadapter2024 ,
title = { 3D-Adapter: Geometry-Consistent Multi-View Diffusion for High-Quality 3D Generation } ,
author = { Hansheng Chen and Bokui Shen and Yulin Liu and Ruoxi Shi and Linqi Zhou and Connor Z. Lin and Jiayuan Gu and Hao Su and Gordon Wetzstein and Leonidas Guibas } ,
year = { 2024 } ,
eprint = { 2410.18974 } ,
archivePrefix = { arXiv } ,
primaryClass = { cs.CV } ,
url = { https://arxiv.org/abs/2410.18974 } ,
}
@misc { mvedit2024 ,
title = { Generic 3D Diffusion Adapter Using Controlled Multi-View Editing } ,
author = { Hansheng Chen and Ruoxi Shi and Yulin Liu and Bokui Shen and Jiayuan Gu and Gordon Wetzstein and Hao Su and Leonidas Guibas } ,
year = { 2024 } ,
eprint = { 2403.12032 } ,
archivePrefix = { arXiv } ,
primaryClass = { cs.CV }
}
