MVEdit

3D適配器

Pytorch官方的論文實施：

3D適應器：高質量3D代的幾何符合多視圖擴散
Hansheng Chen ¹ ，Bokui Shen ² ，Yulin Liu ^3,4 ，Ruoxi Shi ³ ，Linqi Zhou ² ，Connor Z. Lin ² ，Jiayuan Gu ³ ，Hao Su ^3,4 ，Gordon Wetzstein ¹ ，Leonidas Guibas ^1
1斯坦福大學， ^2個Appate Labs， ³ UCSD， ⁴ Hillbot
[項目頁面] [？演示] [紙]

通用3D擴散適配器使用受控的多視圖編輯
Hansheng Chen ¹ ，Ruoxi Shi ² ，Yulin Liu ² ，Bokui Shen ³ ，Jiayuan GU ² ，Gordon Wetzstein ¹ ，Hao Su ² ，Leonidas Guibas ^1
1斯坦福大學， ^2個UCSD， ^3個Appare Labs
[項目頁面] [？演示] [紙]

3DADAPTER.MP4

戒酒

• 釋放基於GRM的3D適配器（不幸的是，我們無法在GRM的正式發布之前發布這些模型）

安裝

該代碼已在描述如下的環境中進行了測試：

• Linux（在Ubuntu 20及以上進行測試）
• CUDA工具包11.8及以上
• Pytorch 2.1及以上
• FFMPEG，X264（可選，用於導出視頻）

其他依賴項可以通過pip install -r requirements.txt安裝。

安裝命令的示例如下（您可以自己更改CUDA版本）：

 # Export the PATH of CUDA toolkit
export PATH=/usr/local/cuda-12.1/bin: $PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64: $LD_LIBRARY_PATH

# Create conda environment
conda create -y -n mvedit python=3.10
conda activate mvedit

# Install FFmpeg (optional)
conda install -c conda-forge ffmpeg x264

# Install PyTorch
conda install pytorch==2.1.2 torchvision==0.16.2 pytorch-cuda=12.1 -c pytorch -c nvidia

# Clone this repo and install other dependencies
git clone https://github.com/Lakonik/MVEdit && cd MVEdit
pip install -r requirements.txt

如果環境正確配置，則該代碼庫還可以在Windows系統上工作。有關Windows上環境設置的更多信息，請參考第8期。

推理

我們建議使用Gradio Web UI及其API進行推理。運行Web UI需要至少24GB VRAM的GPU。

Web UI

運行以下命令以啟動Web UI：

python app.py --unload-models

Web UI將在http：// localhost：7860提供。如果添加--share標誌，將生成一個臨時公共URL，供您與他人共享Web UI。

所有型號將按需自動加載。第一次運行將需要很長時間才能下載模型。如果下載失敗，請檢查您與GitHub，Google Drive和擁抱面的網絡連接。

要查看其他選項，請運行：

python app.py -h

API

After starting the Web UI, the API docs will be available at http://localhost:7860/?view=api.文檔將自動通過Gradio生成，數據類型和默認值可能不正確。請使用Web UI中的默認值作為參考。

請參閱我們與Python使用API​​使用的示例。

訓練

基於優化的3D適配器（又名MVEDIT適配器）僅採用現成的模型，不需要進一步的培訓。

GRM的正式發布後，將發布基於GRM的3D型號的培訓代碼。

致謝

該代碼庫建立在以下存儲庫上：

• 從ssdnerf修改的基本庫
• 從穩定 - 夢fusion修改的NERF渲染器和DMTET
• 從3DGS和差速器柵格化修飾的高斯碎片渲染器
• 網眼I/O從Dreamgaussian修改
• GRM用於高斯重建
• Zero123 ++用於圖像到3D初始化
• IP適配器用於額外的條件
• 示踪劑進行背景
• LOFTR用於圖像到3D的姿勢估計
• 圖像到3D的正常預測的綜合
• 用於網格預處理的圖像包裝器

引用

 @misc { 3dadapter2024 ,
    title = { 3D-Adapter: Geometry-Consistent Multi-View Diffusion for High-Quality 3D Generation } ,
    author = { Hansheng Chen and Bokui Shen and Yulin Liu and Ruoxi Shi and Linqi Zhou and Connor Z. Lin and Jiayuan Gu and Hao Su and Gordon Wetzstein and Leonidas Guibas } ,
    year = { 2024 } ,
    eprint = { 2410.18974 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.CV } ,
    url = { https://arxiv.org/abs/2410.18974 } ,
}

@misc { mvedit2024 ,
    title = { Generic 3D Diffusion Adapter Using Controlled Multi-View Editing } ,
    author = { Hansheng Chen and Ruoxi Shi and Yulin Liu and Bokui Shen and Jiayuan Gu and Gordon Wetzstein and Hao Su and Leonidas Guibas } ,
    year = { 2024 } ,
    eprint = { 2403.12032 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.CV }
}