MVEdit

3D适配器

Pytorch官方的论文实施：

3D适应器：高质量3D代的几何符合多视图扩散
Hansheng Chen ¹ ，Bokui Shen ² ，Yulin Liu ^3,4 ，Ruoxi Shi ³ ，Linqi Zhou ² ，Connor Z. Lin ² ，Jiayuan Gu ³ ，Hao Su ^3,4 ，Gordon Wetzstein ¹ ，Leonidas Guibas ^1
1斯坦福大学， ^2个Appate Labs， ³ UCSD， ⁴ Hillbot
[项目页面] [？演示] [纸]

通用3D扩散适配器使用受控的多视图编辑
Hansheng Chen ¹ ，Ruoxi Shi ² ，Yulin Liu ² ，Bokui Shen ³ ，Jiayuan GU ² ，Gordon Wetzstein ¹ ，Hao Su ² ，Leonidas Guibas ^1
1斯坦福大学， ^2个UCSD， ^3个Appare Labs
[项目页面] [？演示] [纸]

3DADAPTER.MP4

戒酒

• 释放基于GRM的3D适配器（不幸的是，我们无法在GRM的正式发布之前发布这些模型）

安装

该代码已在描述如下的环境中进行了测试：

• Linux（在Ubuntu 20及以上进行测试）
• CUDA工具包11.8及以上
• Pytorch 2.1及以上
• FFMPEG，X264（可选，用于导出视频）

其他依赖项可以通过pip install -r requirements.txt安装。

安装命令的示例如下（您可以自己更改CUDA版本）：

 # Export the PATH of CUDA toolkit
export PATH=/usr/local/cuda-12.1/bin: $PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64: $LD_LIBRARY_PATH

# Create conda environment
conda create -y -n mvedit python=3.10
conda activate mvedit

# Install FFmpeg (optional)
conda install -c conda-forge ffmpeg x264

# Install PyTorch
conda install pytorch==2.1.2 torchvision==0.16.2 pytorch-cuda=12.1 -c pytorch -c nvidia

# Clone this repo and install other dependencies
git clone https://github.com/Lakonik/MVEdit && cd MVEdit
pip install -r requirements.txt

如果环境正确配置，则该代码库还可以在Windows系统上工作。有关Windows上环境设置的更多信息，请参考第8期。

推理

我们建议使用Gradio Web UI及其API进行推理。运行Web UI需要至少24GB VRAM的GPU。

Web UI

运行以下命令以启动Web UI：

python app.py --unload-models

Web UI将在http：// localhost：7860提供。如果添加--share标志，将生成一个临时公共URL，供您与他人共享Web UI。

所有型号将按需自动加载。第一次运行将需要很长时间才能下载模型。如果下载失败，请检查您与GitHub，Google Drive和拥抱面的网络连接。

要查看其他选项，请运行：

python app.py -h

API

启动Web UI后，API文档将在http：// localhost：7860/？view = api上可用。文档将自动通过Gradio生成，数据类型和默认值可能不正确。请使用Web UI中的默认值作为参考。

请参阅我们与Python使用API​​使用的示例。

训练

基于优化的3D适配器（又名MVEDIT适配器）仅采用现成的模型，不需要进一步的培训。

GRM的正式发布后，将发布基于GRM的3D型号的培训代码。

致谢

该代码库建立在以下存储库上：

• 从ssdnerf修改的基本库
• 从稳定 - 梦fusion修改的NERF渲染器和DMTET
• 从3DGS和差速器栅格化修饰的高斯碎片渲染器
• 网眼I/O从Dreamgaussian修改
• GRM用于高斯重建
• Zero123 ++用于图像到3D初始化
• IP适配器用于额外的条件
• 示踪剂进行背景
• LOFTR用于图像到3D的姿势估计
• 图像到3D的正常预测的综合
• 用于网格预处理的图像包装器

引用

 @misc { 3dadapter2024 ,
    title = { 3D-Adapter: Geometry-Consistent Multi-View Diffusion for High-Quality 3D Generation } ,
    author = { Hansheng Chen and Bokui Shen and Yulin Liu and Ruoxi Shi and Linqi Zhou and Connor Z. Lin and Jiayuan Gu and Hao Su and Gordon Wetzstein and Leonidas Guibas } ,
    year = { 2024 } ,
    eprint = { 2410.18974 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.CV } ,
    url = { https://arxiv.org/abs/2410.18974 } ,
}

@misc { mvedit2024 ,
    title = { Generic 3D Diffusion Adapter Using Controlled Multi-View Editing } ,
    author = { Hansheng Chen and Ruoxi Shi and Yulin Liu and Bokui Shen and Jiayuan Gu and Gordon Wetzstein and Hao Su and Leonidas Guibas } ,
    year = { 2024 } ,
    eprint = { 2403.12032 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.CV }
}