MVEdit

3D-Adapter

Offizielle Pytorch -Implementierung der Papiere:

3D-Adaptter: Geometrie-konsistente Multi-View-Diffusion für hochwertige 3D-Generation
Hansheng Chen ¹ , Bokui Shen ² , Yulin Liu ^3,4 , Ruoxi Shi ³ , Linqi Zhou ² , Connor Z. Lin ² , Jiyuan Gu ³ , Hao Su ^3,4 , Gordon Wetzstein ¹ , Leonidas Guibas ^1
1 Stanford University, ² Offenlegungslabors, ³ UCSD, ⁴ Hillbot
[Projektseite] [? Demo] [Papier]

Generisches 3D-Diffusionsadapter mit kontrollierter Multi-View-Bearbeitung
Hansheng Chen ¹ , Ruoxi Shi ² , Yulin Liu ² , Bokui Shen ³ , Jiayuan Gu ² , Gordon Wetzstein ¹ , Hao Su ² , Leonidas Guibas ^1
1 Stanford University, ² UCSD, ³ Offenlegungslabors
[Projektseite] [? Demo] [Papier]

3Dadapter.mp4

Todos

• Release GRM-basierte 3D-Adapter (leider können wir diese Modelle nicht vor der offiziellen Veröffentlichung von GRM veröffentlichen)

Installation

Der Code wurde in der wie folgt beschriebenen Umgebung getestet:

• Linux (getestet auf Ubuntu 20 und höher)
• CUDA -Toolkit 11,8 und höher
• Pytorch 2.1 und höher
• Ffmpeg, x264 (optional, zum Exportieren von Videos)

Andere Abhängigkeiten können über pip install -r requirements.txt installiert werden.

Ein Beispiel für Installationsbefehle ist unten (Sie können die CUDA -Version selbst ändern):

 # Export the PATH of CUDA toolkit
export PATH=/usr/local/cuda-12.1/bin: $PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64: $LD_LIBRARY_PATH

# Create conda environment
conda create -y -n mvedit python=3.10
conda activate mvedit

# Install FFmpeg (optional)
conda install -c conda-forge ffmpeg x264

# Install PyTorch
conda install pytorch==2.1.2 torchvision==0.16.2 pytorch-cuda=12.1 -c pytorch -c nvidia

# Clone this repo and install other dependencies
git clone https://github.com/Lakonik/MVEdit && cd MVEdit
pip install -r requirements.txt

Diese Codebasis funktioniert auch unter Windows -Systemen, wenn die Umgebung korrekt konfiguriert ist. Weitere Informationen zum Umgebungsaufbau unter Windows finden Sie in Ausgabe 8.

Schlussfolgerung

Wir empfehlen, die Gradio Web UI und ihre APIs für Inferenz zu verwenden. Eine GPU mit mindestens 24 GB VRAM ist erforderlich, um die Web -Benutzeroberfläche auszuführen.

Web UI

Führen Sie den folgenden Befehl aus, um die Web -Benutzeroberfläche zu starten:

python app.py --unload-models

Die Web -Benutzeroberfläche wird unter http: // localhost: 7860 verfügbar sein. Wenn Sie die Flagge --share hinzufügen, wird eine temporäre öffentliche URL generiert, damit Sie die Web -Benutzeroberfläche mit anderen teilen können.

Alle Modelle werden automatisch auf Bedarf geladen. Der erste Lauf wird sehr lange dauern, um die Modelle herunterzuladen. Überprüfen Sie Ihre Netzwerkverbindung zu GitHub, Google Drive und dem Umarmungsgesicht, wenn der Download fehlschlägt.

Um andere Optionen anzuzeigen, führen Sie aus:

python app.py -h

API

Nach dem Start der Web -Benutzeroberfläche sind die API -Dokumente unter http: // localhost: 7860/? View = api verfügbar. Die Dokumente werden automatisch von Gradio generiert, und die Datentypen und Standardwerte können falsch sein. Bitte verwenden Sie die Standardwerte in der Web -Benutzeroberfläche als Referenz.

Bitte beachten Sie unsere Beispiele für die API -Verwendung bei Python.

Ausbildung

Optimierungsbasierte 3D-Adapter (auch bekannt als Mvedit-Adapter) verwenden nur off-the-Shelf-Modelle und erfordern keine weitere Schulung.

Der Trainingscode für GRM-basierte 3D-Adapter wird nach der offiziellen Veröffentlichung von GRM veröffentlicht.

Anerkennung

Diese Codebasis basiert auf den folgenden Repositories:

• Basisbibliothek von SSDNERF geändert
• Nerf-Renderer und DMTET aus stabilem Dreamfusion modifiziert
• Gaußsche Splatting -Renderer, modifiziert aus 3DGs und Differential -Gauß -Rasterisierung
• Mesh I/O modifiziert aus Dreamgaussian
• GRM für Gaußsche Rekonstruktion
• Null123 ++ für die Bild-zu-3D-Initialisierung
• IP-Adapter für die zusätzliche Konditionierung
• Tracer für die Entfernung von Hintergrund
• LOFTR für die Posenschätzung in Bild-zu-3D
• Omnidata für die normale Vorhersage von Image-to-3D
• Bildpacker für die Vorverarbeitung

Zitat

 @misc { 3dadapter2024 ,
    title = { 3D-Adapter: Geometry-Consistent Multi-View Diffusion for High-Quality 3D Generation } ,
    author = { Hansheng Chen and Bokui Shen and Yulin Liu and Ruoxi Shi and Linqi Zhou and Connor Z. Lin and Jiayuan Gu and Hao Su and Gordon Wetzstein and Leonidas Guibas } ,
    year = { 2024 } ,
    eprint = { 2410.18974 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.CV } ,
    url = { https://arxiv.org/abs/2410.18974 } ,
}

@misc { mvedit2024 ,
    title = { Generic 3D Diffusion Adapter Using Controlled Multi-View Editing } ,
    author = { Hansheng Chen and Ruoxi Shi and Yulin Liu and Bokui Shen and Jiayuan Gu and Gordon Wetzstein and Hao Su and Leonidas Guibas } ,
    year = { 2024 } ,
    eprint = { 2403.12032 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.CV }
}