PIFu Download - PIFu -Quellcode -Download

PIFu

Python

1.0.0

Herunterladen

Pifu: Pixel-ausgerichtete implizite Funktion für hochauflösende gekleidete menschliche Digitalisierung

Nachricht:

[2020/05/04] Die EGL -Rendering -Option für die Erzeugung der Schulungsdaten hinzugefügt. Jetzt können Sie Ihre eigenen Trainingsdaten mit kopflosen Maschinen erstellen!
[2020/04/13] Demo mit Google Colab (inkl. Visualisierung) ist verfügbar. Besonderer Dank geht an @nanopoteto !!!
[2020/02/26] Die Lizenz wird auf die MIT -Lizenz aktualisiert! Genießen!

Dieses Repository enthält eine Pytorch-Implementierung von "PIFU: Pixel-ausgerichtete implizite Funktion für hochauflösende gekleidete menschliche Digitalisierung".

Projektseite

Wenn Sie den Code für Ihre Forschung nützlich finden, sollten Sie das Papier zitieren.

 @InProceedings{saito2019pifu,
author = {Saito, Shunsuke and Huang, Zeng and Natsume, Ryota and Morishima, Shigeo and Kanazawa, Angjoo and Li, Hao},
title = {PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization},
booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
month = {October},
year = {2019}
}

Diese Codebasis enthält:

Testcode
Trainingscode
Datenerzeugungscode

Anforderungen

Python 3
Pytorch getestet auf 1.4.0
JSON
Pil
Skimage
tqdm
Numpy
CV2

Für die Schulung und Datenerzeugung

Trimesh mit Pyembree
Pyexr
Pyopengl
FreeGlut (verwenden Sie sudo apt-get install freeglut3-dev für Ubuntu-Benutzer)
(Optional) EGL -verwandte Pakete zum Rendern mit Kopflosenmaschinen. (Verwenden Sie apt install libgl1-mesa-dri libegl1-mesa libgbm1 für Ubuntu-Benutzer)

WARNUNG: Ich fand, dass veraltete Nvidia -Treiber zu Fehlern mit EGL führen können. Wenn Sie die EGL -Version ausprobieren möchten, aktualisieren Sie bitte Ihren NVIDIA -Treiber auf die neueste!

Windows Demo Installation Instuction

Miniconda installieren
Fügen Sie conda zum Pfad hinzu
Installieren Sie Git Bash
Starten Sie Gitbinbash.exe
eval "$(conda shell.bash hook)" dann conda activate my_env deshalb aktivieren
Automatische env create -f environment.yml (schauen Sie das)
Oder manuell einrichten Umgebung
- conda create —name pifu python , wo pifu Name Ihrer Umgebung ist
- conda activate
- conda install pytorch torchvision cudatoolkit=10.1 -c pytorch
- conda install pillow
- conda install scikit-image
- conda install tqdm
- conda install -c menpo opencv
Download wget.exe
Platzieren Sie es in Gitmingw64bin
sh ./scripts/download_trained_model.sh
Entfernen Sie den Hintergrund aus Ihrem Bild (zum Beispiel)
Erstellen Sie Schwarz-Weiß-Maske .png
Ersetzen Sie das Original aus Sample_images/
Probieren Sie es aus - sh ./scripts/test.sh
Laden Sie deshalb Meshlab herunter
Öffnen Sie die .obj -Datei in Meshlab

Demo

WARNUNG: Das freigegebene Modell ist mit meist aufrechten stehenden Scans mit schwacher Perspektivprojektion und dem Stellwinkel von 0 Grad ausgebildet. Die Rekonstruktionsqualität kann für Bilder abbauen, die von den Trainingendaten hoch abgewichen sind.

Führen Sie das folgende Skript aus, um die vorgefertigten Modelle aus dem folgenden Link herunterzuladen, und kopieren Sie sie unter ./PIFu/checkpoints/ .

 sh ./scripts/download_trained_model.sh

Führen Sie das folgende Skript aus. Das Skript erstellt eine strukturierte .obj -Datei unter ./PIFu/eval_results/ . Möglicherweise müssen Sie ./apps/crop_img.py verwenden, um ein Eingabebild und die entsprechende Maske in den Trainingsdaten für eine bessere Leistung in etwa auszurichten. Für die Entfernung von Hintergrund können Sie alle Off-the-Shelf-Werkzeuge wie REMEBG verwenden.

 sh ./scripts/test.sh

Demo auf Google Colab

Wenn Sie kein Setup zum Ausführen von PIFU haben, bieten wir Google Colab -Version an, um es auszuprobieren, sodass Sie Pifu kostenlos in der Cloud ausführen können. Probieren Sie unsere Colab -Demo mit dem folgenden Notizbuch aus:

Datenerzeugung (nur Linux)

Obwohl wir aufgrund der Einschränkung der Handelskans nicht die vollständigen Trainingsdaten veröffentlichen können, bieten wir Rendering -Code mit kostenlosen Modellen in Renderpeople an. In diesem Tutorial wird das Modell rp_dennis_posed_004 verwendet. Bitte laden Sie das Modell von diesem Link herunter und entpacken Sie den Inhalt unter einem Ordner mit dem Namen rp_dennis_posed_004_OBJ . Der gleiche Vorgang kann auf andere Renderpeople -Daten angewendet werden.

Warnung: Der folgende Code wird ohne Pyembree extrem langsam. Bitte stellen Sie sicher, dass Sie Pyembree installieren.

Führen Sie das folgende Skript aus, um die Koeffizienten der sphärischen Harmonischen für die vorkundige Strahlenübertragung (PRT) zu berechnen. Kurz gesagt, PRT wird verwendet, um einen genauen Lichttransport einschließlich Umgebungsverschluss zu berücksichtigen, ohne die Online -Rendering -Zeit zu beeinträchtigen, was den Photorealismus im Vergleich zu einer gemeinsamen sperischen Harmonischen, die unter Verwendung von Oberflächennormalen rendert, signifikant verbessert. Dieser Prozess muss für jede OBJ -Datei einmal durchgeführt werden.

 python -m apps.prt_util -i {path_to_rp_dennis_posed_004_OBJ}

Führen Sie das folgende Skript aus. Unter dem angegebenen Datenpfad erstellt der Code Ordner mit dem Namen GEO , RENDER , MASK , PARAM , UV_RENDER , UV_MASK , UV_NORMAL und UV_POS . Beachten Sie, dass Sie möglicherweise Validierungsfächer auflisten müssen, um das Training in {path_to_training_data}/val.txt auszuschließen (dieses Tutorial hat nur ein Thema und lässt es leer). Wenn Sie Bilder mit mit NVIDIA GPU ausgestatteten Kopffreien ausgestattet haben, fügen Sie -e hinzu, um das EGL -Rendering zu ermöglichen.

 python -m apps.render_data -i {path_to_rp_dennis_posed_004_OBJ} -o {path_to_training_data} [-e]

Training (nur Linux)

Warnung: Der folgende Code wird ohne Pyembree extrem langsam. Bitte stellen Sie sicher, dass Sie Pyembree installieren.

Führen Sie das folgende Skript aus, um das Formmodul zu trainieren. Die Zwischenergebnisse und Kontrollpunkte werden unter ./results bzw. ./checkpoints gespeichert. Sie können addieren --batch_size und --num_sample_input Flags, um die Stapelgröße und die Anzahl der abgetasteten Punkte basierend auf dem verfügbaren GPU -Speicher anzupassen.

 python -m apps.train_shape --dataroot {path_to_training_data} --random_flip --random_scale --random_trans

Führen Sie das folgende Skript aus, um das Farbmodul zu trainieren.

 python -m apps.train_color --dataroot {path_to_training_data} --num_sample_inout 0 --num_sample_color 5000 --sigma 0.1 --random_flip --random_scale --random_trans