Diff HMR
1.0.0
Dies ist die offizielle Pytorch -Implementierung des im folgenden Papier beschriebenen Ansatzes:
Generatives Ansatz für die probabilistische menschliche Mesh -Genesung unter Verwendung von Diffusionsmodellen
Hanbyel Cho und Junmo Kim
IEEE/CVF Internationale Konferenz über Computer Vision (ICCV), 2023, CV4metaverse Workshop
Diese Arbeit konzentriert sich auf das Problem der Rekonstruktion eines 3D -menschlichen Körpernetzes aus einem gegebenen 2D -Bild. Trotz der inhärenten Unklarheit der Aufgabe der menschlichen Mesh -Genesung haben die meisten vorhandenen Arbeiten eine Methode zur Wiederherstellung einer einzelnen Ausgabe angewendet. Im Gegensatz dazu schlagen wir ein generatives Ansatz-Framework vor, das als "Diffusionsbasierte menschliche Mesh-Wiederherstellung (Diff-HMR)" bezeichnet wird, das den demoisingiösen Diffusionsprozess ausnutzt, um mehrere plausible Ergebnisse zu berücksichtigen. Während der Trainingsphase werden die SMPL-Parameter von der Bodenwahrheitsparameter zu Zufallsverteilung diffundiert, und Diff-HMR lernt den umgekehrten Prozess dieser Diffusion. In der Inferenzphase verfeinert das Modell die gegebenen zufälligen SMPL -Parameter schrittweise in die entsprechenden Parameter, die mit dem Eingabebild ausgerichtet sind. Diff-HMR, der ein generativer Ansatz ist, kann verschiedene Ergebnisse für das gleiche Eingangsbild erzeugen, wenn das Eingangsrauschen variiert. Wir führen Validierungsexperimente durch, und die Ergebnisse zeigen, dass das vorgeschlagene Rahmen die inhärente Unklarheit der Aufgabe der menschlichen Netzwiederherstellung auf probabilistische Weise effektiv modelliert.
Stellen Sie sicher, dass Sie die folgenden Abhängigkeiten installiert haben, bevor Sie fortfahren:
Diese Arbeit ist unter CC BY-NC lizenziert. Weitere Informationen finden Sie in Lizenz. Datensätze von Drittanbietern unterliegen ihren jeweiligen Lizenzen. Wenn Sie unseren Code/Modellen in Ihrer Forschung verwenden, zitieren Sie bitte unser Papier:
@InProceedings{Cho_2023_ICCV,
author = {Cho, Hanbyel and Kim, Junmo},
title = {Generative Approach for Probabilistic Human Mesh Recovery Using Diffusion Models},
booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops},
month = {October},
year = {2023},
pages = {4183-4188}
}
Ein Teil unseres Kodex wird von Spin und Denoising-Diffusion-Pytorch entlehnt.
Weitere Informationen finden Sie in ihren Projektseiten.
