Diff HMR

DIFF-HMR: Récupération du maillage humain basé sur la diffusion (ICCV'23, atelier CV4Metaverse)

Il s'agit de la mise en œuvre officielle Pytorch de l'approche décrite dans l'article suivant:

Approche générative pour la récupération probabiliste du maillage humain à l'aide de modèles de diffusion
Hanbyel Cho et Junmo Kim
IEEE / CVF International Conference on Computer Vision (ICCV), 2023, CV4Metaverst Workshop

Abstrait

Ce travail se concentre sur le problème de la reconstruction d'un maillage du corps humain 3D à partir d'une image 2D donnée. Malgré l'ambiguïté inhérente à la tâche de récupération du maillage humain, la plupart des travaux existants ont adopté une méthode de régression d'une seule sortie. En revanche, nous proposons un cadre d'approche génératif, appelé "Récupération du maillage humain basé sur la diffusion (Diff-HMR)" qui tire parti du processus de diffusion du débrage pour tenir compte de plusieurs résultats plausibles. Pendant la phase d'entraînement, les paramètres SMPL sont diffusés des paramètres de vérification du sol à la distribution aléatoire, et le diff-HMR apprend le processus inverse de cette diffusion. Dans la phase d'inférence, le modèle affine progressivement les paramètres SMPL aléatoires donnés dans les paramètres correspondants qui s'alignent avec l'image d'entrée. Difff-HMR, étant une approche générative, est capable de générer divers résultats pour la même image d'entrée que le bruit d'entrée varie. Nous effectuons des expériences de validation, et les résultats démontrent que le cadre proposé modélise efficacement l'ambiguïté inhérente de la tâche de récupération du maillage humain de manière probabiliste.

Dépendances

Assurez-vous que les dépendances suivantes sont installées avant de continuer:

• Distribution Python 3+
• Pytorch> = 0,4.0

Licence

Ce travail est sous licence sous CC BY-NC. Voir la licence pour plus de détails. Les ensembles de données tiers sont soumis à leurs licences respectives. Si vous utilisez notre code / modèles dans votre recherche, veuillez citer notre article:

 @InProceedings{Cho_2023_ICCV,
    author    = {Cho, Hanbyel and Kim, Junmo},
    title     = {Generative Approach for Probabilistic Human Mesh Recovery Using Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops},
    month     = {October},
    year      = {2023},
    pages     = {4183-4188}
}

Reconnaissance

Une partie de notre code est empruntée à Spin et à Denoisant-Diffusion-Pytorch.
Veuillez vous référer à leurs pages de projet pour plus d'informations.