Diff HMR

DIFF-HMR: recuperación de malla humana basada en difusión (ICCV'23, taller CV4Mettaverse)

Esta es la implementación oficial de Pytorch del enfoque descrito en el siguiente documento:

Enfoque generativo para la recuperación de malla humana probabilística utilizando modelos de difusión
Hanbyel Cho y Junmo Kim
Conferencia internacional IEEE/CVF sobre visión por computadora (ICCV), 2023, taller CV4Mettaverse

Abstracto

Este trabajo se centra en el problema de reconstruir una malla del cuerpo humano 3D de una imagen 2D dada. A pesar de la ambigüedad inherente de la tarea de recuperación de la malla humana, la mayoría de los trabajos existentes han adoptado un método para retroceder un solo resultado. Por el contrario, proponemos un marco de enfoque generativo, llamado "recuperación de malla humana basada en difusión (DIFF-HMR)" que aprovecha el proceso de difusión de renovación para dar cuenta de múltiples resultados plausibles. Durante la fase de entrenamiento, los parámetros SMPL se difunden de los parámetros de verdad en tierra a una distribución aleatoria, y Diff-HMR aprende el proceso inverso de esta difusión. En la fase de inferencia, el modelo refina progresivamente los parámetros SMPL aleatorios dados en los parámetros correspondientes que se alinean con la imagen de entrada. DiFF-HMR, siendo un enfoque generativo, es capaz de generar diversos resultados para la misma imagen de entrada que el ruido de entrada varía. Realizamos experimentos de validación, y los resultados demuestran que el marco propuesto modela efectivamente la ambigüedad inherente de la tarea de recuperación de malla humana de manera probabilística.

Dependencias

Asegúrese de tener las siguientes dependencias instaladas antes de continuar:

• Distribución de Python 3+
• Pytorch> = 0.4.0

Licencia

Este trabajo tiene licencia bajo CC BY-NC. Vea la licencia para más detalles. Los conjuntos de datos de terceros están sujetos a sus respectivas licencias. Si usa nuestro código/modelos en su investigación, cite nuestro documento:

 @InProceedings{Cho_2023_ICCV,
    author    = {Cho, Hanbyel and Kim, Junmo},
    title     = {Generative Approach for Probabilistic Human Mesh Recovery Using Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops},
    month     = {October},
    year      = {2023},
    pages     = {4183-4188}
}

Reconocimiento

Parte de nuestro código se toma prestada de Spin y Denoising-Diffusion-Pytorch.
Consulte sus páginas de proyecto para obtener más información.