Diff HMR

DIFF-HMR: Recuperação de malha humana baseada em difusão (ICCV'23, Workshop CV4Metaverse)

Esta é a implementação oficial de Pytorch da abordagem descrita no artigo a seguir:

Abordagem generativa para recuperação probabilística da malha humana usando modelos de difusão
Hanbyel Cho e Junmo Kim
Conferência Internacional de Visão Computacional IEEE/CVF (ICCV), 2023, Workshop CV4Metaverse

Resumo

Este trabalho se concentra no problema de reconstruir uma malha do corpo humano 3D a partir de uma determinada imagem 2D. Apesar da ambiguidade inerente da tarefa da recuperação de malha humana, a maioria dos trabalhos existentes adotou um método de regredir uma única saída. Por outro lado, propomos uma estrutura de abordagem generativa, chamada "recuperação de malha humana baseada em difusão (DIFF-HMR)", que aproveita o processo de difusão de denoising para explicar vários resultados plausíveis. Durante a fase de treinamento, os parâmetros SMPL são difundidos dos parâmetros de verdade no solo para a distribuição aleatória, e o DIFF-HMR aprende o processo reverso dessa difusão. Na fase de inferência, o modelo refina progressivamente os parâmetros SMPL aleatórios fornecidos nos parâmetros correspondentes que se alinham com a imagem de entrada. O DIFF-HMR, sendo uma abordagem generativa, é capaz de gerar diversos resultados para a mesma imagem de entrada que o ruído de entrada varia. Realizamos experimentos de validação e os resultados demonstram que a estrutura proposta modela efetivamente a ambiguidade inerente da tarefa da recuperação da malha humana de maneira probabilística.

Dependências

Verifique se você tem as seguintes dependências instaladas antes de prosseguir:

• Distribuição Python 3+
• Pytorch> = 0.4.0

Licença

Este trabalho é licenciado sob o CC BY-NC. Consulte a licença para obter detalhes. Os conjuntos de dados de terceiros estão sujeitos a suas respectivas licenças. Se você usar nosso código/modelos em sua pesquisa, cite nosso artigo:

 @InProceedings{Cho_2023_ICCV,
    author    = {Cho, Hanbyel and Kim, Junmo},
    title     = {Generative Approach for Probabilistic Human Mesh Recovery Using Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops},
    month     = {October},
    year      = {2023},
    pages     = {4183-4188}
}

Reconhecimento

Parte do nosso código é emprestada de spin e denoising-difusão-pytorch.
Consulte as páginas do projeto para obter mais informações.