Recentemente, o Alibaba Tongyi Laboratory fez um grande avanço no campo da reconstrução do corpo humano 3D e lançou uma tecnologia inovadora chamada LHM (grande modelo de reconstrução do corpo humano animado). Essa tecnologia não apenas traz uma nova direção de desenvolvimento para esse campo, mas também expande suas perspectivas de aplicativos.
A reconstrução corporal 3D animada de uma única imagem sempre foi uma tarefa desafiadora, principalmente devido à ambiguidade da geometria, aparência e separação de deformação. A maior parte do atual progresso da pesquisa mais recente se concentra na modelagem humana estática, e esses métodos geralmente dependem de varreduras 3D sintéticas para treinamento, o que limita amplamente sua capacidade de generalizar em cenários reais. Ao mesmo tempo, o método de vídeo baseado em otimização não apenas requer controle rigoroso das condições de captura, mas também possui processos de computação extremamente intensivos, dificultando a atendimento às necessidades de aplicações práticas.
Em resposta a essas dificuldades, o modelo LHM surgiu. O modelo adota de maneira inovadora uma arquitetura de transformadores multimodais e, por meio de um poderoso mecanismo de atenção, pode codificar efetivamente os recursos de posição humana e os recursos da imagem. Essa arquitetura permite que o LHM não apenas reconstrua com precisão a geometria do corpo humano, mas também preserve as formas e texturas geométricas da roupa em detalhes, apresentando aos usuários um manequim 3D mais realista e delicado.
Vale ressaltar que o LHM também propôs um esquema de codificação de pirâmide com recurso de cabeça. Essa solução melhora ainda mais a capacidade do modelo de capturar os detalhes da cabeça humana, agregando as características em várias escalas da área da cabeça, tornando o modelo de corpo humano 3D gerado mais realista no desempenho da cabeça. Em aplicações práticas, o LHM mostra uma eficiência incrível, capaz de gerar animações razoáveis dos corpos humanos em apenas alguns segundos, e nenhum pós-processamento complicado é necessário, economizando muito tempo e custos de mão-de-obra.
Após muita verificação experimental, o LHM é melhor que os métodos existentes em termos de precisão da reconstrução e capacidade de generalização. Seja em cenários complexos ou sob diferentes condições de iluminação, o LHM pode gerar resultados de reconstrução do corpo humano 3D de alta qualidade de alta qualidade.
Endereço: https://lingtengqiu.github.io/lhm/