Rapports de l'éditeur de downcodes : Ces dernières années, la génération d'animations humaines réalistes est devenue un point chaud de la recherche dans les domaines de la vision par ordinateur et de l'animation. La dernière technologie, EchoMimicV2, se démarque. Elle génère des animations humaines mi-longueur de haute qualité en intégrant des images de référence, des clips audio et des séquences gestuelles, apportant de nouvelles possibilités dans le domaine des humains numériques. Cette technologie dépasse les limites des méthodes traditionnelles, simplifie le processus de génération d'animation et améliore les détails et l'expressivité de l'animation. Découvrons ensuite les innovations d'EchoMimicV2.
Ces dernières années, avec le développement rapide de la technologie de vision par ordinateur et d’animation, la génération d’animations humaines vivantes est progressivement devenue un point chaud de la recherche. Le dernier résultat de recherche, EchoMimicV2, utilise des images de référence, des clips audio et des séquences de gestes pour créer des animations humaines mi-longueur de haute qualité.
En termes simples, EchoMimicV2 prend en charge la saisie de 1 image + 1 geste vidéo + 1 audio pour générer une nouvelle personne numérique, qui peut être considérée comme le contenu audio d'entrée, la vidéo avec les gestes d'entrée et les mouvements de la tête.
EchoMimicV2 a été développé en réponse à certains défis pratiques liés à la technologie de génération d'animation existante. Les méthodes traditionnelles s'appuient souvent sur plusieurs conditions de contrôle, telles que l'audio, la posture ou les cartes de mouvement, ce qui rend la génération d'animations complexe et fastidieuse, et se limite souvent à l'actionnement de la tête. Par conséquent, l’équipe de recherche a proposé une nouvelle stratégie appelée Audio-Pose Dynamic Harmonization, qui vise à simplifier le processus de génération d’animation tout en améliorant les détails et l’expressivité de l’animation de la moitié du corps.
Afin de faire face à la rareté des données sur la moitié du corps, les chercheurs ont introduit de manière innovante le mécanisme « d'attention locale de la tête ». Cette méthode peut utiliser efficacement les données d'image de la tête pendant le processus de formation et omettre ces données pendant la phase d'inférence, fournissant ainsi la génération d'animations. une plus grande flexibilité.
En outre, l'équipe de recherche a conçu une « perte de débruitage spécifique à l'étape » pour guider les performances de mouvement, de détail et de qualité de bas niveau de l'animation à différentes étapes. Cette méthode d'optimisation à plusieurs niveaux améliore considérablement la qualité et l'effet de l'animation générée.
Afin de vérifier l'efficacité d'EchoMimicV2, les chercheurs ont également lancé un nouveau benchmark pour évaluer l'effet de génération de l'animation humaine à mi-longueur. Après des expériences et des analyses approfondies, les résultats montrent qu'EchoMimicV2 surpasse les autres méthodes existantes en termes d'évaluations quantitatives et qualitatives, démontrant ainsi son fort potentiel dans le domaine de l'animation.
Grâce à sa technologie innovante et à ses excellentes performances, EchoMimicV2 a ouvert un nouveau chapitre pour la production d'animation humaine numérique, et son développement futur mérite d'être attendu. L'éditeur de Downcodes continuera de prêter attention aux progrès technologiques dans ce domaine et de proposer des rapports plus passionnants aux lecteurs.