La dernière technologie d'animation de portrait de ByTedance, X-Portrait2, a apporté une innovation au domaine de la production d'animation avec son coût ultra-bas et sa grande efficacité. Cette technologie ne nécessite pas de capture de mouvement complexe, et seuls des portraits statiques et des vidéos axés sur les performances peuvent être générés pour générer des vidéos animées réalisées, simplifiant considérablement le processus de production d'animation. Son noyau réside dans le modèle de codeur d'expression avancée, qui peut capturer et migrer avec précision des changements d'expression subtils, et même des expressions complexes telles que la moue et la suppression de la langue peuvent être parfaitement présentées, garantissant la haute fidélité et l'expressivité de l'animation.
Récemment, ByTedance a lancé la dernière technologie d'animation de portrait X-Portrait2, visant à créer des animations de personnages expressives et réalistes d'une manière ultra-faible et efficace. Les utilisateurs n'ont qu'à fournir des images de portraits statiques et des vidéos axées sur les performances, et X-Portrait2 peut générer des vidéos animées en transférant des expressions dans la vidéo vers des portraits, simplifiant ainsi le processus complexe de la capture de mouvement traditionnelle et de l'animation des personnages.
Le cœur de cette technologie réside dans son modèle de codeur emoji avancé, qui a été formé sur des ensembles de données à grande échelle et peut implicitement coder de minuscules expressions dans les entrées. Combinée à un puissant modèle de diffusion générative, X-Portrait2 peut générer des vidéos lisses et expressives qui transmettent les expressions faciales subtiles de l'acteur, voire remettant en question les expressions telles que la moue, résoudre la langue, les joues bombées et le froncement de sourcils. Dans le même temps, les vidéos générées maintiennent également une grande fidélité dans les performances émotionnelles.
Lors de la formation de l'encodeur emoji, l'équipe de développement assure une forte séparation de l'apparence et du mouvement, permettant au codeur de se concentrer sur les informations liées à l'expression dans la vidéo. Cette conception permet au modèle d'atteindre la migration d'expression de style et de domaine transversal, et convient à une variété de scènes telles que la véritable narration, l'animation des personnages, les agents virtuels et les effets visuels.
Par rapport aux méthodes de pointe telles que X-Portrait et la piste ACT-ONE, X-Portrait2 montre une plus grande précision dans les mouvements de tête rapide, les changements d'expression minuscules et la transmission émotionnelle personnelle pour la création de contenu d'animation de haute qualité est cruciale, telle comme contenu d'animation dans l'animation et la production cinématographique.
Adresse: https://byteaigc.github.io/x-portrait2/
L'émergence de la technologie X-Portrait2 marque un autre saut dans la technologie d'animation des portraits. . Pour plus d'informations, veuillez visiter l'adresse du projet.