Teknologi animasi potret terbaru Bytedance X-Portrait2 telah membawa inovasi ke bidang produksi animasi dengan biaya yang sangat rendah dan efisiensi tinggi. Teknologi ini tidak memerlukan penangkapan gerak yang kompleks, dan hanya potret statis dan video yang digerakkan oleh kinerja yang dapat dihasilkan untuk menghasilkan video animasi seperti hidup, sangat menyederhanakan proses produksi animasi. Intinya terletak pada model encoder ekspresi canggih, yang dapat secara akurat menangkap dan memigrasikan perubahan ekspresi halus, dan bahkan ekspresi kompleks seperti cemberut dan lidah yang mencuat dapat disajikan dengan sempurna, memastikan kesetiaan tinggi dan ekspresi animasi.
Baru-baru ini, Bytedance meluncurkan teknologi animasi potret terbaru X-Portrait2, yang bertujuan untuk menciptakan animasi karakter yang ekspresif dan realistis dengan cara yang sangat rendah dan cara yang efisien. Pengguna hanya perlu memberikan gambar potret statis dan video yang digerakkan oleh kinerja, dan X-Portrait2 dapat menghasilkan video animasi dengan mentransfer ekspresi dalam video ke potret, sehingga menyederhanakan proses kompleks penangkapan gerak tradisional dan animasi karakter.
Inti dari teknologi ini terletak pada model encoder emoji canggih, yang telah dilatih pada set data skala besar dan secara implisit dapat mengkode ekspresi kecil dalam input. Dikombinasikan dengan model difusi generatif yang kuat, X-Portrait2 dapat menghasilkan video yang halus dan ekspresif yang mengirimkan ekspresi wajah aktor yang halus, bahkan ekspresi yang menantang seperti cemberut, menonjol keluar lidah, pipi yang menonjol dan mengerutkan kening. Pada saat yang sama, video yang dihasilkan juga mempertahankan kesetiaan tinggi dalam kinerja emosional.
Saat melatih encoder emoji, tim pengembangan memastikan pemisahan penampilan dan gerakan yang kuat, memungkinkan enkoder untuk fokus pada informasi yang terkait dengan ekspresi dalam video. Desain ini memungkinkan model untuk mencapai migrasi ekspresi lintas gaya dan domain silang, dan cocok untuk berbagai adegan seperti penceritaan nyata, animasi karakter, agen virtual dan efek visual.
Dibandingkan dengan metode canggih seperti x-potret dan aksi landasan pacu, X-PORTRAIT2 menunjukkan akurasi yang lebih tinggi dalam gerakan kepala cepat, perubahan ekspresi kecil dan transmisi emosional pribadi untuk pembuatan konten animasi berkualitas tinggi sangat penting, seperti sebagai konten animasi dalam animasi dan produksi film.
Alamat: https://byteaigc.github.io/x-portrait2/
Munculnya teknologi X-Portrait2 menandai lompatan lain dalam teknologi animasi potret. . Untuk informasi lebih lanjut, silakan kunjungi alamat proyek.