Dalam beberapa tahun terakhir, teknologi AI telah berkembang pesat, terutama di bidang produksi animasi. Pembuatan video dinamis berdasarkan gambar statis telah menjadi pusat penelitian. Metode produksi animasi tradisional sering kali mengandalkan informasi postur kerangka yang jarang, sehingga menghasilkan efek animasi yang tidak cukup tepat. Untuk mengatasi masalah ini, teknologi baru terus bermunculan, berupaya mencapai animasi gambar karakter yang lebih tepat dan terkendali.
Dalam beberapa tahun terakhir, seiring pesatnya perkembangan kecerdasan buatan dan teknologi visi komputer, interaksi antara manusia dan komputer menjadi semakin jelas dan ekspresif. Khususnya di bidang produksi animasi, cara menghasilkan video dinamis berdasarkan gambar statis selalu menjadi topik penelitian yang hangat.
Baru-baru ini, teknologi baru yang disebut "DisPose" telah muncul, yang menghasilkan efek animasi gambar karakter yang lebih dapat dikontrol melalui panduan postur yang dipisahkan. Sederhananya, DisPose memungkinkan masukan video aksi dan karakter referensi, sehingga karakter referensi dapat mewujudkan tindakan dalam video.
Inti dari teknologi DisPose terletak pada rekonstruksi dan pemanfaatan informasi pose tradisional yang jarang. Metode tradisional sebagian besar mengandalkan panduan pose kerangka yang jarang, yang seringkali tidak dapat memberikan sinyal kontrol yang memadai saat membuat video secara dinamis, sehingga menghasilkan efek animasi yang kurang detail. Untuk mengatasi kekurangan ini, DisPose mengusulkan metode baru untuk menghasilkan gerakan yang lebih detail dengan mengubah informasi pose yang jarang menjadi panduan lapangan olahraga dan korespondensi titik-titik penting.
Secara khusus, DisPose pertama-tama menghitung bidang gerak jarang untuk pose kerangka dan memperkenalkan metode pembuatan bidang gerak padat berdasarkan gambar referensi. Pendekatan ini tidak hanya memberikan sinyal pergerakan di tingkat regional tetapi juga mempertahankan universalitas pengendalian sikap yang jarang. Pada saat yang sama, DisPose juga mengekstrak fitur difusi yang sesuai dengan titik-titik kunci pose dari gambar referensi, dan kemudian mentransfer fitur-fitur ini ke pose target dengan menghitung korespondensi titik multi-skala untuk meningkatkan konsistensi tampilan.
Untuk memungkinkan teknologi inovatif ini diintegrasikan dengan lancar ke dalam model yang ada, para peneliti juga mengusulkan arsitektur ControlNet hybrid plug-in. Arsitektur ini meningkatkan kualitas dan konsistensi video yang dihasilkan tanpa mengubah parameter model yang ada. Melalui eksperimen kualitatif dan kuantitatif yang ekstensif, DisPose menunjukkan keunggulan signifikan dibandingkan teknologi saat ini dan menunjukkan arah masa depan teknologi produksi animasi.
DisPose meningkatkan ekspresi dan pengendalian animasi potret dengan mengoptimalkan penggunaan informasi postur. Kemajuan ini tidak hanya sangat penting dalam penelitian akademis, tetapi juga membawa kemungkinan-kemungkinan baru bagi industri animasi masa depan.
Pintu masuk proyek: https://lihxxx.github.io/DisPose/
Highlight:
DisPose adalah teknologi animasi potret baru yang memungkinkan pembuatan dinamis lebih presisi melalui panduan pose terpisah.
Teknologi ini mengubah informasi postur tubuh yang jarang menjadi panduan bidang gerak dan korespondensi titik-titik kunci, sehingga memberikan sinyal gerakan yang terperinci.
Arsitektur hybrid ControlNet yang diusulkan oleh para peneliti dapat secara efektif meningkatkan kualitas dan konsistensi video yang dihasilkan.
Munculnya teknologi DisPose menandai tonggak baru dalam teknologi produksi animasi. Metode pemrosesan informasi isyarat yang efisien dan arsitektur hybrid ControlNet yang inovatif memberikan dukungan teknis yang kuat untuk produksi animasi potret yang lebih realistis dan mendetail di masa depan, dan juga menghadirkan kemungkinan tak terbatas bagi industri animasi. Kami menantikan DisPose memainkan peran yang lebih besar dalam produksi animasi di masa depan.