Proyek sumber terbuka Universitas Fudan, Hallo, sebuah alat untuk menghasilkan video berbicara berdasarkan audio dan gambar, kini mendukung plug-in ComfyUI. Melalui paradigma difusi ujung ke ujung yang canggih dan modul sintesis visual berbasis audio berlapis, proyek ini mencapai sinkronisasi audio dan visual presisi tinggi, termasuk gerakan bibir, ekspresi, dan gerak tubuh, menjadikan efek video yang dihasilkan realistis dan alami. Meskipun proses instalasinya mungkin rumit, kemunculan Hallo telah memberikan vitalitas baru ke dalam komunitas open source dan memberikan kemungkinan yang lebih luas di bidang pembuatan video.
Proyek Hallo memungkinkan foto wajah untuk mulai berbicara dengan memasukkan audio, dan disertai dengan ekspresi yang sesuai, efeknya terlihat sangat alami. Proyek ini mengadopsi paradigma difusi end-to-end dan memperkenalkan modul sintesis visual berbasis audio berlapis untuk meningkatkan akurasi penyelarasan antara input audio dan output visual, termasuk gerakan bibir, ekspresi, dan gerak tubuh.
Modul sintesis visual berbasis audio berlapis ini memberikan kontrol adaptif terhadap keragaman ekspresi dan gerak tubuh, sehingga secara lebih efektif mencapai penyesuaian yang dipersonalisasi untuk berbagai identitas. Artinya, tidak peduli foto wajah siapa, video percakapan dapat dihasilkan melalui proyek Hallo, dan efeknya akan natural, seolah-olah ada orang sungguhan yang sedang berbicara.
Meskipun proses instalasi proyek Hallo mungkin relatif rumit, kemunculannya tidak diragukan lagi membawa vitalitas baru bagi ekosistem open source. Seiring dengan terus berkembangnya teknologi, kita dapat mengharapkan lebih banyak proyek serupa muncul di masa depan, sehingga memberikan lebih banyak kenyamanan dan kesenangan dalam hidup kita.
Alamat plugin: https://github.com/AIFSH/ComfyUI-Hallo
Dengan efek pembuatan video yang luar biasa dan fitur sumber terbuka, proyek Hallo memberi pengembang dan pengguna ruang kreatif yang kaya. Saya yakin dengan kemajuan teknologi dan kontribusi komunitas, proyek Hallo akan memiliki fungsi yang lebih kuat dan prospek penerapan yang lebih luas, sehingga memberikan lebih banyak kemungkinan untuk pembuatan konten multimedia. Kami menantikan lebih banyak proyek inovatif serupa di masa depan.