Tim DeepMind Google merilis model AI yang disebut "Generative Omnimatte", yang dapat memecah video menjadi beberapa lapisan seperti editor yang terampil, memisahkan orang, objek, dan latar belakang secara akurat, dan bahkan "otak" "Isi" bagian yang diblokir untuk mencapai berbagai hal keren efek khusus. Teknologi ini menerobos keterbatasan teknologi mattingan video tradisional dan dapat dengan mudah menyelesaikan tugas pengeditan video yang rumit tanpa memerlukan layar hijau atau informasi mendalam. Ucapkan selamat tinggal pada pengoperasian yang membosankan, jadikan pengeditan video menjadi sederhana dan mudah digunakan, dan semua orang bisa menjadi ahli pengeditan video!
Apakah Anda masih ingat efek khusus yang keren di film? Apakah objek menghilang begitu saja dan pemandangan berubah seketika? Sekarang, tim Google DeepMind telah mengembangkan model AI yang disebut "Generative Omnimatte" untuk mewujudkan efek khusus ini. Ini tidak lagi hanya untuk film! AI ini seperti editor terampil, yang dapat memecah video menjadi beberapa lapisan, setiap lapisan berisi objek lengkap dan bayangan, pantulan, dan efek lain yang dihasilkannya.
Teknologi video matting tradisional biasanya mengandalkan pengambilan gambar layar hijau atau informasi kedalaman yang tepat, yang sangat rumit untuk dioperasikan. Model AI ini benar-benar bebas dari batasan ini. Tidak memerlukan informasi tambahan apa pun dan dapat dengan sempurna memisahkan karakter, objek, dan latar belakang dalam video, dan bahkan dapat "mengisi otak" bagian-bagian yang tersumbat. Efeknya luar biasa.
Inti dari model AI ini adalah model penghapusan video yang disebut "Casper". Ini seperti penghapus ajaib yang dapat secara akurat menghapus objek apa pun yang Anda tentukan dalam video, dan bayangan serta pantulannya akan hilang, sementara latar belakang akan tetap utuh.
Lebih penting lagi, ia juga dapat menggabungkan kembali objek dan latar belakang sesuai kebutuhan pengguna untuk mencapai berbagai efek kreatif, seperti "teleportasi" karakter dari satu adegan ke adegan lain, atau mengubah kecepatan pergerakan objek, atau bahkan memutar waktu kembali!
Dengan artefak ini, mengedit video di masa mendatang akan sangat mudah. Anda dapat menambahkan efek khusus apa pun yang Anda inginkan untuk "teleportasi" teman dari rumah ke pantai, Anda hanya perlu menggunakan Casper untuk memotong teman Anda dan menempatkan mereka di latar belakang pantai. Bukankah itu sangat sederhana? , atau salin ke beberapa teman dan menari bersama, sesuka Anda.
Tentu saja Generative Omnimatte masih dalam tahap pengembangan, dan masih ada beberapa bug kecil yang perlu diperbaiki. Misalnya, jika ada beberapa objek yang sangat mirip dalam video, AI mungkin tidak dapat membedakan siapa itu siapa dan membingungkan mereka. Selain itu, jika suatu benda berubah bentuk, seperti tiang yang bengkok, AI tidak akan tahu cara mengatasinya. Namun, saya yakin tim Google DeepMind akan segera menyelesaikan masalah ini dan menjadikan Generative Omnimatte semakin sempurna!
Alamat proyek: https://gen-omnimatte.github.io/
Alamat makalah: https://arxiv.org/pdf/2411.16683
Omnimatte Generatif telah membawa perubahan revolusioner pada pengeditan video, dan ini akan memberi kita lebih banyak aplikasi mengejutkan dan efek khusus di masa depan, mari kita tunggu dan lihat!