Adobe Research dan Northwestern University telah bekerja sama untuk menciptakan sistem AI revolusioner - Sketch2Sound. Sistem ini dapat mengubah imitasi suara sederhana dan deskripsi teks menjadi efek suara tingkat profesional, menghadirkan peningkatan efisiensi yang belum pernah terjadi sebelumnya pada industri desain suara. Ini menganalisis kenyaringan, timbre, dan nada bicara dan menggabungkannya dengan deskripsi teks untuk menghasilkan efek suara yang diinginkan pengguna. Kemampuan pemahaman konteksnya yang unik bahkan lebih menakjubkan lagi. Misalnya, dengan menggabungkan "suasana hutan" sederhana dengan tiruan panggilan burung, sistem dapat secara otomatis menghasilkan panggilan burung yang realistis tanpa instruksi tambahan. Sketch2Sound juga mendukung pembuatan musik. Pengguna hanya perlu menyenandungkan ritme dan memasukkan nama instrumen, dan sistem akan secara otomatis mencocokkan nada dan ritme serta menghasilkan pola drum yang sesuai.
Sistem menganalisis tiga elemen kunci masukan ucapan: kenyaringan, timbre (yang menentukan seberapa terang suara) dan nada. Sistem kemudian menggabungkan fitur-fitur tersebut dengan deskripsi teks untuk menghasilkan suara yang diinginkan.
Video: García dkk., Adobe Research
Hal yang menarik dari Sketch2Sound adalah kemampuannya memahami konteks. Misalnya, jika seseorang mengetik "getaran hutan" dan mengeluarkan suara pendek, sistem secara otomatis mengenali bahwa suara tersebut seharusnya adalah panggilan burung - tanpa memerlukan instruksi khusus.
Kecerdasan yang sama juga berlaku pada musik. Saat membuat pola drum, pengguna dapat memasukkan "bass drum, snare drum" lalu menyenandungkan ritme menggunakan bass dan treble. Sistem secara otomatis menempatkan bass drum di low end dan snare drum di high end.
Memberi para profesional kontrol terperinciTim peneliti membangun teknologi penyaringan khusus yang memungkinkan pengguna menyesuaikan dan mengontrol ketepatan suara yang dihasilkan. Desainer suara dapat memilih kontrol yang presisi dan mendetail, atau pendekatan yang lebih santai dan mendekati perkiraan, bergantung pada kebutuhan mereka.
Fleksibilitas ini menjadikan Sketch2Sound sangat berharga bagi seniman Foley (profesional yang membuat efek suara untuk film dan acara TV). Daripada memanipulasi objek fisik untuk menghasilkan suara, mereka dapat menciptakan efek lebih cepat melalui ucapan dan deskripsi teks.
Para peneliti mencatat bahwa karakteristik audio spasial dari rekaman input terkadang dapat mempengaruhi suara yang dihasilkan dengan cara yang tidak diinginkan, namun mereka berupaya untuk mengatasi masalah ini. Adobe belum mengumumkan kapan atau apakah Sketch2Sound akan menjadi produk komersial.
Kemunculan Sketch2Sound tidak diragukan lagi akan sangat meningkatkan efisiensi dan kenyamanan desain suara, serta menghadirkan kemungkinan kreatif baru pada film, televisi, game, dan industri lainnya. Meski masih dalam tahap penelitian dan pengembangan, namun potensinya tidak bisa diabaikan begitu saja, dan pengembangannya ke depan patut dinantikan.