Jiji Technology baru-baru ini merilis kerangka kerja DriveDreamer4D, yang bertujuan untuk menggunakan model dunia untuk meningkatkan efek rekonstruksi pemandangan berkendara 4D. Metode tradisional seperti NeRF dan 3DGS mengandalkan data pelatihan dalam jumlah besar dan berkinerja buruk ketika menghadapi kondisi jalan yang kompleks. DriveDreamer4D menghasilkan data pelatihan yang lebih beragam dengan memperkenalkan model dunia dan modul generasi lintasan baru (NTGM), yang secara signifikan meningkatkan akurasi dan ketahanan rekonstruksi pemandangan 4D, membawa terobosan baru pada penelitian dan pengembangan mengemudi otonom.
Baru-baru ini, Jiji Technology mengusulkan kerangka kerja baru yang disebut DriveDreamer4D, yang bertujuan untuk menggunakan pengetahuan sebelumnya tentang model dunia untuk meningkatkan efek rekonstruksi adegan mengemudi 4D.
Metode rekonstruksi pemandangan 4D tradisional terutama bergantung pada dua aliran utama NeRF dan 3DGS. NeRF seperti pelukis super yang dapat menggunakan jaringan saraf untuk merender sekumpulan foto menjadi model 3D. 3DGS menggunakan sekumpulan fungsi Gaussian tiga dimensi untuk mensimulasikan berbagai objek dalam pemandangan.
Namun kedua metode tersebut memiliki kelemahan yang fatal: terlalu mengandalkan data pelatihan! Misalnya, jika Anda hanya melihat mobil melaju dalam garis lurus, dan tiba-tiba mobil tersebut melayang di tikungan, Anda akan bingung. Oleh karena itu, rawan terguling saat menghadapi kondisi jalan yang rumit, seperti berpindah jalur, berakselerasi, dan melambat.
Untuk mengatasi masalah ini, Jiji Technology kali ini meluncurkan pembunuh besar-DriveDreamer4D. Sederhananya, benda ini adalah plug-in AI untuk rekonstruksi pemandangan 4D - model dunia.
Model dunia dapat Anda pahami sebagai otak AI yang dapat memprediksi apa yang mungkin terjadi di masa depan berdasarkan data yang ada. DriveDreamer4D menggunakan model dunia untuk menghasilkan data video perspektif baru dalam berbagai kondisi jalan yang kompleks, yang setara dengan memberi model rekonstruksi pemandangan 4D dengan data pelatihan "suplemen otak", sehingga mendapat informasi yang baik dan tidak akan terguling lagi.
Yang lebih hebatnya lagi adalah DriveDreamer4D juga secara khusus merancang modul generasi lintasan baru (NTGM). Hal ini secara otomatis dapat menghasilkan berbagai lintasan baru yang sesuai dengan peraturan lalu lintas, seperti perubahan jalur, akselerasi, perlambatan, dll, dan kemudian menggunakan model dunia untuk menghasilkan video dengan perspektif yang sesuai, yang setara dengan menyewa "mitra hemat". untuk model rekonstruksi pemandangan 4D. Memungkinkannya menangani berbagai kondisi jalan yang kompleks dengan mudah.
Hasil eksperimen juga membuktikan kehebatan DriveDreamer4D. Saat menghadapi kondisi jalan yang kompleks, efek rekonstruksinya jauh lebih baik dibandingkan metode tradisional, keakuratan gambar yang dihasilkan lebih tinggi, dan posisi kendaraan serta garis jalur dapat dipulihkan secara akurat.
Secara keseluruhan, kemunculan DriveDreamer4D seperti menjatuhkan bom nuklir di bidang rekonstruksi adegan 4D, yang secara langsung meledakkan batas teknis. Dengan itu, penelitian dan pengembangan serta pengujian kendaraan otonom akan lebih efisien, aman, dan andal.
Tentu saja DriveDreamer4D masih dalam tahap penelitian, dan masih banyak hal yang perlu diperbaiki di masa mendatang. Namun saya percaya bahwa seiring dengan berkembangnya teknologi, teknologi akan menjadi semakin kuat dan pada akhirnya menjadi bagian tak terpisahkan dari bidang mengemudi otonom.
Alamat makalah: https://arxiv.org/pdf/2410.13571
Beranda proyek: https://drivedreamer4d.github.io/
Alamat kode: https://github.com/GigaAI-research/DriveDreamer4D
Editor Downcodes percaya bahwa kemunculan DriveDreamer4D menandai tonggak baru dalam teknologi rekonstruksi pemandangan 4D. Prospek penerapannya di bidang-bidang seperti mengemudi otonom sangat luas dan patut untuk terus mendapat perhatian dan antisipasi. Di masa depan, seiring dengan semakin berkembangnya teknologi, saya yakin DriveDreamer4D akan memainkan peran yang lebih besar.