Di bidang kecerdasan buatan, terobosan revolusioner membentuk kembali cara kita berinteraksi dengan komputer. Kunlun Wanwei telah bergandengan tangan dengan lembaga-lembaga top seperti Beijing Zhiyuan Intelligence Research Institute, Universitas Teknologi Singapura Nanyang dan Universitas Peking untuk bersama-sama meluncurkan kerangka kerja kontrol komputer tujuan umum yang disebut Cradle. Kerangka kerja AI yang inovatif ini menembus keterbatasan agen tradisional, yang memungkinkan mereka untuk secara langsung memanipulasi keyboard dan tikus seperti manusia, berinteraksi mulus dengan berbagai perangkat lunak sumber terbuka atau tertutup tanpa mengandalkan API internal mana pun. Cradle unik karena itu adalah kerangka kerja AI pertama yang secara bersamaan dapat mengontrol banyak game komersial dan mengoperasikan berbagai aplikasi perangkat lunak. Vitalitas Baru.
Cradle luar biasa dalam aplikasi praktis, menunjukkan kemampuan superiornya di berbagai jenis game. Dari menyelesaikan misi utama 40 menit di Red Dead 2 hingga pertanian yang sangat merawat dan berbelanja di Stardew Valley; . Tidak hanya itu, itu juga bisa mahir dalam perangkat lunak kantor harian seperti Chrome, Outlook, Feishu, dll., Dan bahkan dapat melakukan pengeditan foto profesional dan pengeditan video, benar-benar menjadi asisten AI serba.
Keberhasilan Cradle adalah berkat arsitektur sistemnya yang indah, yang terdiri dari enam komponen inti: pengumpulan informasi, refleksi diri, inferensi tugas, manajemen keterampilan, perencanaan tindakan dan modul memori. Dengan merangkum dan mengabstraksi input dan output asli, Cradle memungkinkan interaksi alami dengan komputer. Ini menggunakan gambar video yang ditampilkan di layar sebagai sumber input utama, mengekstrak teks dan informasi visual darinya untuk pengambilan keputusan, dan mengeluarkan sinyal yang mengontrol keyboard dan mouse. Perlu disebutkan bahwa modul pengambilan keputusan dan penalaran Cradle dapat berinteraksi secara spontan dengan perangkat lunak dan menyelesaikan tugas, dan beroperasi melalui refleksi di masa lalu, merangkum saat ini dan merencanakan masa depan, menunjukkan model pemikiran seperti manusia.
Dalam pengujian yang sebenarnya, kinerja Cradle sepenuhnya membuktikan keserbagunaannya. Ini dapat menyelesaikan tugas kompleks dalam game dengan gaya dan metode operasi yang sama sekali berbeda, dan juga dapat melakukan berbagai tugas dengan mudah dalam perangkat lunak umum, seperti mengunduh makalah akademik, mengirim email, pemrosesan gambar, pengeditan video, dll. Yang lebih luar biasa adalah bahwa Cradle bahkan mengalahkan metode dasar menggunakan tag kebenaran dalam tes Osworld yang menantang, menunjukkan kemampuan belajar dan kemampuan beradaptasi yang kuat.
Peluncuran cradle menandai langkah penting dalam pengembangan agen GCC. Ini tidak hanya mempromosikan pengembangan antarmuka input dan output terpadu, meletakkan dasar yang kuat untuk interaksi di masa depan dan peningkatan diri agen di lingkungan yang berbeda, tetapi juga mengambil langkah kritis untuk mencapai tujuan kecerdasan buatan umum (AGI). Kelahiran kerangka kerja inovatif ini kemungkinan akan merevolusi cara kita berinteraksi dengan komputer dan membuka era baru kolaborasi komputer manusia.
Beranda Proyek: https://baai-agents.github.io/cradle
Tautan kode: https://github.com/baai-agents/cradle