Di bidang pengembangan game, model besar memainkan peran yang semakin penting. Namun model yang ada masih memiliki kekurangan dalam pemahaman adegan permainan, pengenalan gambar, dan deskripsi konten. Untuk mengatasi masalah ini, editor Downcodes membawa kabar baik! Sebuah tim peneliti di Alberta, Kanada, telah membuat model besar bersumber terbuka yang khusus dibuat untuk game-VideoGameBunny (VGB). Ini memiliki kemampuan pembuatan teks yang kuat, kemampuan penyesuaian yang tinggi, dukungan multi-bahasa, dan kompatibel dengan berbagai lingkungan pengembangan, yang sangat memudahkan penggunaan pengembang game.
Dalam dunia pengembangan game, model-model besar secara bertahap menjadi "wadah pemikir" yang tak tergantikan, yang mencakup hampir semua hal mulai dari pembuatan karakter AI hingga konstruksi adegan.
Namun, meskipun kemampuannya mengesankan, pemahaman mereka tentang adegan permainan, pengenalan gambar, dan deskripsi konten masih perlu ditingkatkan. Untuk mengatasi masalah ini, tim peneliti di Alberta, Kanada, tidak mau kalah, meluncurkan model open source besar yang khusus dibuat untuk game-VideoGameBunny ("VGB" disingkatnya).
Sorotan Fitur
-Dukungan berbagai bahasa: Mampu memproses dan menghasilkan banyak bahasa, cocok untuk aplikasi internasional.
- Sangat dapat disesuaikan: parameter model dan file konfigurasi dapat disesuaikan dengan kebutuhan spesifik.
- Kemampuan pembuatan teks yang kuat: Kemampuan untuk menghasilkan percakapan yang koheren dan alami, menjadikannya unggul dalam game dan chatbots.
- Open source dan mudah diakses: Tersedia di platform Hugging Face, sehingga memudahkan siapa saja untuk menggunakan dan berkontribusi.
- Kompatibel dengan berbagai lingkungan pengembangan: Python dan bahasa pemrograman populer lainnya, membuatnya mudah untuk diintegrasikan ke dalam proyek yang berbeda.
- File model kaya: Menyediakan file model dalam berbagai format untuk mendukung pengguna dalam berbagai pelatihan dan aplikasi.
- Dukungan komunitas aktif: Pengguna mencari bantuan dan komunikasi di komunitas, mempromosikan berbagi dan kerja sama teknologi.
Alamat proyek: https://huggingface.co/VideoGameBunny/VideoGameBunny-V1/tree/main
VGB memiliki potensi besar. Ini seperti asisten AI visual cerdas yang dapat memahami lingkungan game dan memberikan umpan balik instan. Dalam game 3A dunia terbuka tersebut, ini dapat membantu pemain dengan cepat mengidentifikasi item utama atau menjawab berbagai pertanyaan, memungkinkan Anda menguasai keterampilan game lebih cepat, sehingga sangat meningkatkan interaktivitas dan keseruan game.
Yang lebih hebatnya lagi adalah VGB juga dapat menganalisis sejumlah besar gambar game dan mendeteksi kesalahan rendering grafis dan inkonsistensi mesin fisika, menjadi asisten yang kuat bagi pengembang untuk memecahkan masalah bug dan anomali.
Skenario yang berlaku
- Sistem dialog game: dapat digunakan untuk mengembangkan dialog NPC yang lebih alami dan cerdas, meningkatkan pengalaman pemain.
- Aplikasi pendidikan: Hasilkan konten atau latihan interaktif untuk perangkat lunak pendidikan guna meningkatkan efisiensi pembelajaran.
- Chatbot layanan pelanggan: digunakan dalam sistem layanan pelanggan online untuk memberikan dukungan dan jawaban pelanggan secara real-time.
Dasar dari VGB adalah model Bunny, yang merupakan "mitra baik" dengan efisiensi tinggi dan konsumsi rendah. Inspirasi desainnya mirip dengan LLaVA, yang mengubah informasi visual dari model visual terlatih yang kuat menjadi tag gambar melalui jaringan perceptron multi-lapis untuk memastikan bahwa model bahasa dapat memproses data secara efisien. Model Bunny mendukung resolusi gambar hingga 1152×1152 piksel, yang sangat penting saat memproses gambar game, karena layar game berisi berbagai elemen visual mulai dari ikon UI kecil hingga objek game besar. Kemampuan ekstraksi fitur multi-skala memungkinkan VGB memahami konten game dengan lebih baik.
Agar VGB dapat lebih memahami konten visual game, tim peneliti mengadopsi LLama-3-8B open source Meta sebagai model bahasa dan menggabungkannya dengan encoder visual SigLIP dan pembungkus S2. Kombinasi ini memungkinkan model untuk menangkap elemen visual pada skala berbeda dalam game, mulai dari ikon antarmuka kecil hingga objek game besar, sehingga memberikan informasi kontekstual yang kaya.
Selain itu, untuk menghasilkan data perintah yang sesuai dengan gambar game, para peneliti menggunakan berbagai model canggih, termasuk Gemini-1.0-Pro-Vision, GPT-4V, dan GPT-4o. Model ini menghasilkan berbagai jenis instruksi, seperti judul singkat dan mendetail, deskripsi gambar-ke-JSON, dan Tanya Jawab berbasis gambar, membantu VGB lebih memahami pertanyaan dan instruksi pemain.
Secara keseluruhan, kemunculan VideoGameBunny telah membawa kemungkinan baru dalam pengembangan game. Ini tidak hanya meningkatkan pengalaman bermain game, tetapi juga membantu pengembang mengembangkan game dan memperbaiki bug dengan lebih efisien. Kami menantikan VGB digunakan dan dikembangkan lebih luas di masa depan!