3d voice chess

Catur Suara 3D

Game catur 3D yang digerakkan oleh suara multi-bahasa untuk belajar dan mengajar suara AI menggunakan coqui stt menggunakan model bahasa kosakata terbatas.

Harap dicatat: repo ini tidak siap produksi. Ini adalah suatu tempat antara versi alpha dan beta pada tanggal 1 April 2022.

Kemampuan saat ini:

• Server pengguna tunggal untuk ucapan ke teks intference stt (nodejs) (yaitu berfungsi pada satu node bebas inti - tetapi kami mendukung kumpulan server)
• 3D Frontend (suara hanya antarmuka multi-bahasa dengan beberapa tombol & area output)
• Bahasa yang Didukung Saat Ini: DE (Jerman), En (Bahasa Inggris), TR (Turki)
• Anda bermain melawan diri sendiri :)

Kami telah membuka situs pengujian yang didukung oleh kumpulan server untuk pengujian kami.

Ringkasan Konten

• Akustik-Model-Kreasi: Contoh Model Notebook (TODO)
• Bahasa-Model-Penciptaan: Semua file untuk membuat model bahasa spesifik domain Anda
• Voice-Chess-React: Frontend-React & Three.js Implementasi
• Voice-Chess-Server: Server-Implementasi NodeJs Sonada Sederhana

Cara menginstal

Todo

Bagaimana berkontribusi

• Penciptaan model akustik dan bahasa baru dalam bahasa Anda
• Kata -kata terkait catur yang lebih baik untuk bahasa yang ada jika diperlukan
• Menerjemahkan file sumber daya (pesan.json)
• Pengujian; ide, umpan balik dalam masalah; Komit & PR

Bagaimana cara menambahkan bahasa saya?

1. Dapatkan informasi tentang terminologi catur dalam bahasa Anda (jika Anda belum tahu - Wikipedia dan YouTube membantu).
2. Periksa kalimat/pemrograman yang ada di generator kalimat catur.
3. Salin generator kalimat yang sesuai, ganti nama menjadi kode bahasa Anda dan terjemahkan/beradaptasi.
4. Temukan model akustik coqui stt yang kompatibel (file .tflite) atau latih satu dari dataset suara umum Mozilla.
5. Menerjemahkan file sumber daya (pesan.json)
6. Uji hasil Anda di server/klien bercabang Anda secara lokal dan tingkatkan model Anda jika diperlukan.
7. Buat permintaan tarik (PR) untuk menambahkan model akustik Anda (.tflite), model bahasa (.scorer) ke voice-chess-server/voice dir, tambahkan file bahasa JSON yang dihasilkan dan pesan yang diterjemahkan.JSON file ke reak-chess voice-chess/lokal.

Jika Anda tidak dapat melakukan sebagian dari ini, buka masalah sehingga kami dapat membantu.

Informasi lainnya

Model akustik dan bahasa saat ini

Informasi terperinci dapat ditemukan di sini.

Proyek Sumber Terbuka Digunakan

• Suara: COQUI STT, Contoh Coqui, Kenlm, Dataset Suara Umum Mozilla.
• 3D UI: Three.js & React-Three-Fiber (dengan Drei dan Zustand)
• Catur: catur.js untuk data dan kontrol catur (tidak ada AI atau GUI).

Kode terkait suara klien dan server diadaptasi dari contoh coqui web_microphone_websocket.

Informasi Sejarah

Versi pertama dari proyek ini dibuat selama Hackathon "Hack the Planet" Coqui.ai di Mozilla Festival 2022, antara 8-15 Maret.

Gagasan utamanya adalah menerapkan aplikasi yang diaktifkan pidato dalam satu minggu. Sekelompok orang memilih implementasi permainan yang dikendalikan suara (tic-tac-toe), tetapi idenya menjadi catur 3D suara multi-bahasa yang didorong. Sebuah tim dibentuk dan menerapkan aplikasi catur menjadi tujuan. Anggota tim adalah Bö, JF, KM, MK.

Ini adalah aplikasi dua bagian di awal:

• Bagian server adalah aplikasi Node.js yang melakukan STT yang sebenarnya
• Klien adalah aplikasi react.js yang mencatat kalimat dan berkomunikasi ke server untuk transkripsi melalui socket.io, validasi, tampilkan di browser dengan tiga.js dan dengan bantuan catur.js.

Karena jangka waktu yang terbatas dan kendala waktu individu, kelompok ini menjaga harapan juga terbatas.

• Bagian UI tetap minim, tetapi bekerja. Misalnya tidak ada permainan manual, fitur UI yang ditingkatkan dll.
• Sampel bahasa dipilih, tetapi dapat diperluas dengan bahasa lain.
• Ada banyak format memerintah untuk catur. Untuk menyederhanakan seluruh alur kerja, pengguna dipaksa untuk menggunakan satu format dalam versi ini:

"Move <piece> from <fromCell> to <targetCell>".

Di sini "karya" adalah nama karya catur, seperti raja, uskup dll, "sel" adalah papan koordinat Col-Row (kolom: az, baris: 1-8).

• Setelah beberapa percobaan dengan bahasa Inggris dan Turki, kami menemukan pengakuan karakter alfabet tunggal tidak cukup kuat (hampir tidak mungkin), jadi kami menggunakan NATO Alphabet: Alpha, Bravo, ... Hotel. Kecuali penamaan NATO, kata -kata lain diterjemahkan ke dalam bahasa masing -masing.
• Termasuk dukungan untuk bahasa berikut: - Jerman, Inggris, Prancis, Hindi, Rusia, Turki

Pada akhir durasi proyek, perangkat lunak semi-kerja telah disajikan untuk bahasa Inggris dan Turki.

Anda dapat menonton video presentasi proyek awal di sini.

Dan, seperti yang dijanjikan di akhir presentasi, kami terus mengembangkan dan membuatnya open-source di sini.