voice IT

Voice-it

Bermain-main dengan ucapan-ke-teks Android & teks-ke-unggun; Menyiapkan kata bangun selain Google ok, dan mencoba mencocokkan teks yang dikonversi dengan ontologi yang diberikan

Kenapa, oh kenapa

Nah, salah satu klien kami menginginkan asisten virtual hands gratis untuk menangani pesanan seperti 'Kirimkan saya banyak produk-X minggu depan', 'Kirim sama seperti minggu lalu' atau 'ke mana barang saya?!' Jenis seperti Amazon's Echo atau Google Home

Gagasan kami adalah membuat objek cetak 3D yang akan menyembunyikan pi raspberry di dalam yang akan menangani interaksi suara dan akhirnya membuat panggilan istirahat ke layanan CRM atau apa pun dan kemudian mengirim ulang teks untuk berbicara.

Sebagai prototipe pertama, kami mengatur aplikasi Android yang akan melakukan semua ini, mengingat bahwa API Android memberikan kedua pidato untuk mengirim pesan teks kepada teks untuk di luar kotak, ada speaker dan mikrofon yang sudah terintegrasi dan kami tidak perlu berurusan dengan barang -barang perangkat keras dari awal.

BAGAIMANA!??!

Jadi, kami telah membuat aplikasi Android yang memiliki 2 langkah/tindakan/layar: Pertama penerima kata bangun yang tak terbatas (a la "ok google") dan kedua, penerima perintah yang cocok dengan teks yang diakui dengan serangkaian tindakan yang diberikan.

Untuk prototipe kecil kami, kami berangkat untuk mengirimkan perintah ke drone kecil dalam bentuk "Hei Robot -> Lakukan lompat jauh!/Maju sedikit/belok kanan dan berputar!"

Tindakan didefinisikan melalui file ontologi, dibuat melalui proyek ontologi Stanford 'Protege'

Setelah teks dikenali melalui API pidato Android, kami (pada dasarnya) mencari tindakan dalam ontologi yang pada gilirannya membalas dengan metode API. Metode API kemudian dieksekusi dan implementasi kami saat ini membuat drone kami bergerak!

Tautan

• Kami refactored banyak kode untuk mencocokkan apa yang telah dilakukan orang di gast-lib
• Pidato ke API Teks
• Teks ke API Pidato
• API drone
• File Ontologi Parser untuk Android

Diagram Arsitektur Dasar

Apa selanjutnya ??!

Nah, ada banyak hal yang ingin kami lakukan:

• Di Android, hindari dialog pengenalan ucapan dengan tombol. Mencobanya, tapi buggy!
• Tingkatkan waktu antara ' Word bangun yang diakui ' dan ' siap menerima perintah '
• Kenali ucapan alami dan bukan hanya pilihan kata:
  • Stanford NLP?
  • [Rasa nlu] (https://rasa.ai/)
• Parse daftar tindakan, bukan hanya satu-dalam-waktu perintah (combo!)
• Teks Parse dan Kenali Tindakan dan Parameter melalui NLP (Pemrosesan Bahasa Alami)
• Buat semuanya bekerja di raspberrypi!
  • Pidato-ke-Teks (Offline Idealnya)
  • Teks-ke-speech
• Gunakan Apache Jena untuk mengurai dan mencari melalui ontologi