voice IT

語音 -

與Android的語音到文本和文本到語音一起玩；設置除OK Google以外的喚醒字，並試圖將轉換後的文本與給定的本體論匹配

為什麼，哦，為什麼

好吧，我們的一位客戶希望有一個虛擬助手可以免費處理諸如“下週給我一堆Product-X”，“發送與上週相同的product-X”或“我的東西？！有點像亞馬遜的Echo或Google Home

我們的想法是創建一個3D打印的對象，該對象將隱藏一個Raspberry Pi，它將處理語音交互並最終對CRM服務或其他任何內容進行休息，然後將文本重新翻譯為語音。

作為第一個原型，我們設置了一個可以執行所有這些操作的Android應用程序，因為Android的API提供了語音，可以將文本文本傳為開箱即用，因此有一個揚聲器和一個已經集成的麥克風，並且我們不必從一開始就處理硬件內容。

如何！ ？ ？ ！

因此，我們創建了一個具有2個步驟/操作/屏幕的Android應用程序：首先是無限的喚醒詞接收器（a la“ ok google”），其次是命令接收器，將識別文本與一組給定動作匹配的命令接收器。

對於我們的小型原型，我們出發以“嘿機器人 - >跳遠！/向前/轉到右轉，然後旋轉！”的形式將命令發送到一架小型無人機！ ”

通過斯坦福大學的本體論項目“ Protege”來定義動作

一旦通過Android的語音API識別文本後，我們（基本上）在本體中搜索動作，而本體又以API方法回答。然後執行API方法，我們當前的實現使我們的無人機移動！

鏈接

• 我們重構了很多代碼以匹配人們在gast-lib中所做的事情
• 對文字API的講話
• 語音API的文字
• 無人機API
• Android的本體文件解析器

基本架構圖

接下來是什麼？ ！

好吧，我們想做很多事情：

• 在Android上，避免使用按鈕的語音識別器對話框。嘗試過，但這是越野車！
• 改善“公認的喚醒單詞”和“準備接收命令”之間的時間
• 識別自然語音，而不僅僅是單詞選項：
  • 斯坦福大學NLP？
  • [rasa nlu]（https://rasa.ai/）
• 解析動作列表，而不僅僅是一次命令（組合！）
• 通過NLP（自然語言處理）解析文本並識別動作和參數
• 使一切在Raspberrypi上工作！
  • 語音到文本（理想情況下）
  • 文本到語音
• 使用Apache Jena解析並蒐索本體論