voice IT

语音 -

与Android的语音到文本和文本到语音一起玩；设置除OK Google以外的唤醒字，并试图将转换后的文本与给定的本体论匹配

为什么，哦，为什么

好吧，我们的一位客户希望有一个虚拟助手可以免费处理诸如“下周给我一堆Product-X”，“发送与上周相同的product-X”或“我的东西？！有点像亚马逊的Echo或Google Home

我们的想法是创建一个3D打印的对象，该对象将隐藏一个Raspberry Pi，它将处理语音交互并最终对CRM服务或其他任何内容进行休息，然后将文本重新翻译为语音。

作为第一个原型，我们设置了一个可以执行所有这些操作的Android应用程序，因为Android的API提供了语音，可以将文本文本传为开箱即用，因此有一个扬声器和一个已经集成的麦克风，并且我们不必从一开始就处理硬件内容。

如何！？？！

因此，我们创建了一个具有2个步骤/操作/屏幕的Android应用程序：首先是无限的唤醒词接收器（a la“ ok google”），其次是命令接收器，将识别文本与一组给定动作匹配的命令接收器。

对于我们的小型原型，我们出发以“嘿机器人 - >跳远！/向前/转到右转，然后旋转！”的形式将命令发送到一架小型无人机！”

通过斯坦福大学的本体论项目“ Protege”来定义动作

一旦通过Android的语音API识别文本后，我们（基本上）在本体中搜索动作，而本体又以API方法回答。然后执行API方法，我们当前的实现使我们的无人机移动！

链接

• 我们重构了很多代码以匹配人们在gast-lib中所做的事情
• 对文字API的讲话
• 语音API的文字
• 无人机API
• Android的本体文件解析器

基本架构图

接下来是什么？！

好吧，我们想做很多事情：

• 在Android上，避免使用按钮的语音识别器对话框。尝试过，但这是越野车！
• 改善“公认的唤醒单词”和“准备接收命令”之间的时间
• 识别自然语音，而不仅仅是单词选项：
  • 斯坦福大学NLP？
  • [rasa nlu]（https://rasa.ai/）
• 解析动作列表，而不仅仅是一次命令（组合！）
• 通过NLP（自然语言处理）解析文本并识别动作和参数
• 使一切在Raspberrypi上工作！
  • 语音到文本（理想情况下）
  • 文本到语音
• 使用Apache Jena解析并搜索本体论