voice IT

Voice-it

Mit Androids Speech-to-Text & Text-to-Speech herumspielen; Einrichten eines anderen Weckworts als OK Google und der Versuch, den konvertierten Text an eine bestimmte Ontologie anzupassen

Warum, oh warum

Einer unserer Kunden wollte einen virtuellen Assistenten, der kostenlos Bestellungen wie "Senden Sie mir eine Reihe von Produkt-x", "Senden Sie das gleiche wie letzte Woche" oder "Wo meine Sachen?!" Ein bisschen wie Amazon's Echo oder Google Home

Unsere Idee war es, ein 3D-gedrucktes Objekt zu erstellen, das einen Raspberry Pi im Inneren verbergen würde, der mit Sprachinteraktionen umgehen und schließlich REHE-Anrufe bei CRM-Diensten oder was auch immer tätigen und dann den Text in die Sprache überträgt.

Als erster Prototyp haben wir eine Android -App eingerichtet, die all dies erledigt, da Androids API beide Sprache für einen Text einen Text zur Sprache außerhalb des Box bietet, es gibt bereits einen Sprecher und ein bereits integriertes Mikrofon, und wir müssten von Anfang an nicht mit Hardware -Magen umgehen.

WIE!??!

Wir haben also eine Android-App erstellt, die 2 Schritte/Aktionen/Bildschirme enthält: Erstens einen unendlichen Weckwortempfänger (a la "OK Google") und zweitens einen Befehlsempfänger, der den anerkannten Text mit einer Reihe bestimmter Aktionen entspricht.

Für unseren kleinen Prototyp machen wir uns auf den Weg, um Befehle an eine kleine Drohne in Form von "Hey Roboter -> Machen Sie einen Weitsprung!/Gehen Sie ein bisschen vorwärts/Biegen Sie rechts ab und drehen Sie!"

Die Aktionen wurden über eine Ontologiedatei definiert, die über das Ontologieprojekt "Protege" von Stanford erstellt wurde

Sobald der Text über Androids Sprach -API erkannt wurde, suchen wir (im Grunde genommen) nach Aktionen in der Ontologie, die wiederum mit einer API -Methode antworten. Anschließend wird die API -Methode ausgeführt und unsere aktuelle Implementierung lässt unsere Drohne bewegen!

Links

• Wir haben viel Code übernommen, um dem zu entsprechen, was die Leute in Gast-Lib getan hatten
• Rede zu Text -API
• Text zur Sprachapi
• Drohne -API
• Ontologie -Datei Parser für Android

Ein grundlegendes Architekturdiagramm

Was ist als nächstes ??!

Nun, es gibt eine Menge Dinge, die wir gerne tun würden:

• Vermeiden Sie auf Android den Dialogfeld Spracherkenner mit der Schaltfläche. Versuchte es, aber es ist fehlerhaft!
• Verbesserung der Zeit zwischen ' anerkanntem Weckwort ' und ' Ready to Empfangsbefehle ' '
• Erkennen Sie natürliche Sprache und nicht nur Wörteroptionen:
  • Stanford NLP?
  • [Rasa NLU] (https://rasa.ai/)
• Nehmen Sie eine Liste von Aktionen anstelle von nur ein-at-a-Time-Befehlen (Combo!)
• Text analysieren und Aktionen und Parameter über NLP erkennen (natürliche Sprachverarbeitung)
• Machen Sie alles auf einem Himbeerpi!
  • Sprache zu Text (offline idealerweise)
  • Text-to-Speech
• Verwenden Sie Apache Jena, um die Ontologie zu analysieren und zu suchen