glados voice assistant

Glados Voice Assistant

DIY -Sprachassistent basierend auf dem Glados -Charakter aus der Portal -Videospielreihe. Ausgewählt auf: ? Hackday - Tech Blog ? Toms Hardware - Technologienachrichten ? PCGamer - Online -Magazin ? ILTA -SANOMAT - Die zweitgrößte Zeitung in Finnland ? Muropaketti - Finnische Computerwebsite YouTube - Glados Voice Assistant Playlist

Lesen Sie den Projektartikel zuerst!

? Glados -Sprachassistent - Henrirantanen.fi

Beschreibung

• Meist in Python geschrieben
• In Arbeit arbeiten

❗ Neue Versionen des Sprachassistenten funktionieren nicht auf Raspberry Pi, da die von einigen KI -Skripten benötigten CPU -Anweisungssätze fehlten. Wenn Sie mit der alten Version auf Ihrem Raspberry Pi zusammen spielen möchten, überprüfen Sie die Himbeerzweig.

• YouTube Glados Voice Assistant | Einführung
• YouTube Glados Voice Assistant | Software - Python -Tutorial
• Twitter? Glados Voice Assistant Project Build

Hauptmerkmale

1. Lokale Trigger -Worterkennung mit Taschensphinx
2. Lokale Glados Text-to-Speech-Motor mit Glados-TTS-Modell von R2D2fish
3. Rede-to-Text-Verarbeitung mit der Google API (vorerst)
4. Lokaler TTS -Cache von generierten allgemeinen Audioproben lokal für sofortige Antworten in Zukunft
5. Animatronische Augenregelung mit Servos
6. Runde LCD für ein Auge zum Anzeigen von Texturen

Enge Integration in die lokale API des Home Assistenten:

• Senden Sie Befehle an Home Assistant
• Sensordaten lesen und sprechen
• Benachrichtigungs -API, damit der Home -Assistent Benachrichtigungen über Glados sprechen kann

Was es kann:

• Uhr
• Steuerlichter und Geräte steuern
• Wetter und Prognose
• Fügen Sie Dinge zur Einkaufsliste hinzu
• Sensorinformationen lesen
• Zufällige Magie 8-Ball-Antworten
• Sagen Sie Witze
• Beurteile dich und sei gemein
• Erweitertes Fettscham
• Protokollieren Sie Dinge und sammeln Sie Trainingsdaten lokal

Hinweis: Der Code wird nur als Referenz bereitgestellt.

Voice Assistant Pipeline -Übersicht

Anforderungen für Ubuntu

Werkzeuge installieren

 sudo apt-get update
sudo apt-get upgrade
sudo apt install python3-pip

Installieren Sie Pyaudio

Pyaudio wird benötigt, um Audiodateien abzuspielen.

 sudo apt-get install portaudio19-dev 

Taschesphinx einbauen

Verwendet für den Moment zur Word -Erkennung.

 sudo apt-get install -y build-essential swig libpulse-dev libasound2-dev

Redenrecognition installieren

Wird verwendet, um Audio vorerst in Text zu verwandeln.

 sudo apt-get install flac

Installieren Sie andere Bibliotheken

Installieren Sie Python -Module aus der Datei "Anforderungen.txt"

 cd ~/glados-voice-assistant
sudo pip3 install -r requirements.txt

Pytorch installieren

Siehe hier: https://pytorch.org/get-started/locally/#start-locally

Installieren Sie Glados Voice Assistant

1. Gehen Sie zum Hausordner

 cd ~ 

2. Laden Sie die Quelle von Github herunter

Dadurch wird Glados Voice Assistant und die TTS -Submodule heruntergeladen.

 git clone --recurse-submodules https://github.com/nerdaxic/glados-voice-assistant/

Danach können Sie mit den TTs herumspielen, dies funktioniert als eigenständig.

 cd ~/glados-voice-assistant/glados_tts/
python3 glados.py 

3. Bearbeiten Sie die Einstellungsdatei

Finden Sie die Soundkarten -ID:

 python3 -m sounddevice

Generieren und bearbeiten Sie die Datei "Einstellungen" :Env:

 cp ~/glados-voice-assistant/settings.env.sample ~/glados-voice-assistant/settings.env && nano ~/glados-voice-assistant/settings.env 

4. Um zu laufen:

Starten Sie den Sprachassistenten:

 python3 ~/glados-voice-assistant/glados.py

Sie können Ihrer Crontab -Datei Glados.py hinzufügen oder manuell ausführen.

 crontab -e
@reboot python3 /home/username/glados-voice-assistant/glados.py 

Integrieren Sie sich in den Heimassistenten

Um die Integration von Home Assistant zum Laufen zu bringen, müssen Sie die API in der Konfigurationsdatei der Heimassistenten aktivieren und ein langlebiges Zugangs-Token generieren. Fügen Sie Access Token und IP-Address des Home-Assistant-Servers in die Datei "Einstellungen" hinzu.

configuration.yaml

 # This will enable rest api
api :

# This will add GLaDOS as a notification provider. Replace with correct IP of GLaDOS.
notify :
  - name : glados
    platform : rest
    resource : http://192.168.1.XXX:5000/notify 

Hardware

Liste der Referenzhardware Was NerDaxic entwickelt, müssen Modelle möglicherweise nicht genau sein. Keine vollständige Materialrechnung.

Artikel	Beschreibung
Hauptbrett	Basic i7 Laptop mit 16 Gigs RAM
Betriebssystem	Ubuntu-20.04.3-Desktop-AMD64
Mikrocontroller	Teensy 4, um die Augenlcd und Neopixel zu kontrollieren
Augenlichter	Adafruit Neopixel diffuse 5 mm durch das Loch für das "Rec" -Leuchten
Augenlichter	Adafruit 16 x 5050 Neopixelring
Eye LCD	1,28 Zoll TFT LCD -Anzeigemodul Runde, GC9A01 -Treiber -SPI -Schnittstelle 240 x 240

Audio

Audio -Verstärker wird von Raspberry GPIO 5V Line und Reseraker Board von USB ausgeschaltet, um Bodenschleifen und Lärmprobleme zu vermeiden.

Artikel	Beschreibung
Audioverstärker	Adafruit Stereo 3.7W Klasse D Audioverstärker
Sprecher	Visaton FRS 7
Mikrofon- und Audio -Schnittstelle	Researcher Mic Array v2.0

Mechanik

Die Mechaniker werden aus ihrer eigenen Stromversorgung versorgt, um den Servos mehr Leistung zu ermöglichen und Brown-Outs zu verhindern.

Artikel	Beschreibung
Stromversorgung	Meanwell LRS-50-5 5V
Servo -Controller	Pololu Micro Maestro
Servo: Augenbewegung	35 kg DS3235 (Kontrollwinkel 180)
Servo: Augenlider	25 kg DS3225 (Kontrollwinkel 180)
Schrauben	Verschiedene M3- und M4 -Schrauben
Jumperdrähte	0,32 mm²/22 AWG -Sortiment