Voice Based AI Assistant with ChatGPT on Raspberry Pi

CENG4480 Final Project - Voice -basierter KI -Assistent mit Chatgpt auf Raspberry Pi

Dieses Projekt ist eine Implementierung eines sprachbasierten KI-Assistenten, der OpenAIs Chatgpt und Bing auf einem Raspberry Pi verwendet. Der Assistent hört das Wake -Wort "Hey Ras Pi" und verarbeitet dann die Abfrage des Benutzers und liefert eine geeignete Antwort. Das Projekt zeigt, wie mehrere Sprachmodelle und APIs integriert werden können, um einen robusteren und kontextbewussteren KI-Assistenten zu erstellen.

Merkmale

• Wake Word -Erkennung mit Stachelschwein
• Spracherkennung mit Google Spracherkennung
• AI-basierter Chat mit Chatgpt und inoffischen Bing-APIs
• Mehrsprachige Unterstützung für Englisch, Mandarin und Kantonesisch
• Text-to-Speech mit Google Text-to-Speech (GTTS)
• Kontextbewusste Interaktionen sowohl für Chatgpt als auch für Bing basierend auf der Gesprächsgeschichte
• Zeitempfindliche Fragenfilterung mit benutzerdefinierter NLP-Funktion

Installation

1. Klonen Sie das Repository

git clone https://github.com/yourusername/Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi.git
cd Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi

2. Aktualisieren und installieren Sie Ihre Raspberry PI -Pakete:

sudo apt-get update
sudo apt-get upgrade
chmod +x install_dependencies.sh
./install_dependencies.sh

3. Richten Sie eine virtuelle Umgebung ein und aktivieren Sie sie

python3 -m venv env
# on Pi
source env/bin/activate
# on Windows
./env/bin/activate

4. Installieren Sie die erforderlichen Pakete

pip install -r requirements.txt
python -m spacy download en_core_web_sm

Konfiguration

Bevor das Projekt ausgeführt wird, müssen Sie eine config.py -Datei im src -Verzeichnis mit Ihren API -Schlüssel erstellen. Verwenden Sie die bereitgestellte config_example.py als Vorlage und geben Sie die erforderlichen Informationen ein.

Openai API

Siehe https://platform.openai.com/examples

Picovoice Access Key

Holen Sie sich Ihre Picovoice -Zugangstaste aus der Picovoice -Konsole. Fügen Sie die Zugriffstaste in die Datei config.py hinzu.

Bing API

Dieses Projekt verwendet eine inoffizielle Bing -API von EdgeGpt. Um eine Cookies.json -Datei zur Verwendung mit der Bing -API zu generieren, befolgen Sie die Anweisungen im EdgeGPT -Repository.
Sobald Sie Ihre Dateien config.py und cookies.json bereit haben, können Sie das Projekt ausführen.

Audio -Setup

Siehe https://www.youtube.com/watch?v=vemzn5rgxbw&ab_channel=assemblyai

Verwendung

1. Führen Sie das Hauptskript aus:

python main.py

2. Der Assistent hört auf das Wake -Wort "Hey Ras Pi". Sobald Sie entdeckt wurden, werden Sie aufgefordert, Ihre Anfrage zu sprechen.

3. Der Assistent verarbeitet Ihre Abfrage mit ChatGPT- und Bing -APIs und liefert eine geeignete Antwort.

Verzeichnisstruktur

 .
├── ./.gitignore
├── ./README.md
├── ./cookies.json
├── ./env
├── ./install_dependencies.sh
├── ./main.py
├── ./models
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.ppn
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.zip
│   └── ./models/alexa_windows.ppn
├── ./output.mp3
├── ./requirements.txt
└── ./src
    ├── ./src/bing.py
    ├── ./src/config.py
    ├── ./src/config_example.py
    ├── ./src/gpt.py
    ├── ./src/nlp.py
    ├── ./src/speech_to_text.py
    ├── ./src/text_to_speech.py
    ├── ./src/translator.py
    └── ./src/wake_up_detect.py
└── ./wake_up_sound.wav

Probenausgabe