Voice Based AI Assistant with ChatGPT on Raspberry Pi

CENG4480 Final Project - Assistant AI basé sur la voix avec Chatgpt sur Raspberry Pi

Ce projet est une implémentation d'un assistant AI basé sur la voix utilisant ChatGpt et Bing d'OpenAI sur un Raspberry Pi. L'assistant écoute le mot de réveil "Hey Ras Pi", puis traite la requête de l'utilisateur, fournissant une réponse appropriée. Le projet montre comment intégrer plusieurs modèles de langage et API pour créer un assistant AI plus robuste et plus important.

Caractéristiques

• Détection de mot de réveil à l'aide de porc-épic
• Reconnaissance de la parole avec Google Reconnaissance de la parole
• Chat basé sur l'IA utilisant le chatppt et les API Bing non officiel
• Support multilingue pour l'anglais, le mandarin et le cantonais
• Texte-vocation à l'aide de Google Text-to-Speech (GTTS)
• Interactions contextuelles pour le Chatgpt et Bing en fonction de l'historique des conversations
• Filtrage de questions sensibles au temps à l'aide de la fonction NLP personnalisée

Installation

1. Cloner le référentiel

git clone https://github.com/yourusername/Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi.git
cd Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi

2. Mettre à jour et installer vos packages Raspberry PI:

sudo apt-get update
sudo apt-get upgrade
chmod +x install_dependencies.sh
./install_dependencies.sh

3. Configurez un environnement virtuel et activez-le

python3 -m venv env
# on Pi
source env/bin/activate
# on Windows
./env/bin/activate

4. Installez les packages requis

pip install -r requirements.txt
python -m spacy download en_core_web_sm

Configuration

Avant d'exécuter le projet, vous devez créer un fichier config.py dans le répertoire src avec vos touches API. Utilisez la config_example.py fournie comme modèle et remplissez les informations nécessaires.

API Openai

Reportez-vous à https://platform.openai.com/examples

Clé d'accès PicoVoice

Obtenez votre clé d'accès PicoVoice à partir de la console Picovoice. Ajoutez la touche d'accès au fichier config.py .

API Bing

Ce projet utilise une API Bing non officielle d'EdgeGpt. Pour générer un fichier cookies.json pour une utilisation avec l'API Bing, suivez les instructions du référentiel Edgegpt.
Une fois que vous disposez de vos fichiers config.py et cookies.json, vous pouvez poursuivre l'exécution du projet.

Configuration audio

Reportez-vous à https://www.youtube.com/watch?v=vemzn5rgxbw&ab_channel=Assemblyai

Usage

1. Exécutez le script principal:

python main.py

2. L'assistant écoutera le mot de réveil "Hey ras pi". Une fois détecté, cela vous incitera à parler votre requête.

3. L'assistant traitera votre requête à l'aide d'API Chatgpt et Bing et fournira une réponse appropriée.

Structure de répertoire

 .
├── ./.gitignore
├── ./README.md
├── ./cookies.json
├── ./env
├── ./install_dependencies.sh
├── ./main.py
├── ./models
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.ppn
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.zip
│   └── ./models/alexa_windows.ppn
├── ./output.mp3
├── ./requirements.txt
└── ./src
    ├── ./src/bing.py
    ├── ./src/config.py
    ├── ./src/config_example.py
    ├── ./src/gpt.py
    ├── ./src/nlp.py
    ├── ./src/speech_to_text.py
    ├── ./src/text_to_speech.py
    ├── ./src/translator.py
    └── ./src/wake_up_detect.py
└── ./wake_up_sound.wav

Échantillon de sortie