Voice Based AI Assistant with ChatGPT on Raspberry Pi

CENG4480 Proyecto final - Asistente de IA basado en voz con chatgpt en Raspberry Pi

Este proyecto es una implementación de un asistente de IA basado en la voz que usa ChatGPT y Bing de OpenAi en una Raspberry Pi. El asistente escucha la palabra de estela "Hey Ras Pi" y luego procesa la consulta del usuario, proporcionando una respuesta apropiada. El proyecto demuestra cómo integrar múltiples modelos de idiomas y API para crear un asistente de IA más robusto y consciente del contexto.

Características

• Detección de palabras de wake usando Porcupine
• Reconocimiento de voz con el reconocimiento de voz de Google
• CHAT basado en IA usando chatgpt y apis no oficiales de bing
• Soporte multilingüe para inglés, mandarín y cantonés
• Texto a voz utilizando Google Text-topeech (GTTS)
• Interacciones conscientes del contexto tanto para chatgpt como bing basadas en el historial de conversación
• Filtrado de preguntas sensibles al tiempo utilizando la función NLP personalizada

Instalación

1. Clonar el repositorio

git clone https://github.com/yourusername/Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi.git
cd Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi

2. Actualice e instale sus paquetes de Raspberry PI:

sudo apt-get update
sudo apt-get upgrade
chmod +x install_dependencies.sh
./install_dependencies.sh

3. Configure un entorno virtual y activelo

python3 -m venv env
# on Pi
source env/bin/activate
# on Windows
./env/bin/activate

4. Instale los paquetes requeridos

pip install -r requirements.txt
python -m spacy download en_core_web_sm

Configuración

Antes de ejecutar el proyecto, debe crear un archivo config.py en el directorio src con sus claves API. Utilice la configuración proporcionada de config_example.py como plantilla y complete la información necesaria.

API OPERAI

Consulte https://platform.openai.com/examples

Clave de acceso a picovoice

Obtenga su clave de acceso Picovoice desde la consola Picovoice. Agregue la clave de acceso al archivo config.py .

API de Bing

Este proyecto utiliza una API Bing no oficial de EdgeGPT. Para generar un archivo cookies.json para su uso con la API de Bing, siga las instrucciones en el repositorio de EdgeGPT.
Una vez que tenga listos sus archivos config.py y cookies.json, puede continuar con la ejecución del proyecto.

Configuración de audio

Consulte https://www.youtube.com/watch?v=vemzn5rgxbw&ab_channel=assemblyai

Uso

1. Ejecute el guión principal:

python main.py

2. El asistente escuchará la palabra de vigilia "Hey Ras Pi". Una vez detectado, le pedirá que hable su consulta.

3. El asistente procesará su consulta utilizando las API CHATGPT y Bing y proporcionará una respuesta adecuada.

Estructura de directorio

 .
├── ./.gitignore
├── ./README.md
├── ./cookies.json
├── ./env
├── ./install_dependencies.sh
├── ./main.py
├── ./models
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.ppn
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.zip
│   └── ./models/alexa_windows.ppn
├── ./output.mp3
├── ./requirements.txt
└── ./src
    ├── ./src/bing.py
    ├── ./src/config.py
    ├── ./src/config_example.py
    ├── ./src/gpt.py
    ├── ./src/nlp.py
    ├── ./src/speech_to_text.py
    ├── ./src/text_to_speech.py
    ├── ./src/translator.py
    └── ./src/wake_up_detect.py
└── ./wake_up_sound.wav

Salida de muestra