Voice Based AI Assistant with ChatGPT on Raspberry Pi

CENG4480 Projeto Final - Assistente de IA baseada em voz no ChatGPT no Raspberry Pi

Este projeto é uma implementação de um assistente de AI baseado em voz, usando o ChatGPT e o Bing do OpenAI em um Raspberry Pi. O assistente ouve a palavra Wake "Hey Ras Pi" e depois processa a consulta do usuário, fornecendo uma resposta apropriada. O projeto demonstra como integrar vários modelos de idiomas e APIs para criar um assistente de IA mais robusto e consciente do contexto.

Características

• Detecção de palavras de despertar usando porco -espinho
• Reconhecimento de fala com reconhecimento de fala do Google
• Bate-papo baseado em IA usando chatgpt e APIs bing não oficiais
• Suporte multilíngue para inglês, mandarim e cantonês
• Text-to-fala usando o Google Text-to-Speech (GTTS)
• Interações com reconhecimento de contexto para ChatGPT e Bing com base no histórico de conversas
• Filtragem de perguntas sensíveis ao tempo usando a função PND personalizada

Instalação

1. Clone o repositório

git clone https://github.com/yourusername/Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi.git
cd Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi

2. Atualize e instale seus pacotes Raspberry Pi:

sudo apt-get update
sudo apt-get upgrade
chmod +x install_dependencies.sh
./install_dependencies.sh

3. Configure um ambiente virtual e ative -o

python3 -m venv env
# on Pi
source env/bin/activate
# on Windows
./env/bin/activate

4. Instale os pacotes necessários

pip install -r requirements.txt
python -m spacy download en_core_web_sm

Configuração

Antes de executar o projeto, você precisa criar um arquivo config.py no diretório src com suas teclas de API. Use o config_example.py fornecido como modelo e preencha as informações necessárias.

API OPENAI

Consulte https://platform.openai.com/examples

Chave de acesso ao picovoice

Obtenha sua chave de acesso ao Picovoice no console do Picovoice. Adicione a chave de acesso ao arquivo config.py .

Bing API

Este projeto usa uma API bing não oficial da EdgeGPT. Para gerar um arquivo cookies.json para uso com a API Bing, siga as instruções no repositório EdgeGPT.
Depois de ter seus arquivos config.py e cookies.json, você pode prosseguir com a execução do projeto.

Configuração de áudio

Consulte https://www.youtube.com/watch?v=Vemzn5rgxbw&ab_channel=assemblyai

Uso

1. Execute o script principal:

python main.py

2. O assistente ouvirá a palavra Wake "Hey Ras Pi". Uma vez detectado, ele solicitará que você fale sua consulta.

3. O assistente processará sua consulta usando as APIs ChatGPT e Bing e fornecerá uma resposta apropriada.

Estrutura de diretório

 .
├── ./.gitignore
├── ./README.md
├── ./cookies.json
├── ./env
├── ./install_dependencies.sh
├── ./main.py
├── ./models
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.ppn
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.zip
│   └── ./models/alexa_windows.ppn
├── ./output.mp3
├── ./requirements.txt
└── ./src
    ├── ./src/bing.py
    ├── ./src/config.py
    ├── ./src/config_example.py
    ├── ./src/gpt.py
    ├── ./src/nlp.py
    ├── ./src/speech_to_text.py
    ├── ./src/text_to_speech.py
    ├── ./src/translator.py
    └── ./src/wake_up_detect.py
└── ./wake_up_sound.wav

Saída de amostra