Voice Based AI Assistant with ChatGPT on Raspberry Pi

CENG4480 최종 프로젝트 - Raspberry Pi의 Chatgpt와의 음성 기반 AI Assistant

이 프로젝트는 Raspberry Pi에서 OpenAi의 ChatGpt 및 Bing을 사용하여 음성 기반 AI 어시스턴트의 구현입니다. 어시스턴트는 "Hey Ras Pi"라는 단어를 듣고 사용자의 쿼리를 처리하여 적절한 응답을 제공합니다. 이 프로젝트는 다수의 언어 모델과 API를 통합하여보다 강력하고 상황을 인식하는 AI 보조원을 만드는 방법을 보여줍니다.

특징

• 고슴도치를 사용한 웨이크 단어 탐지
• Google 음성 인식으로 음성 인식
• ChatGpt 및 비공식 Bing API를 사용한 AI 기반 채팅
• 영어, 만다린 및 광둥어에 대한 다국어 지원
• gtts (Google Text-Steech)를 사용한 텍스트 음성
• 대화 기록을 기반으로하는 Chatgpt와 Bing의 맥락 인식 상호 작용
• 사용자 정의 NLP 기능을 사용한 시간에 민감한 질문 필터링

설치

1. 저장소를 복제하십시오

git clone https://github.com/yourusername/Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi.git
cd Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi

2. Raspberry Pi 패키지 업데이트 및 설치 :

sudo apt-get update
sudo apt-get upgrade
chmod +x install_dependencies.sh
./install_dependencies.sh

3. 가상 환경을 설정하고 활성화하십시오

python3 -m venv env
# on Pi
source env/bin/activate
# on Windows
./env/bin/activate

4. 필요한 패키지를 설치하십시오

pip install -r requirements.txt
python -m spacy download en_core_web_sm

구성

프로젝트를 실행하기 전에 API 키로 src 디렉토리에 config.py 파일을 만들어야합니다. 제공된 config_example.py 템플릿으로 사용하고 필요한 정보를 작성하십시오.

Openai API

https://platform.openai.com/examples를 참조하십시오

피코 보이스 액세스 키

Picovoice 콘솔에서 picovoice 액세스 키를 얻으십시오. config.py 파일에 액세스 키를 추가하십시오.

빙 API

이 프로젝트는 EdgeGpt의 비공식 Bing API를 사용합니다. Bing API와 함께 사용할 쿠키 .json 파일을 생성하려면 EdgeGpt 저장소의 지침을 따르십시오.
config.py 및 cookies.json 파일을 준비하면 프로젝트 실행을 진행할 수 있습니다.

오디오 설정

https://www.youtube.com/watch?v=vemzn5rgxbw&ab_channel=assemblyai를 참조하십시오

용법

1. 기본 스크립트 실행 :

python main.py

2. 조수는 "Hey ras pi"라는 단어를들을 것입니다. 감지되면 쿼리를 말하라는 메시지가 표시됩니다.

3. 어시스턴트는 ChatGpt 및 Bing API를 사용하여 쿼리를 처리하고 적절한 응답을 제공합니다.

디렉토리 구조

 .
├── ./.gitignore
├── ./README.md
├── ./cookies.json
├── ./env
├── ./install_dependencies.sh
├── ./main.py
├── ./models
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.ppn
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.zip
│   └── ./models/alexa_windows.ppn
├── ./output.mp3
├── ./requirements.txt
└── ./src
    ├── ./src/bing.py
    ├── ./src/config.py
    ├── ./src/config_example.py
    ├── ./src/gpt.py
    ├── ./src/nlp.py
    ├── ./src/speech_to_text.py
    ├── ./src/text_to_speech.py
    ├── ./src/translator.py
    └── ./src/wake_up_detect.py
└── ./wake_up_sound.wav

샘플 출력