Voice Based AI Assistant with ChatGPT on Raspberry Pi

CENG4480 โครงการสุดท้าย - AI Assistant AI ด้วยเสียงกับ CHATGPT บน Raspberry Pi

โครงการนี้เป็นการดำเนินการของผู้ช่วย AI ที่ใช้เสียงโดยใช้ CHATGPT และ Bing ของ OpenAi บน Raspberry Pi ผู้ช่วยรับฟังคำว่า "Hey Ras Pi" จากนั้นประมวลผลแบบสอบถามของผู้ใช้ให้การตอบกลับที่เหมาะสม โครงการแสดงให้เห็นถึงวิธีการรวมโมเดลภาษาหลายภาษาและ APIs เพื่อสร้างผู้ช่วย AI ที่มีความแข็งแกร่งและรับรู้บริบทมากขึ้น

คุณสมบัติ

• การตรวจจับคำปลุกโดยใช้เม่น
• การรู้จำเสียงพูดด้วยการจดจำคำพูดของ Google
• การแชทที่ใช้ AI โดยใช้ APIs bing และ unoffical bing apis
• การสนับสนุนหลายภาษาสำหรับภาษาอังกฤษแมนดารินและกวางตุ้ง
• ข้อความเป็นคำพูดโดยใช้ Google Text-to-Speech (GTTS)
• การโต้ตอบที่รับรู้บริบทสำหรับทั้ง CHATGPT และ Bing ตามประวัติการสนทนา
• การกรองคำถามที่ไวต่อเวลาโดยใช้ฟังก์ชัน NLP ที่กำหนดเอง

การติดตั้ง

1. โคลนที่เก็บ

git clone https://github.com/yourusername/Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi.git
cd Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi

2. อัปเดตและติดตั้งแพ็คเกจ Raspberry Pi ของคุณ:

sudo apt-get update
sudo apt-get upgrade
chmod +x install_dependencies.sh
./install_dependencies.sh

3. ตั้งค่าสภาพแวดล้อมเสมือนจริงและเปิดใช้งาน

python3 -m venv env
# on Pi
source env/bin/activate
# on Windows
./env/bin/activate

4. ติดตั้งแพ็คเกจที่ต้องการ

pip install -r requirements.txt
python -m spacy download en_core_web_sm

การกำหนดค่า

ก่อนที่จะเรียกใช้โครงการคุณจะต้องสร้างไฟล์ config.py ในไดเรกทอรี src ด้วยคีย์ API ของคุณ ใช้ config_example.py ที่ให้ไว้เป็นเทมเพลตและกรอกข้อมูลที่จำเป็น

Openai API

อ้างถึง https://platform.openai.com/examples

คีย์การเข้าถึง Picovoice

รับกุญแจ Access Picovoice ของคุณจากคอนโซล Picovoice เพิ่มคีย์การเข้าถึงลงในไฟล์ config.py

Bing API

โครงการนี้ใช้ Bing API ที่ไม่เป็นทางการจาก EdgeGpt ในการสร้างไฟล์คุกกี้ JSON เพื่อใช้กับ Bing API ให้ทำตามคำแนะนำในที่เก็บ EdgeGpt
เมื่อคุณมีไฟล์ config.py และ cookies.json แล้วคุณสามารถดำเนินการต่อโครงการได้

การตั้งค่าเสียง

อ้างถึง https://www.youtube.com/watch?v=VEMZN5RGXBW&AB_CHANNEL=ASSEMBLYAI

การใช้งาน

1. เรียกใช้สคริปต์หลัก:

python main.py

2. ผู้ช่วยจะฟังคำว่า "เฮ้ราสปิ" เมื่อตรวจพบแล้วมันจะแจ้งให้คุณพูดแบบสอบถามของคุณ

3. ผู้ช่วยจะประมวลผลแบบสอบถามของคุณโดยใช้ CHATGPT และ BING API และให้การตอบกลับที่เหมาะสม

โครงสร้างไดเรกทอรี

 .
├── ./.gitignore
├── ./README.md
├── ./cookies.json
├── ./env
├── ./install_dependencies.sh
├── ./main.py
├── ./models
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.ppn
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.zip
│   └── ./models/alexa_windows.ppn
├── ./output.mp3
├── ./requirements.txt
└── ./src
    ├── ./src/bing.py
    ├── ./src/config.py
    ├── ./src/config_example.py
    ├── ./src/gpt.py
    ├── ./src/nlp.py
    ├── ./src/speech_to_text.py
    ├── ./src/text_to_speech.py
    ├── ./src/translator.py
    └── ./src/wake_up_detect.py
└── ./wake_up_sound.wav

ตัวอย่างเอาต์พุต