Voice Based AI Assistant with ChatGPT on Raspberry Pi

Proyek Akhir Ceng4480 - Asisten AI Berbasis Suara dengan ChatGPT di Raspberry Pi

Proyek ini adalah implementasi asisten AI berbasis suara menggunakan Openai's Chatgpt dan Bing di Raspberry Pi. Asisten mendengarkan kata Wake "hey ras pi" dan kemudian memproses permintaan pengguna, memberikan respons yang tepat. Proyek ini menunjukkan cara mengintegrasikan beberapa model bahasa dan API untuk menciptakan asisten AI yang lebih kuat dan sadar konteks.

Fitur

• Wake Word Detection Menggunakan Landak
• Pengenalan Pidato dengan Pengakuan Pidato Google
• Obrolan Berbasis AI Menggunakan Chatgpt dan API Bing yang tidak resmi
• Dukungan multibahasa untuk bahasa Inggris, Mandarin, dan Kanton
• Text-to-Speech Menggunakan Google Text-to-Speech (GTTS)
• Interaksi konteks-sadar untuk chatgpt dan wing berdasarkan riwayat percakapan
• Penyaringan Pertanyaan Sensitif Waktu Menggunakan Fungsi NLP Kustom

Instalasi

1. Klon Repositori

git clone https://github.com/yourusername/Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi.git
cd Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi

2. Perbarui dan instal paket Raspberry Pi Anda:

sudo apt-get update
sudo apt-get upgrade
chmod +x install_dependencies.sh
./install_dependencies.sh

3. Siapkan lingkungan virtual dan aktifkan

python3 -m venv env
# on Pi
source env/bin/activate
# on Windows
./env/bin/activate

4. Pasang paket yang diperlukan

pip install -r requirements.txt
python -m spacy download en_core_web_sm

Konfigurasi

Sebelum menjalankan proyek, Anda perlu membuat file config.py di direktori src dengan kunci API Anda. Gunakan config_example.py yang disediakan sebagai templat dan isi informasi yang diperlukan.

API OpenAI

Lihat https://platform.openai.com/examples

Kunci Akses Picovoice

Dapatkan kunci akses picovoice Anda dari konsol picovoice. Tambahkan tombol akses ke file config.py .

Bing API

Proyek ini menggunakan API Bing tidak resmi dari Edgegpt. Untuk menghasilkan file cookies.json untuk digunakan dengan API Bing, ikuti instruksi di repositori Edgegpt.
Setelah Anda menyiapkan file config.py dan cookies.json, Anda dapat melanjutkan dengan menjalankan proyek.

Pengaturan Audio

Lihat https://www.youtube.com/watch?v=vemzn5rgxbw&ab_channel=assemblyai

Penggunaan

1. Jalankan skrip utama:

python main.py

2. Asisten akan mendengarkan kata Wake "Hei Ras Pi". Setelah terdeteksi, itu akan meminta Anda untuk berbicara pertanyaan Anda.

3. Asisten akan memproses kueri Anda menggunakan ChatGPT dan BING API dan memberikan respons yang tepat.

Struktur Direktori

 .
├── ./.gitignore
├── ./README.md
├── ./cookies.json
├── ./env
├── ./install_dependencies.sh
├── ./main.py
├── ./models
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.ppn
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.zip
│   └── ./models/alexa_windows.ppn
├── ./output.mp3
├── ./requirements.txt
└── ./src
    ├── ./src/bing.py
    ├── ./src/config.py
    ├── ./src/config_example.py
    ├── ./src/gpt.py
    ├── ./src/nlp.py
    ├── ./src/speech_to_text.py
    ├── ./src/text_to_speech.py
    ├── ./src/translator.py
    └── ./src/wake_up_detect.py
└── ./wake_up_sound.wav

Output sampel