Voice Based AI Assistant with ChatGPT on Raspberry Pi

CENG4480最終プロジェクト-RaspberryPiのChatGPTを備えた音声ベースのAIアシスタント

このプロジェクトは、Raspberry PiでOpenaiのChatGptとBingを使用した音声ベースのAIアシスタントの実装です。アシスタントは、ウェイクワード「Hey Ras Pi」を聞き、ユーザーのクエリを処理し、適切な応答を提供します。このプロジェクトでは、複数の言語モデルとAPIを統合して、より堅牢でコンテキストに対応するAIアシスタントを作成する方法を示しています。

特徴

• ヤマアラシを使用したウェイクワード検出
• Googleの音声認識による音声認識
• chatgptと非曖昧なビングAPIを使用したAIベースのチャット
• 英語、マンダリン、広東語の多言語サポート
• Google Text-to-Speech（GTTS）を使用したテキストツースピーチ
• 会話の履歴に基づいて、chatgptとbingの両方のコンテキスト認識の相互作用
• カスタムNLP関数を使用した時間に敏感な質問フィルタリング

インストール

1. リポジトリをクローンします

git clone https://github.com/yourusername/Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi.git
cd Voice-Based-AI-Assistant-with-ChatGPT-on-Raspberry-Pi

2. Raspberry Piパッケージを更新してインストールします。

sudo apt-get update
sudo apt-get upgrade
chmod +x install_dependencies.sh
./install_dependencies.sh

3. 仮想環境を設定してアクティブにします

python3 -m venv env
# on Pi
source env/bin/activate
# on Windows
./env/bin/activate

4. 必要なパッケージをインストールします

pip install -r requirements.txt
python -m spacy download en_core_web_sm

構成

プロジェクトを実行する前に、APIキーを使用してsrcディレクトリにconfig.pyファイルを作成する必要があります。提供されたconfig_example.pyテンプレートとして使用し、必要な情報を入力します。

Openai API

https://platform.openai.com/examplesを参照してください

Picovoiceアクセスキー

PicovoiceコンソールからPicovoiceアクセスキーを入手してください。 config.pyファイルにアクセスキーを追加します。

Bing API

このプロジェクトでは、EdgeGPTの非公式Bing APIを使用しています。 Bing APIで使用するCookies.jsonファイルを生成するには、EdgeGPTリポジトリの指示に従ってください。
config.py.pyおよびcookies.jsonファイルを準備したら、プロジェクトの実行を続行できます。

オーディオセットアップ

https://www.youtube.com/watch?v=vemzn5rgxbw&ab_channel=assemblyaiを参照してください

使用法

1. メインスクリプトを実行します：

python main.py

2. アシスタントは、「ちょっとras pi」という言葉を聞きます。検出されると、クエリを話すように促されます。

3. アシスタントは、ChatGPTとBing APIを使用してクエリを処理し、適切な応答を提供します。

ディレクトリ構造

 .
├── ./.gitignore
├── ./README.md
├── ./cookies.json
├── ./env
├── ./install_dependencies.sh
├── ./main.py
├── ./models
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.ppn
│   ├── ./models/Hey-Ras-Pi_en_raspberry-pi_v2_1_0.zip
│   └── ./models/alexa_windows.ppn
├── ./output.mp3
├── ./requirements.txt
└── ./src
    ├── ./src/bing.py
    ├── ./src/config.py
    ├── ./src/config_example.py
    ├── ./src/gpt.py
    ├── ./src/nlp.py
    ├── ./src/speech_to_text.py
    ├── ./src/text_to_speech.py
    ├── ./src/translator.py
    └── ./src/wake_up_detect.py
└── ./wake_up_sound.wav

サンプル出力