Personal Voice Assistant Using LLM FunctionCalling

Personal Voice Assistant Using LLM FunctionCalling

AI ソースコード

1.0.0

ダウンロード

パーソナル音声アシスタント

これは、YouTubeから音楽を再生したり、エラーを修正したり、通常のチャットボットのようにあなたとチャットするなど、さまざまなタスクを実行できる個人的な音声アシスタントです。アシスタントはPythonを使用して構築され、いくつかのライブラリとAPIをレバレッジして機能を提供します。

プレビュー

ビデオをご覧ください

特徴

YouTubeから音楽を再生する：検索クエリに基づいて、YouTubeから音楽を再生するようにアシスタントに依頼することができます。
修正エラー：アシスタントはスクリーンショットを取り、画像からテキストを抽出し、テキストにあるエラーを修正しようとします。
チャットボット：アシスタントはあなたと通常の会話をすることができます。

エラー修正プロセス：

ユーザーがエラーを報告すると、Personal Voice Assistantが現在の画面のスクリーンショットを取り、正確な問題をキャプチャします。この画像は、OpenCVを使用して処理され、スクリーンショットからテキストを抽出します。抽出されたテキストはLlama 3言語モデルに送信され、コンテンツを分析し、関連する応答またはソリューションを生成します。その後、アシスタントは、推奨される修正またはトラブルシューティングのステップをユーザーに戻し、合理化された効果的な解決プロセスを確保します。

はじめる

前提条件

システムにPythonがインストールされていることを確認してください。 python.orgからダウンロードできます。

インストール

リポジトリをクローンします：

git clone https://github.com/kiritoInd/Personal-Voice-Assistant.git
cd Personal-Voice-Assistant

必要なパッケージをインストールします。
```
pip install -r requirements.txt
```

環境変数

プロジェクトのルートディレクトリに.envファイルを作成し、GROQ APIキーを追加します。

 GROQ_API_KEY = your_groq_api_key

アシスタントを実行します

次のコマンドを実行して、音声アシスタントを開始します。

python main.py

使用法

アシスタントを開始する：GUIの[ボットを開始]ボタンをクリックして、アシスタントを起動します。
トリガーワード：「こんにちは」と言って、アシスタントをアクティブにします。
コマンド：
- 音楽を再生する：「YouTubeから[歌名]を再生します。」
- エラーの修正：「このエラーを修正できますか？」
- チャット：通常の会話に参加します。

さらに機能を追加します

関数呼び出しリストを介して、より多くの機能をアシスタントに追加できます。 DataCampのOpenAI Calling Tutorialで関数呼び出しの詳細をご覧ください。

Meta Llama3に同じものを使用できます

さらに機能を追加します

関数呼び出しリストを介して、より多くの機能をアシスタントに追加できます。 DataCampのOpenAI Calling Tutorialで関数呼び出しの詳細をご覧ください。

新しい関数を追加するには、コードのfunction_calling_templateを更新します。

 function_calling_template = """ 
    <tools> {
    "name": "Your Function",
    "description": "Description of the function",
    "parameters": {
        "type": "object",
        "properties": {},
        "required": [],
    },
    } </tools>
  """