Local_LLM_bot

音声エージェントはローカルLLMおよびTTSを使用します

YouTubeデモはこちら！ ⇩

mafuyu_voice.mp4

日本のデモ彼女！ ⇩

final.mp4

導入

これは、音声エージェントでローカルLLMとTTSを使用する方法を示すためのサンプルプロジェクトです。 rinna/japanes-gpt-neox-3.6b-instruction-sftをLLMとして、スタイルバートビット2をTTSとして使用します。

インストール

1。リポジトリをクローンします

git clone https://github.com/teftef6220/Local_LLM_bot.git
cd Local_LLM_bot

2。venvを作成します

python -m venv venv
source venv/bin/activate

3.要件をインストールします

公式ウェブサイトからPytorchとTorchaudio、Torchvisionをインストールします

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

公式ウェブサイトからcudnnをインストールします

別の要件をインストールします

pip install -r requirements.txt

4. LLMを微調整します

データでLLMを微調整します。

Colab Notebookを使用してLLMを微調整します。このノートブックを使用できます。

使用できます

• Rinna/Japanesy-Gpt-Neox-3.6B-Instruction-Sft
• Rinna/Japany-Gpt-Neox-3.6B-Instruction-SFT-V2
• Google/gemma-2b-it
• Google/gemma-7b-it
• tokyotech-llm/swallow-7b-instruct-hf
• tokyotech-llm/swallow-13b-instruct-hf

事前に守られたモデルとして。

5。TTSを微調整します

データでTTSを微調整します。 Style-Bert-vits-2を優先モデルとして使用できます。

6.音声エージェントをセットアップします

微調整されたLLM dirをllm_modelsディレクトリに置きます

 llm_models
    |
    |---model_instance_dir
        |
        |---adapter_model.bin
        |---adapter_model.json

微調整されたTTS dirをvoice_modelsディレクトリに入れます。

 Voice_models
    |
    |---model_name
        |
        |---model_name_e100_s2000.safetensors
        |---config.json
        |---style_vectors.npy

7.音声エージェントを実行します

all_config.pyで設定を設定します

python llm_agent.py

8。BlueskyBot

また、ローカルLLMを使用するシンプルなブルースキーボットも提供しました。次のコマンドで実行できます。

8.1。 Bluesky Botを使用します

あなたはボットに言及することができ、ボットはあなたの言及に返信します。

 @latextex.bsky.social ねえ、名前教えてよ

以下のように.envファイルを設定します

 BS_USER_NAME = "your email address"
BS_PASSWORD = "your password"

次のコマンドでボットを実行します。

python blue_sky_bot.py

このボットは、言及を検出し、LLMを使用する言及に返信できます。

クレジット

• litagin02/style-bert-vits2

• Fishaudio/Bert-vits2

ライセンス

このプロジェクトは、Affero General Public License v3.0に基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。