Local_LLM_bot

語音代理使用本地LLM和TTS

YouTube演示在這裡！ ⇩

mafuyu_voice.mp4

日本演示她！ ⇩

final.mp4

介紹

這是一個示例項目，旨在演示如何在語音代理中使用本地LLM和TTS。將rinna/japesen-gpt-neox-3.6b-Instruction-sft用作LLM和style-bert-vits-2作為TTS。

安裝

1。克隆存儲庫

git clone https://github.com/teftef6220/Local_LLM_bot.git
cd Local_LLM_bot

2

python -m venv venv
source venv/bin/activate

3。安裝要求

從官方網站安裝Pytorch和Torchaudio和Torchvision

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

從官方網站安裝Cudnn

安裝另一個要求

pip install -r requirements.txt

4。微調LLM

用您的數據微調LLM。

使用COLAB筆記本進行微調LLM。您可以使用此筆記本。

您可以使用

• rinna/japesen-gpt-neox-3.6b-Instruction-sft
• RINNA/日語-GPT-NEOX-3.6B-Instruction-SFT-V2
• Google/gemma-2b-it
• Google/gemma-7b-it
• Tokyotech-llm/wallow-7b-instruct-hf
• Tokyotech-llm/燕子13b-instruct-hf

作為預據的模型。

5。微調TT

用您的數據微調TT。您可以將style-bert-vits-2用作驗證的模型。

6。設置語音代理

將您的微調LLM DIR放入LLM_Models目錄中

 llm_models
    |
    |---model_instance_dir
        |
        |---adapter_model.bin
        |---adapter_model.json

並將微調的TTS DIR放入Voice_Models目錄中。

 Voice_models
    |
    |---model_name
        |
        |---model_name_e100_s2000.safetensors
        |---config.json
        |---style_vectors.npy

7。運行語音代理

在all_config.py中設置config

python llm_agent.py

8。 BlueskyBot

還提供了一個簡單的Bluesky機器人，該機器人使用本地LLM。您可以使用以下命令運行它。

8.1。使用Bluesky Bot

您可以提及機器人，機器人將回复您的提及。

 @latextex.bsky.social ねえ、名前教えてよ

設置.env文件如下

 BS_USER_NAME = "your email address"
BS_PASSWORD = "your password"

並使用以下命令運行機器人。

python blue_sky_bot.py

該機器人可以檢測到提​​及並回复您的提及使用LLM。

學分

• litagin02/style-bert-vits2

• Fishaudio/Bert-Vits2

執照

該項目已根據Affero通用公共許可證v3.0許可 - 有關詳細信息，請參見許可證文件。