Local_LLM_bot

语音代理使用本地LLM和TTS

YouTube演示在这里！ ⇩

mafuyu_voice.mp4

日本演示她！ ⇩

final.mp4

介绍

这是一个示例项目，旨在演示如何在语音代理中使用本地LLM和TTS。将rinna/japesen-gpt-neox-3.6b-Instruction-sft用作LLM和style-bert-vits-2作为TTS。

安装

1。克隆存储库

git clone https://github.com/teftef6220/Local_LLM_bot.git
cd Local_LLM_bot

2

python -m venv venv
source venv/bin/activate

3。安装要求

从官方网站安装Pytorch和Torchaudio和Torchvision

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

从官方网站安装Cudnn

安装另一个要求

pip install -r requirements.txt

4。微调LLM

用您的数据微调LLM。

使用COLAB笔记本进行微调LLM。您可以使用此笔记本。

您可以使用

• rinna/japesen-gpt-neox-3.6b-Instruction-sft
• RINNA/日语-GPT-NEOX-3.6B-Instruction-SFT-V2
• Google/gemma-2b-it
• Google/gemma-7b-it
• Tokyotech-llm/wallow-7b-instruct-hf
• Tokyotech-llm/燕子13b-instruct-hf

作为预据的模型。

5。微调TT

用您的数据微调TT。您可以将style-bert-vits-2用作验证的模型。

6。设置语音代理

将您的微调LLM DIR放入LLM_Models目录中

 llm_models
    |
    |---model_instance_dir
        |
        |---adapter_model.bin
        |---adapter_model.json

并将微调的TTS DIR放入Voice_Models目录中。

 Voice_models
    |
    |---model_name
        |
        |---model_name_e100_s2000.safetensors
        |---config.json
        |---style_vectors.npy

7。运行语音代理

在all_config.py中设置config

python llm_agent.py

8。BlueskyBot

还提供了一个简单的Bluesky机器人，该机器人使用本地LLM。您可以使用以下命令运行它。

8.1。使用Bluesky Bot

您可以提及机器人，机器人将回复您的提及。

 @latextex.bsky.social ねえ、名前教えてよ

设置.env文件如下

 BS_USER_NAME = "your email address"
BS_PASSWORD = "your password"

并使用以下命令运行机器人。

python blue_sky_bot.py

该机器人可以检测到提​​及并回复您的提及使用LLM。

学分

• litagin02/style-bert-vits2

• Fishaudio/Bert-Vits2

执照

该项目已根据Affero通用公共许可证v3.0许可 - 有关详细信息，请参见许可证文件。