Local_LLM_bot

Agente de voz Use LLM e TTS locais

Demonstração do YouTube aqui! ⇩

mafuyu_voice.mp4

Demoção japonesa ela! ⇩

Final.mp4

Introdução

Este é um projeto de amostra para demonstrar como usar o LLM e o TTS locais no agente de voz. Usando Rinna/Japanese-GPT-Neox-3.6B-Instrução-SFT como LLM e Style-Bert-Vits-2 como TTS.

Instalação

1. Clone o repositório

git clone https://github.com/teftef6220/Local_LLM_bot.git
cd Local_LLM_bot

2. Faça Venv

python -m venv venv
source venv/bin/activate

3. Instale os requisitos

Instale Pytorch e Torchaudio e Torchvision no site oficial

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

Instale o CUDNN no site oficial

Instalar outros requisitos

pip install -r requirements.txt

4. Fine-tune llm

Tune LLM com seus dados.

Use o Notebook Colab para ajustar o LLM. Você pode usar este notebook.

Você pode usar

• Rinna/Japanese-GPT-Neox-3.6b-Instrução-SFT
• Rinna/Japanese-GPT-Neox-3.6b-Instrução-SFT-V2
• Google/gemma-2b-it
• Google/gemma-7b-it
• Tokyotech-llm/swallow-7b-Instruct-HF
• Tokyotech-llm/swallow-13b-Instruct-HF

como um modelo pré -treinamento.

5. TTS FINE

TUN TTS fino com seus dados. Você pode usar o Style-Bert-Vits-2 como um modelo pré-treinamento.

6. Configurar agente de voz

Coloque seu diretório LLM de ajuste fina no diretório llm_models

 llm_models
    |
    |---model_instance_dir
        |
        |---adapter_model.bin
        |---adapter_model.json

E coloque seu diretório TTS Dir no Voice_models.

 Voice_models
    |
    |---model_name
        |
        |---model_name_e100_s2000.safetensors
        |---config.json
        |---style_vectors.npy

7. Executar agente de voz

Defina a configuração em all_config.py

python llm_agent.py

8. Bot Bot

Também forneceu um bot bluesky simples que usa o LLM local. Você pode executá -lo com o seguinte comando.

8.1. Use bot bluesky

Você pode mencionar o bot e o bot responderá à sua menção.

 @latextex.bsky.social ねえ、名前教えてよ

Defina o arquivo .env como abaixo

 BS_USER_NAME = "your email address"
BS_PASSWORD = "your password"

e execute o bot com o seguinte comando.

python blue_sky_bot.py

Este bot pode detectar menções e responder às suas menções, use LLM.

Créditos

• litagin02/style-bert-vits2

• Fishaudio/Bert-Vits2

Licença

Este projeto está licenciado sob a licença pública geral do Affero v3.0 - consulte o arquivo de licença para obter detalhes.