Local_LLM_bot

Agent vocal utilise LLM local et TTS

Demo YouTube ici! ⇩

mafuyu_voice.mp4

Demo japonais lui! ⇩

Final.mp4

Introduction

Ceci est un exemple de projet pour démontrer comment utiliser LLM local LLM et TTS dans l'agent vocal. Utilisation de Rinna / Japanese-GPT-Neox-3.6b-Istruction-SFT comme LLM et Style-Bert-Vits-2 comme TTS.

Installation

1. Clone le référentiel

git clone https://github.com/teftef6220/Local_LLM_bot.git
cd Local_LLM_bot

2. Faites Venv

python -m venv venv
source venv/bin/activate

3. Installer les exigences

Installez Pytorch et Torchaudio et TorchVision à partir du site officiel

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

Installez CUDNN sur le site officiel

Installer une autre exigence

pip install -r requirements.txt

4. Fine-Tune LLM

Fine-Tune LLM avec vos données.

Utilisez Colab Notebook pour affiner LLM. Vous pouvez utiliser ce cahier.

Vous pouvez utiliser

• Rinna / Japanese-GPT-neox-3.6b-instruction-sft
• Rinna / Japanese-GPT-neox-3.6b-instruction-sft-v2
• google / gemma-2b-it
• google / gemma-7b-it
• tokyotech-llm / swallow-7b-instruct-hf
• tokyotech-llm / swallow-13b-instruct-hf

comme un modèle pré-entraîné.

5. TTS FINE

Affinez les TT avec vos données. Vous pouvez utiliser Style-Bert-Vits-2 comme modèle pré-entraîné.

6. Configurer l'agent vocal

Mettez votre répertoire LLM à réglage fin dans le répertoire LLM_Models

 llm_models
    |
    |---model_instance_dir
        |
        |---adapter_model.bin
        |---adapter_model.json

Et mettez votre répertoire TTS à réglage fin dans le répertoire Voice_Models.

 Voice_models
    |
    |---model_name
        |
        |---model_name_e100_s2000.safetensors
        |---config.json
        |---style_vectors.npy

7. Run Agent vocal

Définir la configuration dans all_config.py

python llm_agent.py

8. Bot bluesky

A également fourni un simple bot bluesky qui utilise le LLM local. Vous pouvez l'exécuter avec la commande suivante.

8.1. Utilisez Bluesky Bot

vous pouvez mentionner le bot et le bot répondra à votre mention.

 @latextex.bsky.social ねえ、名前教えてよ

Définir le fichier .env comme ci-dessous

 BS_USER_NAME = "your email address"
BS_PASSWORD = "your password"

et exécutez le bot avec la commande suivante.

python blue_sky_bot.py

Ce bot peut détecter les mentions et répondre à vos mentions à utiliser LLM.

Crédits

• litagin02 / style-bert-vits2

• FishAudio / Bert-Vits2

Licence

Ce projet est sous licence en vertu de la licence publique générale d'Affero V3.0 - voir le fichier de licence pour plus de détails.