Local_LLM_bot

Sprachagent verwendet lokale LLM und TTS

YouTube -Demo hier! ⇩

mafuyu_voice.mp4

Japanische Demo sie! ⇩

Final.mp4

Einführung

Dies ist ein Beispielprojekt, um zu demonstrieren, wie lokale LLM und TTs in Voice Agent verwendet werden. Verwenden von Rinna/Japanisch-GPT-NEOX-3,6B-INTRUKTION-SFT als LLM und Style-Bert-Vits-2 als TTS.

Installation

1. Klonen Sie das Repository klonen

git clone https://github.com/teftef6220/Local_LLM_bot.git
cd Local_LLM_bot

2. Machen Sie Venv

python -m venv venv
source venv/bin/activate

3.. Anforderungen installieren

Installieren Sie Pytorch und Torchaudio und Torchvision von der offiziellen Website

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

Installieren Sie Cudnn von der offiziellen Website

Weitere Anforderungen installieren

pip install -r requirements.txt

4. Fine-Tune LLM

Fine-Tune LLM mit Ihren Daten.

Verwenden Sie das Colab-Notebook, um LLM zu optimieren. Sie können dieses Notebook verwenden.

Sie können verwenden

• Rinna/Japanisch-GPT-NEOX-3,6B-INTRUKTION-SFT
• Rinna/Japanisch-GPT-NEOX-3,6B-INTRUCTULION-SFT-V2
• Google/Gemma-2B-it
• Google/Gemma-7b-it
• Tokyotech-Llm/Swallow-7b-Instruct-HF
• Tokyotech-Llm/Swallow-13b-Instruct-HF

als vorbereitete Modell.

5. Feinabstimmung TTS

Fein-TTS mit Ihren Daten. Sie können Style-Bert-Vits-2 als vorgezogenes Modell verwenden.

6. Voice Agent einrichten

Stellen Sie Ihr fein abgestimmter LLM-Dir in LLM_Models-Verzeichnis ein

 llm_models
    |
    |---model_instance_dir
        |
        |---adapter_model.bin
        |---adapter_model.json

und geben Sie Ihr fein abgestimmter TTS-Dir in Voice_Models-Verzeichnis.

 Voice_models
    |
    |---model_name
        |
        |---model_name_e100_s2000.safetensors
        |---config.json
        |---style_vectors.npy

7. Sprachagent rennen

Setzen Sie die Konfiguration in All_Config.py

python llm_agent.py

8. Bluesky Bot

Bot auch einen einfachen Bluesky -Bot, der das lokale LLM verwendet. Sie können es mit dem folgenden Befehl ausführen.

8.1. Verwenden Sie Bluesky Bot

Sie können den Bot erwähnen und der Bot antwortet auf Ihre Erwähnung.

 @latextex.bsky.social ねえ、名前教えてよ

Setzen Sie die Datei .Env wie unten

 BS_USER_NAME = "your email address"
BS_PASSWORD = "your password"

und führen Sie den Bot mit dem folgenden Befehl aus.

python blue_sky_bot.py

Dieser Bot kann Erwähnungen erkennen und auf Ihre Erwähnungen antworten. Verwenden Sie LLM.

Credits

• Litagin02/Style-Bert-Vits2

• Fishaudio/Bert-Vits2

Lizenz

Dieses Projekt ist unter der Affero General Public Lizenz v3.0 lizenziert - Einzelheiten finden Sie in der Lizenzdatei.