Local_LLM_bot

Agen suara menggunakan LLM dan TTS lokal

Demo YouTube di sini! ⇩

mafuyu_voice.mp4

Demo Jepang dia! ⇩

Final.mp4

Perkenalan

Ini adalah proyek sampel untuk menunjukkan cara menggunakan LLM dan TT lokal di Agen Suara. Menggunakan Rinna/Jepang-GPT-NEOX-3.6B-Instruksi-SFT sebagai LLM dan Style-Bert-Vits-2 sebagai TTS.

Instalasi

1. Kloning repositori

git clone https://github.com/teftef6220/Local_LLM_bot.git
cd Local_LLM_bot

2. Buat venv

python -m venv venv
source venv/bin/activate

3. Pasang persyaratan

Instal Pytorch dan Torchaudio dan TorchVision dari situs web resmi

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

Instal Cudnn dari situs web resmi

Pasang persyaratan lain

pip install -r requirements.txt

4. Fine-Tune LLM

Fine-Tune LLM dengan data Anda.

Gunakan Colab Notebook untuk menyempurnakan LLM. Anda dapat menggunakan buku catatan ini.

Anda bisa menggunakannya

• Rinna/Jepang-GPT-NEOX-3.6B-Instruksi-Sft
• Rinna/Jepang-GPT-NEOX-3.6B-Instruksi-SFT-V2
• Google/GEMMA-2B-IT
• Google/GEMMA-7B-IT
• Tokyotech-llm/Swallow-7b-instruct-hf
• Tokyotech-llm/Swallow-13b-instruct-hf

sebagai model pretrained.

5. Fine-Tune Tts

Fine-tune TTS dengan data Anda. Anda dapat menggunakan Style-Bert-Vits-2 sebagai model pretrained.

6. Mengatur Agen Suara

Masukkan direktori LLM Fine-Tuned Anda di direktori LLM_MODELS

 llm_models
    |
    |---model_instance_dir
        |
        |---adapter_model.bin
        |---adapter_model.json

dan taruh direktori TTS Anda yang disetel di Voice_Models.

 Voice_models
    |
    |---model_name
        |
        |---model_name_e100_s2000.safetensors
        |---config.json
        |---style_vectors.npy

7. Jalankan Agen Suara

Atur config di all_config.py

python llm_agent.py

8. Bluesky Bot

Juga memberikan bot bluesky sederhana yang menggunakan LLM lokal. Anda dapat menjalankannya dengan perintah berikut.

8.1. Gunakan bot bluesky

Anda dapat menyebutkan bot dan bot akan membalas penyebutan Anda.

 @latextex.bsky.social ねえ、名前教えてよ

Atur file .env seperti di bawah ini

 BS_USER_NAME = "your email address"
BS_PASSWORD = "your password"

dan jalankan bot dengan perintah berikut.

python blue_sky_bot.py

Bot ini dapat mendeteksi menyebutkan dan membalas menyebut Anda menggunakan LLM.

Kredit

• litagin02/style-bert-vits2

• Fishaudio/Bert-Vits2

Lisensi

Proyek ini dilisensikan di bawah Lisensi Publik Umum Affero v3.0 - lihat file lisensi untuk detailnya.