Local_LLM_bot

Голосовой агент использует локальный LLM и TTS

YouTube Демо здесь! ⇩

mafuyu_voice.mp4

Японская демонстрация ее! ⇩

Final.mp4

Введение

Это образец проекта, чтобы продемонстрировать, как использовать локальный LLM и TTS в голосовом агенте. Использование Rinna/японский-GPT-neox-3,6b-Instruction-SFT в качестве LLM и стиль-берт-Vits-2 в качестве TTS.

Установка

1. Клонировать репозиторий

git clone https://github.com/teftef6220/Local_LLM_bot.git
cd Local_LLM_bot

2. Сделать Вен

python -m venv venv
source venv/bin/activate

3. Установите требования

Установите Pytorch и Torchaudio и Torchvision с официального веб -сайта

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

Установите Cudnn с официального сайта

Установите другие требования

pip install -r requirements.txt

4. Fine-Tune LLM

Fine-Tune LLM с вашими данными.

Используйте ноутбук Colab для Fine-Tune LLM. Вы можете использовать эту записную книжку.

Вы можете использовать

• Ринна/японская-ГПТ-некс-3,6B-Инструктирация-Сфт
• Ринна/японская-ГПТ-некс-3,6B-Инструктирация-SFT-V2
• Google/Gemma-2b-It
• Google/Gemma-7b-it
• Tokyotech-llm/ласточка-7b-Instruct-HF
• Tokyotech-llm/ласточка-13b-Instruct-HF

как предварительно проведенная модель.

5. тонкая настройка TTS

Тонкая настройка TTS с вашими данными. Вы можете использовать Style-Bert-Vits-2 в качестве предварительной модели.

6. Установите голосовой агент

Поместите свой тонко настроенный LLM Dir в каталог LLM_Models

 llm_models
    |
    |---model_instance_dir
        |
        |---adapter_model.bin
        |---adapter_model.json

и поместите свой тонко настроенный DIR в каталог Voice_Models.

 Voice_models
    |
    |---model_name
        |
        |---model_name_e100_s2000.safetensors
        |---config.json
        |---style_vectors.npy

7. запустить голосовой агент

Установить конфигурацию в all_config.py

python llm_agent.py

8. Блюзский бот

Также предоставил простой блюзский бот, который использует местный LLM. Вы можете запустить его со следующей командой.

8.1. Используйте Bluesky Bot

Вы можете упомянуть бот, и бот ответит на ваше упоминание.

 @latextex.bsky.social ねえ、名前教えてよ

Установите .ENV -файл, как показано ниже

 BS_USER_NAME = "your email address"
BS_PASSWORD = "your password"

и запустите бот со следующей командой.

python blue_sky_bot.py

Этот бот может обнаружить упоминания и отвечать на ваши упоминания, используя LLM.

Кредиты

• Литагин02/Стиль-Берт-Вит2

• Fishaudio/Bert-Vits2

Лицензия

Этот проект лицензирован в соответствии с общей публичной лицензией Affero V3.0 - для получения подробной информации см. Файл лицензии.