Local_LLM_bot

وكيل الصوت استخدم LLM المحلي و TTS

YouTube Demo هنا! ⇩

mafuyu_voice.mp4

تجريبي الياباني لها! ⇩

Final.mp4

مقدمة

هذا مشروع عينة لإظهار كيفية استخدام LLM المحلي و TTS في وكيل الصوت. باستخدام RINNA/اليابانية-GPT-NEOX-3.6B-instruction-SFT مثل LLM و Style-Bert-Vits-2 كما TTS.

تثبيت

1. استنساخ المستودع

git clone https://github.com/teftef6220/Local_LLM_bot.git
cd Local_LLM_bot

2. جعل Venv

python -m venv venv
source venv/bin/activate

3. تثبيت المتطلبات

تثبيت Pytorch و Torchaudio و Torchvision من الموقع الرسمي

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

تثبيت Cudnn من الموقع الرسمي

تثبيت متطلبات أخرى

pip install -r requirements.txt

4

LLM لضبط البيانات مع بياناتك.

استخدم دفتر كولاب لضبط LLM. يمكنك استخدام دفتر الملاحظات.

يمكنك استخدام

• RINNA/اليابانية-GPT-NEOX-3.6B-instruction-SFT
• RINNA/اليابانية-GPT-NEOX-3.6B-instruction-SFT-V2
• جوجل/gemma-2b-it
• Google/GEMMA-7B-IT
• Tokyotech-Llm/Swallow-7b-instruct-HF
• Tokyotech-Llm/Swallow-13B-instruct-HF

كنموذج مسبق.

5

TTS الدقيقة مع بياناتك. يمكنك استخدام النمط-its-2 كنموذج مسبق.

6. إعداد وكيل الصوت

ضع LLM DIR في دليل LLM_MODELS

 llm_models
    |
    |---model_instance_dir
        |
        |---adapter_model.bin
        |---adapter_model.json

ووضع DIR TTS المضبوط في دليل Voice_Models.

 Voice_models
    |
    |---model_name
        |
        |---model_name_e100_s2000.safetensors
        |---config.json
        |---style_vectors.npy

7. تشغيل وكيل الصوت

اضبط التكوين في all_config.py

python llm_agent.py

8. بلوزكي بوت

كما قدمت روبوت Bluesky بسيط يستخدم LLM المحلي. يمكنك تشغيله مع الأمر التالي.

8.1. استخدم Bluesky Bot

يمكنك ذكر الروبوت وسوف يرد الروبوت على ذكرك.

 @latextex.bsky.social ねえ、名前教えてよ

تعيين ملف .env على النحو التالي

 BS_USER_NAME = "your email address"
BS_PASSWORD = "your password"

وتشغيل الروبوت مع الأمر التالي.

python blue_sky_bot.py

يمكن لهذا الروبوت اكتشاف الإشارات والرد على إشاراتك استخدام LLM.

الاعتمادات

• Litagin02/style-bert-vits2

• Fishaudio/Bert-Vits2

رخصة

تم ترخيص هذا المشروع بموجب ترخيص Ascero General Public V3.0 - راجع ملف الترخيص للحصول على التفاصيل.