Local_LLM_bot

음성 에이전트는 로컬 LLM 및 TTS를 사용합니다

여기 YouTube 데모! ⇩

mafuyu_voice.mp4

일본 데모 그녀! ⇩

final.mp4

소개

이것은 음성 에이전트에서 로컬 LLM 및 TTS를 사용하는 방법을 보여주는 샘플 프로젝트입니다. Rinna/Japanese-Gpt-Neox-3.6B-Instruction-Sft를 LLM으로 사용하고 스타일 -Bert-vits-2를 TTS로 사용합니다.

설치

1. 저장소를 복제하십시오

git clone https://github.com/teftef6220/Local_LLM_bot.git
cd Local_LLM_bot

2. Venv를 만드십시오

python -m venv venv
source venv/bin/activate

3. 요구 사항을 설치하십시오

공식 웹 사이트에서 Pytorch 및 Torchaudio 및 Torchvision을 설치하십시오

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

공식 웹 사이트에서 CUDNN을 설치하십시오

다른 요구 사항을 설치하십시오

pip install -r requirements.txt

4. 미세 조정 LLM

데이터로 LLM을 미세 조정하십시오.

Colab 노트북을 사용하여 LLM을 미세 조정하십시오. 이 노트북을 사용할 수 있습니다.

당신은 사용할 수 있습니다

• Rinna/Japanese-Gpt-Neox-3.6B-Instruction-Sft
• Rinna/Japanese-Gpt-Neox-3.6B-Instruction-SFT-V2
• Google/Gemma-2B-It
• Google/Gemma-7b-It
• Tokyotech-LLM/Swallow-7B-Instruct-HF
• Tokyotech-LLM/Swallow-13B-Instruct-HF

사전 예방 모델로.

5. 미세 조정 tts

데이터로 TTS를 미세 조정하십시오. Style-Bert-Vits-2를 사전 치료 된 모델로 사용할 수 있습니다.

6. 음성 에이전트를 설정하십시오

미세 조정 된 LLM DIR을 LLM_Models 디렉토리에 넣으십시오

 llm_models
    |
    |---model_instance_dir
        |
        |---adapter_model.bin
        |---adapter_model.json

미세 조정 된 tts를 Voice_Models 디렉토리에 넣습니다.

 Voice_models
    |
    |---model_name
        |
        |---model_name_e100_s2000.safetensors
        |---config.json
        |---style_vectors.npy

7. 음성 에이전트를 실행하십시오

all_config.py에서 구성을 설정하십시오

python llm_agent.py

8. 블루스키 봇

또한 로컬 LLM을 사용하는 간단한 블루스키 봇도 제공했습니다. 다음 명령으로 실행할 수 있습니다.

8.1. 블루스키 봇을 사용하십시오

봇을 언급 할 수 있고 봇은 당신의 언급에 답장합니다.

 @latextex.bsky.social ねえ、名前教えてよ

.env 파일을 다음과 같이 설정하십시오

 BS_USER_NAME = "your email address"
BS_PASSWORD = "your password"

다음 명령으로 봇을 실행하십시오.

python blue_sky_bot.py

이 봇은 언급을 감지하고 LLM 사용에 대한 답변을 할 수 있습니다.

크레딧

• Litagin02/Style-Bert-vits2

• Fishaudio/Bert-vits2

특허

이 프로젝트는 Affero General Public License v3.0에 따라 라이센스가 있습니다. 자세한 내용은 라이센스 파일을 참조하십시오.