vtbai
1.1-py
vits vits 소스
Moegoe Vits 중국어
vits_with_chatgpt-gpt3 tts 추론 참조
Blivedm은 B 스테이션의 라이브 방송실 정보를 크롤링합니다.
데모 모델 VITS 모델 (상업용 사용, 자연인이 합의한 법적 음원을 개선하거나 Azure를 사용하십시오)
Bilibili Live Broadcast Room에서 사격과 선물을 잡고 공식 Chatgpt로 보내고 GPT 콜백 메시지를 기다리고 VITS를 사용하여 TTS 추론을 수행 한 다음 키워드/VTS API를 기반으로 표현식을 트리거하고 사운드를 재생하십시오. 연주 할 때 VTS는 소리에 따라 입술 모양과 일치합니다.
회사 나 보스가 아니라면 Live2D를 손으로 문지르는 것이 매우 중요합니다. 첫째, 시간이 많이 걸리며, 둘째, VTS 및 PRPRLIVE를 사용하여 키워드가있는 표현식 단축키 키를 트리거 할 수 있으며 VTS API 라이브 브로드 캐스트 효과는 여전히 괜찮습니다.
이 라이브 브로드 캐스트 프로세스는 승리하에 테스트되고 통과됩니다. 이론적으로 Linux 및 Mac은 적절한 PY 환경에서도 사용할 수 있습니다. PY 버전은 Conda 3.10.10입니다
참고 : 유능한 사람들은 마우스와 오일 파이프를 같은 방식으로 확장 할 수 있습니다.
Blivedm (라이브 방송실 정보를 잡습니다) -> OpenAi (Cat Girl 대화) -> vits (tts 텍스트 to 음성) -> vts (음성 to 립, 바로 가기 키 트리거 표현) -> OBS (푸시 스트림)
주요 속도는 OpenAI 및 CPU 추론을 요청하는 것이며 GPU를 사용하는 것이 훨씬 빠릅니다. 폭발을 방지하기 위해 호모 폰 민감한 단어를 감지해야하므로 SSE를 사용할 수 없습니다.
OBS, VTS 및 Quehun AI가 완전히 열렸습니다. 추론 할 때 CPU 부하는 약 70%입니다. 이론적으로 말하면, 예산이 2K 인 거지 5600g도 실행할 수 있고, 전력 소비는 100W를 넘지 않으며, ITX가 실행될 수 있으며, 자전거가 필요한 것은 무엇입니까? 실제 상황에서는 N 카드 GPU를 사용하여 더 잘 실행하십시오.
Conda, Obs, vts, Vscode를 설치했는지 확인하십시오.
Conda를 사용하여 새로운 Python 3.10 환경을 만들고 vscode를 시작하십시오.
git clone -b 1.1-py https://github.com/newreport/vtbai.git
cd vtbai
start.bat
# configmy_config.ini 填写房间号和 openai key
python main.py
# 弹幕，将 resource 中的 hmtl 拖到 obs 里]]
