vtbai

Função na codificação ....

• Expressões de acionamento de palavras -chave da API VTS
• A inferência emocional da frase desencadeia a expressão de VTS
• API Azure Tts
• Link Role-role-playing Melhor IA
• Link para vários links
• Chatglm-6b Local 1
• Chatterbot Local 2
• Suporte da plataforma Twitch & YouTube

recurso

• Vits Vits Fonte

• Moegoe vits chineses

• VITS_WITH_CHATGPT-GPT3 REFERÊNCIA DE RAÇO TTS

• Blivedm Crawl the Live Broadcast Room Information of B Station

• Modelo de demonstração Vits Model (Uso comercial, refine a fonte de som legal acordada pela pessoa natural ou use o Azure)

• Arquitetura

Pegue a barragem e os presentes da sala de transmissão ao vivo do Bilibili, receba -os e envie -os para o ChatGPT oficial, aguarde a mensagem de retorno de chamada do GPT e use o VITs para executar a inferência TTS e, em seguida, acionar expressões e reproduzir sons com base na API de palavras -chave/VTS. Ao jogar, o VTS combina o formato dos lábios de acordo com o som.

A menos que a empresa ou o chefe, é muito importante esfregar o Live2D manualmente. Primeiro, é demorado e, segundo, o VTS e o Prprlive podem ser usados para acionar as teclas de atalho de expressão com palavras-chave, e o efeito de transmissão ao vivo da API VTS ainda está ok.

Este processo de transmissão ao vivo é testado e passado apenas sob vitória. Teoricamente, o Linux e o Mac também podem ser usados em um ambiente adequado. A versão py é conda 3.10.10

NOTA: Aqueles que são capazes podem estender o mouse e os tubos de óleo da mesma maneira, o processo de coroagem de fios py me tubarão

Fluxo de trabalho

Blivedm (Grab Live Broadcast Room Information) -> OpenAI (diálogo de gíria de gato) -> Vits (texto TTS para voz) -> VTS (voz a lábio, falhe -teias de expressão de gatilho) -> obs (fluxo de push)

Função

• Solicitações de API de suporte, use extensões, como Linkage e Solicitação após conversão de voz em texto http://127.0.0.1:8080?text=hello
• Prioridade de suporte: API> Capitão> Presente> SC> BARC, a capacidade de presentes e filas de barragem é 5/10, e a última linha do tempo está cheia. SC e Capitão não têm limite de capacidade.

Meu ambiente de desenvolvimento

• CPU: 5700G
• GPU: Display Core
• Placa -mãe: ASUS B550M TUF
• Disco rígido: KAIXIA RC20
• Memória: 16*4 (3133Hz Jinbaida)
• Fonte de alimentação: Delta 300W
• Chassi: x40 5.5L

A velocidade principal é solicitar a inferência OpenAI e CPU, e o uso da GPU será muito mais rápido. Como você precisa detectar palavras sensíveis ao homofone para evitar explosões, o SSE não pode ser usado.

OBS, VTS e Quehun AI estão totalmente abertos. A carga da CPU é de cerca de 70% no raciocínio. Teoricamente falando, o mendigo 5600G com um orçamento de 2k também pode ser executado, o consumo de energia não é superior a 100W e o ITX pode ser executado e que bicicleta é necessária. Na situação real, use a N GPU do N Card para correr melhor.

Processo de construção

Por favor, certifique -se de instalar conda, obs, vts, vscode

Por favor, use o CONDA para criar um novo ambiente Python 3.10 e iniciar o Vscode

git clone -b 1.1-py https://github.com/newreport/vtbai.git
cd vtbai 
start.bat
# configmy_config.ini 填写房间号和 openai key
python main.py
# 弹幕，将 resource 中的 hmtl 拖到 obs 里

]