vtbai

Función en la codificación ....

• Expresiones de activación de palabras clave de API VTS
• Frase La inferencia emocional desencadena la expresión de VTS
• Azure API TTS
• Enlace caracteres
• Enlace múltiple
• Chatglm-6b local 1
• Chatterbot Local 2
• Soporte de plataforma Twitch y YouTube

recurso

• VITS VITS FUENTE

• Moegae vits chino

• vits_with_chatgpt-gpt3 referencia de razonamiento TTS

• BURCEM CRAWLE La información de la sala de transmisión en vivo de la estación B

• Modelo de demostración Modelo VITS (uso comercial, refine la fuente de sonido legal acordada por la persona natural o use Azure)

• Arquitectura

Tome el aluvión y los regalos de la sala de transmisión en vivo de Bilibili, recibalos y envíelos al ChatGPT oficial, espere el mensaje de devolución de llamada GPT y use VIT para realizar una inferencia TTS, y luego activar expresiones y reproducir sonidos basados en la API de palabras clave/VTS. Cuando se juega, VTS coincide con la forma del labio según el sonido.

A menos que la empresa o el jefe, es muy importante frotar Live2D a mano. Primero, lleva mucho tiempo, y segundo, VTS y PRPRLive se pueden usar para activar las teclas de acceso directo de expresión con palabras clave, y el efecto de transmisión Live de VTS API todavía está bien.

Este proceso de transmisión en vivo solo se prueba y pasa bajo ganancia. Teóricamente, Linux y Mac también se pueden usar en un entorno PY adecuado. La versión PY es Conda 3.10.10

NOTA: Los que son capaces pueden extender los tuberías de mouse y aceite de la misma manera, Py Thread Coroutine Process Shark me

Flujo de trabajo

BlivedM (GRAT Live Broadcast Room Information) -> OpenAi (diálogo de giros de gato) -> Vits (TTS Text to Voice) -> VTS (Voice to Lip, Keys de acceso directo a la expresión) -> Obs (flujo de empuje)

Función

• Solicitudes de API de soporte, use extensiones, como enlace y solicitud después de la conversión de voz al texto http://127.0.0.1:8080?Text=hello
• Prioridad de soporte: API> Capitán> Gift> SC> BARC, la capacidad de los regalos y las colas de bombardeo es 5/10, y la última línea de tiempo está llena. SC y Capitán no tienen límite de capacidad.

Mi entorno de desarrollo

• CPU: 5700G
• GPU: pantalla central
• Placa base: asus b550m tuf
• Disco duro: Kaixia RC20
• Memoria: 16*4 (3133Hz Jinbaida)
• Fuente de alimentación: Delta 300W
• Chasis: x40 5.5L

La velocidad principal es solicitar una inferencia de OpenAI y CPU, y el uso de GPU será mucho más rápido. Dado que necesita detectar palabras sensibles al homófono para evitar explosiones, el SSE no se puede usar.

Obs, VTS y Quehun Ai están completamente abiertos. La carga de la CPU es de aproximadamente el 70% al razonar. Teóricamente hablando, el mendigo 5600G con un presupuesto de 2k también puede funcionar, el consumo de energía no es más de 100W e ITX puede funcionar, y qué bicicleta se necesita. En una situación real, use la GPU de la tarjeta N para funcionar mejor.

Proceso de construcción

Asegúrese de haber instalado CondA, OBS, VTS, VScode

Utilice Conda para crear un nuevo entorno Python 3.10 y iniciar VScode

git clone -b 1.1-py https://github.com/newreport/vtbai.git
cd vtbai 
start.bat
# configmy_config.ini 填写房间号和 openai key
python main.py
# 弹幕，将 resource 中的 hmtl 拖到 obs 里

]