El editor de Downcodes se enteró de que Westlake Xinchen anunció que abrirá el modelo Westlake-Omni que desarrolló, que es el primer modelo chino de interacción de voz emocional de extremo a extremo de código abierto del mundo. Este modelo utiliza representación discreta para unificar las modalidades de texto y voz, y presta especial atención al rendimiento en tiempo real, esforzándose por proporcionar una experiencia interactiva con latencia casi nula. Westlake-Omni ha realizado una capacitación en profundidad sobre conjuntos de datos de habla emocional china de alta calidad, mostrando excelentes capacidades de expresión y comprensión emocional. Puede generar un habla china clara, natural y expresiva, brindando a los usuarios una experiencia interactiva más humana. Esto es de gran importancia para promover el desarrollo y la aplicación de la tecnología china de interacción de voz emocional.
Westlake Xinchen anunció que abrirá el código fuente del modelo Westlake-Omni que desarrolló. Como el primer modelo chino de interacción de voz emocional de extremo a extremo de código abierto del mundo, Westlake-Omni utiliza representación discreta para unificar modalidades de texto y voz, con especial énfasis en el rendimiento en tiempo real, lo que permite una respuesta rápida y proporciona una experiencia con casi cero retrasos. .
El modelo tiene excelentes capacidades de expresión y comprensión emocional y puede generar un habla china clara, natural y expresiva. Esta capacidad se beneficia de su entrenamiento en profundidad en conjuntos de datos de habla emocional china de alta calidad, lo que permite que el modelo no solo comprenda emociones complejas en el contexto chino, sino que también haga que las interacciones sean más humanas.
Westlake Xinchen espera alentar a más desarrolladores a participar en el desarrollo de la tecnología china de interacción de voz emocional a través del modelo de código abierto Westlake-Omni y promover conjuntamente el desarrollo y la aplicación de tecnología en este campo.
Dirección del proyecto: https://github.com/xinchen-ai/Westlake-Omni
El código abierto del modelo Westlake-Omni proporciona a los desarrolladores valiosos recursos de aprendizaje e investigación y también inyecta nueva vitalidad al desarrollo futuro de la tecnología china de interacción de voz emocional. ¡Esperamos más aplicaciones innovadoras basadas en Westlake-Omni!