O projeto Funudiollm lançado recentemente pelo Alibaba Tongyi Labs marca uma era totalmente nova da tecnologia de geração de áudio. Este projeto de código aberto redefiniu a possibilidade de interação de voz humano-computador através de seus dois modelos principais SenseVoice e Cosyvoice. O Funudiollm não apenas demonstra o profundo acúmulo de Alibaba no campo da inteligência artificial, mas também aponta a direção para o desenvolvimento futuro da tecnologia de voz inteligente.
Como mecanismo de geração de voz do projeto, os avanços tecnológicos do Cosyvoice são impressionantes. Após 150.000 horas de treinamento de dados multilíngues, o modelo não apenas alcançou geração suave de cinco idiomas, a saber, chinês, inglês, japonês, guangdong e coreano, mas também atingiu um novo nível na simulação de tom e controle emocional. Sua capacidade exclusiva de geração de voz zero-amostra permite que o modelo se adapte rapidamente à voz do novo orador, fornecendo possibilidades ilimitadas para serviços de voz personalizados. Especialmente na síntese de som entre linguagem cruzada, o Cosyvoice mostrou uma adaptabilidade incrível, abrindo caminho para aplicações globais de interação de voz.
O SenseVoice representa uma nova referência na tecnologia de reconhecimento de fala. Após 400.000 horas de treinamento de dados multilíngues, sua precisão de reconhecimento ultrapassa significativamente o modelo de sussurro existente em mais de 50 idiomas. No reconhecimento chinês e cantonês, a taxa de precisão aumentou mais de 50%, o que trouxe um avanço revolucionário à aplicação de voz inteligente no mercado chinês. Vale a pena mencionar que o SenseVoice integra funções de reconhecimento de emoções e detecção de eventos de áudio, permitindo que a máquina não apenas entenda a linguagem, mas também para entender as emoções e as informações da cena do orador.
O FUNAUDIOLLM possui cenários de aplicativos extremamente amplos, da tradução multilíngue em tempo real para conversas de voz emocional, de podcasts interativos a audiolivros inteligentes, todos os campos contêm um grande valor comercial. Ao combinar o reconhecimento preciso do SenseVoice, o forte entendimento dos LLMs e a geração natural de Cosyvoice, o projeto alcança uma verdadeira experiência interativa de voz de ponta a ponta. Esse recurso de tradução de voz a fala, revolucionará a maneira como a comunicação entre idiomas e trará novas possibilidades para trocas de negócios e culturais globalizadas.
Em termos de implementação técnica, a Cosyvoice adota a tecnologia avançada de codificação de quantização da fala para garantir a naturalidade e a fluência da fala gerada. O SenseVoice integra funções como reconhecimento automático de fala, reconhecimento de linguagem, reconhecimento de emoções e detecção de eventos de áudio em um modelo unificado por meio de uma estrutura de aprendizado de várias tarefas, melhorando bastante a eficiência e a precisão do sistema. Essa arquitetura técnica não apenas reduz os custos de computação, mas também fornece uma boa base para a otimização subsequente do modelo e a expansão funcional.
A atitude aberta do Alibaba Tongyi Laboratory também é louvável. A equipe do projeto não apenas lançou os modelos e o código completos no ModelCope e o Huggingface, mas também forneceu treinamentos detalhados, raciocínio e guias de ajuste fino no GitHub. Esse espírito de código aberto promoverá muito o desenvolvimento de pesquisa e aplicação no campo da tecnologia de voz e terá um impacto positivo em todo o setor.
Endereço do projeto: https://github.com/funaudiollm