RasaChatbot with ASR and TTS

Rasachatbot com ASR e TTS

Este repositório contém uma tentativa de incorporar o RASA Chatbot com os modelos ASR de ponta (reconhecimento automático de fala) e TTS (texto em fala) diretamente sem a necessidade de executar conexões adicionais de servidores ou soquete.

Compatibilidade do navegador

Neste projeto, o navegador é uma grande parte, pois fornece acesso aos dispositivos de entrada de mídia conectados, como microfones. Então, eu tive que usar uma interface suportada compatível com todos os navegadores convencionais, mesmo com versões mais antigas. É por isso que usei a interface AudioContext() . Não usei outras interfaces, como MediaRecorder , porque não é compatível com o Microsoft Edge ou Safari. Além disso, eu não usei outros plugins como recorderJs , pois não são mais suportados.

Aqui está uma tabela da versão menos aceitável de cada navegador convencional no mercado:

Desktop							Móvel
	Cromo	Borda	Firefox	Internet Explorer	Ópera	Safári	Android WebView	Chrome para Android	Firefox para Android	Ópera para Android	Safari no iOS	Internet Samsung
Apoiar	✔️	✔️	✔️		✔️	✔️	✔️	✔️	✔️	✔️	✔️	✔️
Versão menos aceitável	35	Suporte total	25	Sem apoio	22	6	Suporte total	35	26	22	Suporte total	Suporte total

Problemas

• Essa interface não funciona no Internet Explorer , e eu preciso verificar seu status com o Edge .
• A interface TTS tem um problema sempre que Rasa responde com mais de uma mensagem text ... ele lida com várias respostas perfeitamente, desde que elas tenham uma mensagem text . Se Rasa responder com mais de uma mensagem text , todas as mensagens text estarão sendo reproduzidas ao mesmo tempo.

Agradecimentos

Agradecimentos especiais a:

• Sean Naren para treinar o modelo ASR fornecido.
• Organização da ESPNET para treinamento todos os modelos TTS.
• Samimonline para fornecer o modelo inicial de bootstrap
• Patrick Roberts para o plugin Synth-JS JavaScript.
• Remon Kamal para a ajuda técnica durante este projeto ... Sua orientação estava em ajuda !!