Multilingual Speech to Speech Translator

Translator multilíngue de fala em fala

O tradutor multilíngue de fala para fala (STS) é o primeiro discurso em inglês mixado em código de code mixado para Bangla-Arabic Translator

Motivação

Este repositório contém o trabalho do nosso primeiro discurso em inglês-árabe mixado em código para a fala multilíngue de Bangla-Árábica para a Speech (STS). Traduziu essas palestras em inglês em Bangla.

Nosso pipeline de ponta a ponta:

1. Faça o download de todos os vídeos do YouTube desta lista de reprodução: https://www.youtube.com/playlist?list=Plaea99D24CA2F9A8F e converta vídeos em áudios (.mp4 para .wav conversion) (usando este script: https://github.com/mobassir94/multilinguly-speech-to-seech-translator/blob/main/step1_make_youtube_audio_playlist.py)

2. Execute o modelo STT multilíngue (Speech to texto) baseado em Whisper da OpenAII para obter texto multilíngue de cada palestra em vídeo (usando este script: https://github.com/mobassir94/multilinguly-speech-tonce-presech-translator/blob/main/step2_run_multilingual_stt.py)

3. Convert each text file from English-Arabic to Bangla Arabic using banglanmt model (a neural machine translator model that can translate texts from English to Bangla with high efficiency) (using this code : https://github.com/mobassir94/Multilingual-Speech-to-Speech-Translator/blob/main/step3_crosslingual_translator.py )

4. Execute o sistema TTS multilíngue (BANGLA-ARABIC) (texto para a fala) para obter a versão em áudio de Bangla Seerah traduzida pelo Dr. Yasir Qadhi (usando este código: https://github.com/mobassir94/multilingustual-speech--Sepseech-translator/blob/main/sep4_multilkingual-speech--Speech-translator/blob/MaiM/Step4_Multilingual

5. Converta os áudios com vídeos baseados em imagem única usando o FFMPEG (usando este notebook: https://github.com/mobassir94/multilinguly-speech-toped-stanslator/blob/main/audio_to_video_maker.ipynb)

E2E_Single_Sample_Demo_of_Multilingual_Speech_to_Speech_Translation -> https://github.com/mobassir94/Multilingual-Speech-to-Speech-Translator/blob/main/E2E_Single_Sample_Demo_of_Multilingual_Speech_to_Speech_Translation.ipynb

Usando este único notebook-> https://github.com/mobassir94/multilingule-speech-tonce-translator/blob/main/e2e-multilinguly%20Speech%20to%20Speech%20Translator.IPYNB Nosso final de termina para encerrar pode ser executado por passo com amaz.

Descobrimos uma limitação crucial do sussurro durante o trabalho neste projeto multilíngue de tradução de fala da fala. A palestra original de Seerah que tentamos converter do formato inglês-árabe para Bangla-Arabic tem mais de 10 anos. Talvez o sussurro não funcione bem em tais conteúdos antigos, mas funcione bem com o conteúdo mais recente? Vimos que Whisper falhou muito mal em tais conteúdos antigos (mais de 10 anos de idade), mas ao trabalhar nos vídeos mais recentes ou recentes, Whisper funcionou e o esperado. Por exemplo, verifique a saída do último código da Cell Cell deste notebook-> https://github.com/mobassir94/multilinguly-speech-topeech-translator/blob/main/e2e_single_sample_demo_of_multilingual_spech_to_spech_trânslation.ipemo_demo_of_multilingual_spech_tohspech_translation. Palestra Bangla-Árábica.

Para ler essa série de palestras Seerah em Bangla, descartamos o conjunto de dados desta fonte altamente confiável: https://arqadhi.blogspot.com/ e depois seguiu a etapa 3-5. No entanto, nosso pipeline de tradução de fala multilíngue deve funcionar muito bem com os áudios mais antigos ou não muito antigos contendo palestras inglesa-árabe, como mostrado em e2e_single_sample_demo_of_multilingual_speech_to_speech_translation.ipynb Notebook, se não tentará a melhor substituição do sussurro.

[Transcrito por Br. Safwan Khan, Faizan & Zohra] [email protected] [Re-revisado por Muhammad Abdul Rahman, abril de 2021]

Este canal -> https://www.youtube.com/playlist?list=plshvxzxnumvpsbuqcl8oswoxcppz2a3ht cobre todas as palestras do Bangla -Translated Seeroh do Profet muhammed (pbuh) que We Collegted de Hterhset: htertps..com...com Htrohmi/ Pbuhi...Chtrothi/ Coletehi/Htertps..com HterthiM..Chethi..Chethi.Chethi/We Collected: Htertps. Palestras em inglês em Bangla usando um poderoso tradutor de máquina neural. Este sistema de clonagem de voz neural tenta ler uma das palestras mais populares de Bangla Seerah do Profeta Muhammed (PBUH) como um leitor de audiolivros humano com uma quantidade mínima de taxa de erro. Ele tenta ler Bangla e o árabe fluentemente. Como o leitor aqui é um robô (que usa a voz clonada do humano) e não um humano real, por isso comete erros ocasionalmente. Tentamos reduzir a taxa de erro o máximo que pudermos. Demora muito tempo e esforço para fazer os humanos lerem os gigantescos livros alinhados e lançam essas leituras como audiolivros. É também um processo muito complicado, especialmente para livros multilíngues. Nosso principal objetivo era fazer com que a IA leia livros gigantescos com menos taxa de erro, porque ninguém fez esse trabalho antes para Bangla, como resultado, muitas pessoas bengalis não podiam ler grandes livros importantes de Bangla, como Tafsir Books, Hadith Books e Seerah Books no modo de audiolivros. Esse é o nosso primeiro passo para o bebê em direção a esta direção de pesquisa. Para saber mais sobre o nosso leitor multilíngue sintetizado (Bangla+Arabic) sintetizado, consulte este repo-> https://github.com/mobassir94/comprensive-bangla-tts

problemas

O GitHub elimina automaticamente as tags HTML como o código Python escrito no Jupyter Notebook, verifique esta edição nº 1

Agradecimentos

APSIS Solutions Ltd.

bengali.ai