Multilingual Speech to Speech Translator下載 - Multilingual Speech to Speech Translator源代碼下載

Multilingual Speech to Speech Translator

Ai源碼

1.0.0

下載

多語言語音到語音翻譯

多語言語音對語音（STS）翻譯器是有史以來第一個代碼混合的英語阿拉伯語演講

動機

該存儲庫包含了我們有史以來第一次代碼混合的英語 - 阿拉伯語音對孟加拉 - 阿拉伯語多語言語音（STS）翻譯器的作品。這種實現使我們從這裡收集了先知穆罕默德的孟加拉語seerah（s）：將這些英語講座翻譯成孟加拉。

我們的端到端管道：

從此播放列表中下載所有YouTube視頻：https：//www.youtube.com/playlist?list = plaea99d24ca2f9a8f，然後將視頻轉換為音頻（.mp4至.wav Conversion）（使用此腳本：使用此腳本：使用此腳本： https://github.com/mobassir94/multlingual-speech-to-speech-translator/blob/main/step1_make_youtube_audio_playlist.py）
運行OpenAi的基於耳語的多語言STT（對文本）模型，以獲取每個視頻講座的多語言文本（使用此腳本：https：//github.com/mobassir94/multlingualualualualualualualual-speech-spech-spech-spech-spech-translator/blob/blob/main/main/main/step2_run_multlightigual_stt.py）
使用Banglanmt型號（一種神經機器翻譯器模型，可以以高效率將文本從英語轉換為Bangla）（使用此代碼：https：//github.com/mobassir94/mobassircom/multigual-speech-speech-speech-speech-speech-translator/blob/main/main/step3_crosslator.ty-
Run Multilingual (bangla-arabic) TTS(text to speech) system to get audio version of translated bangla seerah by Dr. Yasir Qadhi ( using this code : https://github.com/mobassir94/Multilingual-Speech-to-Speech-Translator/blob/main/step4_multilingual_tts.py )
使用ffmpeg使用基於單圖的視頻轉換音頻（使用此筆記本：https：//github.com/mobassir94/multlightual-spech-to-to-to-to-to-spech-spech-translator/blob/main/main/main/audio_to_video_maker.ipynb）

E2E_Single_Sample_Demo_of_Multilingual_Speech_to_Speech_Translation -> https://github.com/mobassir94/Multilingual-Speech-to-Speech-Translator/blob/main/E2E_Single_Sample_Demo_of_Multilingual_Speech_to_Speech_Translation.ipynb

使用此單個筆記本 - > https：//github.com/mobassir94/multlingual-speech-toech-speech-speech-translator/blob/main/e2e-multlingual%20speech%20to%20to%20speech%20speech%20translator.ipynb我們的整個端到最終管道可以逐步運行，可以逐步運行。

在研究語音翻譯項目的多種語言中，我們發現了對耳語的一個關鍵限制。我們試圖從英語阿拉伯到孟加拉 - 阿拉伯語格式的最初的Seerah演講已有10多年的歷史。也許在這樣的舊內容上低語效果不佳，但是最新內容可以很好地工作？我們已經看到，在這樣的舊內容（10多年的視頻）上，耳語失敗了，但是在製作最新視頻或最近的大多數視頻時，Whisper的工作方式和預期。例如，查看該筆記本 - > https：//github.com/mobassir94/multlightual-spech-to-to-to-to-to-to-to-to-to-speech-translator/blob/main/e2e_single_sample_sample_sample_demo_demo_of_multling_multigual_speech_speech_speech_speece_translation.ipynb and you formition flandion forlling flanding flanking flanding flansikian.ipy.ipynb and，檢查了最後一個代碼單元的輸出。孟加拉 - 阿拉伯講座。

為了閱讀Bangla中的Seerah講座系列，我們從這個高度可靠的來源刪除了數據集：https：//arqadhi.blogspot.com/，然後遵循步驟3-5。但是，我們對語音翻譯管道的多語言語音應與最新或不太舊的音頻效果很好，包含英語 - 阿拉伯語講座，如e2e_single_sample_sample_demo_of_multlingual_speech_speech_to_speech_speech_speech_speech_translation.ipynb Notebook，如果沒有嘗試找到更好的替代phiseper的替代。

[由Br抄錄。 Safwan Khan，Faizan＆Zohra] [email protected] [由穆罕默德·阿卜杜勒·拉赫曼（Muhammad Abdul Rahman）重新申請，2021年4月]

此頻道 - > https：//www.youtube.com/playlist?list = plshvxzxxnumvpsbuqcl8oswoxcpppz2a3ht涵蓋了孟加拉語的所有講座這些英語講座使用強大的神經機器翻譯器向孟加拉國講授。這種神經語音克隆系統試圖閱讀先知穆罕默德（PBUH）的最流行的孟加拉語講座之一（PBUH），就像人類的有聲讀物讀者一樣，錯誤率最少。它試圖流利地閱讀孟加拉語和阿拉伯語。因為這裡的讀者是一個機器人（使用人類的克隆聲音），而不是實際的人，因此偶爾會犯錯。我們試圖盡可能降低錯誤率。讓人類按行讀取巨大的書籍並將這些閱讀作為有聲讀物，這需要花費大量時間和精力。這也是一個非常複雜的過程，尤其是對於多語言書籍而言。我們的主要目的是讓AI閱讀錯誤率較低的巨型書籍，因為沒有人以前為孟加拉完成了這項工作，因此，許多孟加拉人無法閱讀大型孟加拉書籍，例如Tafsir Books，Hadith Books和Seerah Books，以有聲讀物模式。為了更多地了解我們的神經言語綜合多語言（Bangla+Arabic）讀者，請檢查此倉庫 - > https：//github.com/mobassir94/comprehand-bangla-tts