Multilingual Speech to Speech Translator下载 - Multilingual Speech to Speech Translator源代码下载

Multilingual Speech to Speech Translator

Ai源码

1.0.0

下载

多语言语音到语音翻译

多语言语音对语音（STS）翻译器是有史以来第一个代码混合的英语阿拉伯语演讲

动机

该存储库包含了我们有史以来第一次代码混合的英语 - 阿拉伯语音对孟加拉 - 阿拉伯语多语言语音（STS）翻译器的作品。这种实现使我们从这里收集了先知穆罕默德的孟加拉语seerah（s）：将这些英语讲座翻译成孟加拉。

我们的端到端管道：

从此播放列表中下载所有YouTube视频：https：//www.youtube.com/playlist?list = plaea99d24ca2f9a8f，然后将视频转换为音频（.mp4至.wav Conversion）（使用此脚本：使用此脚本：使用此脚本： https://github.com/mobassir94/multlingual-speech-to-speech-translator/blob/main/step1_make_youtube_audio_playlist.py）
运行OpenAi的基于耳语的多语言STT（对文本）模型，以获取每个视频讲座的多语言文本（使用此脚本：https：//github.com/mobassir94/multlingualualualualualualualual-speech-spech-spech-spech-spech-translator/blob/blob/main/main/main/step2_run_multlightigual_stt.py）
使用Banglanmt型号（一种神经机器翻译器模型，可以以高效率将文本从英语转换为Bangla）（使用此代码：https：//github.com/mobassir94/mobassircom/multigual-speech-speech-speech-speech-speech-translator/blob/main/main/step3_crosslator.ty-
Run Multilingual (bangla-arabic) TTS(text to speech) system to get audio version of translated bangla seerah by Dr. Yasir Qadhi ( using this code : https://github.com/mobassir94/Multilingual-Speech-to-Speech-Translator/blob/main/step4_multilingual_tts.py )
使用ffmpeg使用基于单图的视频转换音频（使用此笔记本：https：//github.com/mobassir94/multlightual-spech-to-to-to-to-to-spech-spech-translator/blob/main/main/main/audio_to_video_maker.ipynb）

E2E_Single_Sample_Demo_of_Multilingual_Speech_to_Speech_Translation -> https://github.com/mobassir94/Multilingual-Speech-to-Speech-Translator/blob/main/E2E_Single_Sample_Demo_of_Multilingual_Speech_to_Speech_Translation.ipynb

使用此单个笔记本 - > https：//github.com/mobassir94/multlingual-speech-toech-speech-speech-translator/blob/main/e2e-multlingual%20speech%20to%20to%20speech%20speech%20translator.ipynb我们的整个端到最终管道可以逐步运行，可以逐步运行。

在研究语音翻译项目的多种语言中，我们发现了对耳语的一个关键限制。我们试图从英语阿拉伯到孟加拉 - 阿拉伯语格式的最初的Seerah演讲已有10多年的历史。也许在这样的旧内容上低语效果不佳，但是最新内容可以很好地工作？我们已经看到，在这样的旧内容（10多年的视频）上，耳语失败了，但是在制作最新视频或最近的大多数视频时，Whisper的工作方式和预期。 for example,check last code cell's output from this notebook -> https://github.com/mobassir94/Multilingual-Speech-to-Speech-Translator/blob/main/E2E_Single_Sample_Demo_of_Multilingual_Speech_to_Speech_Translation.ipynb and you will see it did good enough job for translating that english-arabic lecture into孟加拉 - 阿拉伯讲座。

为了阅读Bangla中的Seerah讲座系列，我们从这个高度可靠的来源删除了数据集：https：//arqadhi.blogspot.com/，然后遵循步骤3-5。但是，我们对语音翻译管道的多语言语音应与最新或不太旧的音频效果很好，包含英语 - 阿拉伯语讲座，如e2e_single_sample_sample_demo_of_multlingual_speech_speech_to_speech_speech_speech_speech_translation.ipynb Notebook，如果没有尝试找到更好的替代phiseper的替代。

[由Br抄录。 Safwan Khan，Faizan＆Zohra] [email protected] [由穆罕默德·阿卜杜勒·拉赫曼（Muhammad Abdul Rahman）重新申请，2021年4月]

此频道 - > https：//www.youtube.com/playlist?list = plshvxzxxnumvpsbuqcl8oswoxcpppz2a3ht涵盖了孟加拉语的所有讲座这些英语讲座使用强大的神经机器翻译器向孟加拉国讲授。这种神经语音克隆系统试图阅读先知穆罕默德（PBUH）的最流行的孟加拉语讲座之一（PBUH），就像人类的有声读物读者一样，错误率最少。它试图流利地阅读孟加拉语和阿拉伯语。因为这里的读者是一个机器人（使用人类的克隆声音），而不是实际的人，因此偶尔会犯错。我们试图尽可能降低错误率。让人类按行读取巨大的书籍并将这些阅读作为有声读物，这需要花费大量时间和精力。这也是一个非常复杂的过程，尤其是对于多语言书籍而言。我们的主要目的是让AI阅读错误率较低的巨型书籍，因为没有人以前为孟加拉完成了这项工作，因此，许多孟加拉人无法阅读大型孟加拉书籍，例如Tafsir Books，Hadith Books和Seerah Books，以有声读物模式。为了更多地了解我们的神经言语综合多语言（Bangla+Arabic）读者，请检查此仓库 - > https：//github.com/mobassir94/comprehand-bangla-tts