训练有素的Bangla Vits模型。
培训笔记本 - > https://github.com/mobassir94/comprehand-bangla-tts/blob/main/main/bn_vits_tts/bangla_phoneme_vits_vits_trainer.ipynb
test/test/推理笔记本 - > https://github.com/mobassir94/comprehans-bangla-tts/blob/main/main/bn_vits_tts/bangla_phoneme_vits_inference.ipynb
所有权重文件 - > https://www.kaggle.com/datasets/mobassir/comprehand-bangla-tts
我们很高兴让您知道,该仓库的Bangla TTS工作现在可以在著名的Coqui?tts(Text-to-Sp-Speech)中使用,请检查此信息 - > https://github.com/coqui-i-ai/tts/releases以及此COLAB演示 - >>>>>>>>>>>>>>>>>>>> https://github.com/mobassir94/comprehand-bangla-tts/blob/main/main/bangla_text_to_to_speech_(tts)..ipynb
但是,要使用多语言TTS管道,您仍然需要此存储库的代码库,谢谢
凭借无限的善良,怜悯和真主的祝福,我们今天为每个了解/说孟加拉语和阿拉伯语的人都推出了开源的伊斯兰书籍阅读器系统。即使有超过2.1亿人作为第一语言或第二语言所说的,孟加拉仍然是一种低资源语言。由于其许多声音和拼写规则,这也是一种非常困难的语言。此外,脚本与英语和其他拉丁语大不相同。
制作全面的多语言语音综合的主要目的是通过孟加拉语言通过孟加拉语和光荣的古兰经来吸引人们。
从互联网收集/刮擦各种重要的孟加拉或英文阿拉伯圣训,塔夫西尔和塞拉书籍,并使用强大的bangla神经机器翻译器将英语 - 阿拉伯语翻译成孟加拉 - 阿拉伯。您将在此处找到带有综合文档的刮板:https://github.com/mnansary/hadith-srcapper
To the best of our knowledge (from our extensive google search and research and extensive human validation) we've discovered that the Bangla Vits TTS (text to speech) system that we trained and used for reading various bangla tafsir / hadith is the highest performing State of the Art (SOTA) Bangla neural voice cloning system till this date (Thursday, December 29, 2022) that's ever released publicly for Bangla language for free and it beats past TTS系统在质量方面,诸如GTTS,Silero-TT,Silero-TTS,INDIC-TTS。
有史以来的第一本多语言阅读管道可以轻松阅读Bangla+Arabic Code混合书籍。
我们逐章阅读所有书籍或资源,并制作了有声读物。
使用ffmpeg执行有声读物转换为视频漫画转换
整个过程可能不准确100%。在许多情况下,英语对孟加拉语翻译可能包含错误,或者因为人类没有阅读(这很耗时且昂贵)。有时它也会造成关键的发音错误,但我们希望这些问题随后对Insha'allah的作品进行了改进。
我们使用了奇妙的coqui-ai? - 使用IITM数据集以LjSpeech格式转换的IITM数据集的孟加拉文本到语音培训的工具包。我们已经训练了4种型号,它们是:Glowtts(雄性),Glowtts(雌性),VIT(男性)和VIT(女性)。 Glowtts的性能不及预期,因为Coqui-ai使用了附加的Vocoder。为了提高Glowtts的性能,需要分开训练频谱模型和Vocoder,并使用了强大的Vocoder,例如Hifi Gan 2。VITS男性和女性变体是我们用于制作大多数有声读物的最佳模型。 from this Comprehensive_Bangla_Text_to_Speech_(TTS) demo notebook you can see the sound quality of the vits model is almost as good as the training dataset which can be found here : https://www.kaggle.com/datasets/mobassir/comprehensive-bangla-tts that means End to End vits can clone human voice with high quality and it's attached vocoder is doing enough good工作,提高其性能的一种方法可能是为孟加拉创建强大的G2P模型,并在训练过程中使用音素。
此存储库中的每个目录都包含.txt文件,描述了该特定文件夹代码正在执行的操作。
对于多语言(Bangla+Arabic)推理演示,您可以检查此COLAB教程多语言_(ben+ara)_tts_inference_inference_colab_demo.ipynb和api版本的视频教程。
查看我们系统生成的一些样本:
| 图书 | total_hadiths/surahs' | 英语到孟加拉神经机器是否翻译了? | 神经言语合成的多语言(孟加拉+阿拉伯语)有声读物 |
|---|---|---|---|
| তাফসীরইবনে | 114(苏拉) | 是的 | https://www.youtube.com/playlist?list = plshvxzxnumvpoonpy0om5f8usm66gebwf |
| Yasir Qadhi博士 | 101个讲座 | 是的 | https://www.youtube.com/playlist?list = plshvxzxnumvpsbuqcl8oswoxcpppz2a3ht |
| তাফসীরে(Tafsir Abu Bakar Zakaria) | 114(苏拉) | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvointrzmefbubl5132e72yl |
| তাফসীরেআহসানুল | 114(苏拉) | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvot0a1ioq5fubqndajz7pvj |
| তাফসীরেজালালাইন(Tafsir Al Jalalain) | 114(苏拉) | 是的 | https://www.youtube.com/playlist?list = plshvxzxnumvnblhnoaixw7bas3yy2xb |
| সহিহসহিহ | 7563 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvnilu0tjaqaauawr9duzedv |
| সহিহসহিহ | 7500 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvompgmzky38rvoywawkssdu |
| সুনানে-নাসায়ী | 5758 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvnumvnumvnogsgulsp3eptr4wouhzvt |
| সুনানেআবু | 5274 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvnz2qpues46jtcrrwk4qf0i |
| জামে'আত-তিরমিজি | 3956 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvmb31g0oejlxmylufzryc0x |
| সুনানেইবনে | 4341 | 不 | সুনানেইবনে |
| মুয়াত্তাইমাম | 1832年 | 不 | https://www.youtube.com/playlist?list=plshvxzxnumvpn_8d55bn86otq9wfrocggj |
| রিয়াদুসরিয়াদুস | 1905年 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvon9guh8nn28ybjijv0c-abc |
| বুলুগুলবুলুগুল | 1568年 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvmx11dlgonalej3ieyvtxig |
| আলআললুওয়াল | 1906年 | 不 | https://www.youtube.com/playlist?list = plshvxzxxnumvoelysx1jhuo2tlzpmnmrvq |
| হাদিসহাদিস | 2013 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvpccit-akpsjls4kgabzohb |
| সিলসিলাসিলসিলা | 60 | 不 | https://www.youtube.com/watch?v=gevwawa8rx3q&list=plshvxzxzxnumvoszibj3szrjxt1uzh_k6n7&index=11 |
| জালজয়িফহাদিস | 102 | 不 | https://www.youtube.com/watch?v=r1cu0aaib7y&list=plshvxzxxnumvoszibj3szrjxt1uzh_k6n7 |
| মিশকাতুলমিশকাতুল | 2758 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvnnnnpeaoihxbwcmlrvblkxb |
| ৪০ ৪০ | 42 | 不 | https://www.youtube.com/watch?v=romcvpppvoe&list=plshvxzxnumvoszibj3szrjxt1uzh_k6n7&index=2 |
| আদাবুলআদাবুল | 1336 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvnqfgs2d0dqhrx6_tylno1m |
| জুজজুজরাফায়েল | 56 | 不 | https://www.youtube.com/watch?v=mqtao_xehgs&list = plshvxzxzxnumvoszibj3szrjxt1uzh_k6n7&index=9 |
| সহিহহাদিসে | 163 | 不 | https://www.youtube.com/watch?v=mquiy6d6ufi&list = plshvxzxnumvoszibj3szrjxt1uzh_k6n7&index=8 |
| ১০০সুসাব্যস্ত | 101 | 不 | https://www.youtube.com/watch?v=zbs-zyi3brw&list = plshvxzxnumvoszibj3szrjxt1uzh_k6n7&index=3 |
| মিশকাতেজয়িফ | 106 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvoszibj3szrjxt1uzh_k6n7 |
| শামায়েলেশামায়েলে | 320 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvnduizmiavavwruuuuuluu0uex2bw |
| সহিহতারগিবওয়াত | 200 | 不 | https://www.youtube.com/playlist?list=plshvxzxnumvpi5tg5cdowbcwlqjxcslbg |
| সহিহফাযায়েলে | 151 | 不 | https://www.youtube.com/playlist?list=plshvxzxzxnumvmmuptusjykefywzttwkzyw |
| ঊপদেশ | 234 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvpzhcor1gdhv0fm-6je0gvm |
| রমযানরমযানজালওদুর্বল | 36 | 不 | https://www.youtube.com/watch?v=mji1v7e5ai8&list = plshvxzxnumvoszibj3szrjxt1uzh_k6n7&index=10 |
| মুসনাদেমুসনাদে | |||
| জুজউল | |||
| সুনান-দারিমী | |||
| তাহাবীতাহাবী | |||
| সুনানসুনান |
参考 :
APSIS Solutions Ltd.
孟加拉语