訓練有素的Bangla Vits模型。
培訓筆記本 - > https://github.com/mobassir94/comprehand-bangla-tts/blob/main/main/bn_vits_tts/bangla_phoneme_vits_vits_trainer.ipynb
test/test/推理筆記本 - > https://github.com/mobassir94/comprehans-bangla-tts/blob/main/main/bn_vits_tts/bangla_phoneme_vits_inference.ipynb
所有權重文件 - > https://www.kaggle.com/datasets/mobassir/comprehand-bangla-tts
我們很高興讓您知道,該倉庫的Bangla TTS工作現在可以在著名的Coqui? tts(Text-to-Sp-Speech)中使用,請檢查此信息 - > https://github.com/coqui-i-ai/tts/releases以及此COLAB演示 - >>>>>>>>>>>>>>>>>>>> https://github.com/mobassir94/comprehand-bangla-tts/blob/main/main/bangla_text_to_to_speech_(tts)..ipynb
但是,要使用多語言TTS管道,您仍然需要此存儲庫的代碼庫,謝謝
憑藉無限的善良,憐憫和真主的祝福,我們今天為每個了解/說孟加拉語和阿拉伯語的人都推出了開源的伊斯蘭書籍閱讀器系統。即使有超過2.1億人作為第一語言或第二語言所說的,孟加拉仍然是一種低資源語言。由於其許多聲音和拼寫規則,這也是一種非常困難的語言。此外,腳本與英語和其他拉丁語大不相同。
製作全面的多語言語音綜合的主要目的是通過孟加拉語言通過孟加拉語和光榮的古蘭經來吸引人們。
從互聯網收集/刮擦各種重要的孟加拉或英文阿拉伯聖訓,塔夫西爾和塞拉書籍,並使用強大的bangla神經機器翻譯器將英語 - 阿拉伯語翻譯成孟加拉 - 阿拉伯。您將在此處找到帶有綜合文檔的刮板:https://github.com/mnansary/hadith-srcapper
To the best of our knowledge (from our extensive google search and research and extensive human validation) we've discovered that the Bangla Vits TTS (text to speech) system that we trained and used for reading various bangla tafsir / hadith is the highest performing State of the Art (SOTA) Bangla neural voice cloning system till this date (Thursday, December 29, 2022) that's ever released publicly for Bangla language for free and it beats past TTS系統在質量方面,諸如GTTS,Silero-TT,Silero-TTS,INDIC-TTS。
有史以來的第一本多語言閱讀管道可以輕鬆閱讀Bangla+Arabic Code混合書籍。
我們逐章閱讀所有書籍或資源,並製作了有聲讀物。
使用ffmpeg執行有聲讀物轉換為視頻漫畫轉換
整個過程可能不准確100%。在許多情況下,英語對孟加拉語翻譯可能包含錯誤,或者因為人類沒有閱讀(這很耗時且昂貴)。有時它也會造成關鍵的發音錯誤,但我們希望這些問題隨後對Insha'allah的作品進行了改進。
我們使用了奇妙的coqui-ai? - 使用IITM數據集以LjSpeech格式轉換的IITM數據集的孟加拉文本到語音培訓的工具包。我們已經訓練了4種型號,它們是:Glowtts(雄性),Glowtts(雌性),VIT(男性)和VIT(女性)。 Glowtts的性能不及預期,因為Coqui-ai使用了附加的Vocoder。為了提高Glowtts的性能,需要分開訓練頻譜模型和Vocoder,並使用了強大的Vocoder,例如Hifi Gan 2。 VITS男性和女性變體是我們用於製作大多數有聲讀物的最佳模型。 from this Comprehensive_Bangla_Text_to_Speech_(TTS) demo notebook you can see the sound quality of the vits model is almost as good as the training dataset which can be found here : https://www.kaggle.com/datasets/mobassir/comprehensive-bangla-tts that means End to End vits can clone human voice with high quality and it's attached vocoder is doing enough good工作,提高其性能的一種方法可能是為孟加拉創建強大的G2P模型,並在訓練過程中使用音素。
此存儲庫中的每個目錄都包含.txt文件,描述了該特定文件夾代碼正在執行的操作。
對於多語言(Bangla+Arabic)推理演示,您可以檢查此COLAB教程多語言_(ben+ara)_tts_inference_inference_colab_demo.ipynb和api版本的視頻教程。
查看我們系統生成的一些樣本:
| 圖書 | total_hadiths/surahs' | 英語到孟加拉神經機器是否翻譯了? | 神經言語合成的多語言(孟加拉+阿拉伯語)有聲讀物 |
|---|---|---|---|
| তাফসীরইবনে | 114(蘇拉) | 是的 | https://www.youtube.com/playlist?list = plshvxzxnumvpoonpy0om5f8usm66gebwf |
| Yasir Qadhi博士 | 101個講座 | 是的 | https://www.youtube.com/playlist?list = plshvxzxnumvpsbuqcl8oswoxcpppz2a3ht |
| তাফসীরে(Tafsir Abu Bakar Zakaria) | 114(蘇拉) | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvointrzmefbubl5132e72yl |
| তাফসীরেআহসানুল | 114(蘇拉) | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvot0a1ioq5fubqndajz7pvj |
| তাফসীরেজালালাইন(Tafsir Al Jalalain) | 114(蘇拉) | 是的 | https://www.youtube.com/playlist?list = plshvxzxnumvnblhnoaixw7bas3yy2xb |
| সহিহসহিহ | 7563 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvnilu0tjaqaauawr9duzedv |
| সহিহসহিহ | 7500 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvompgmzky38rvoywawkssdu |
| সুনানে-নাসায়ী | 5758 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvnumvnumvnogsgulsp3eptr4wouhzvt |
| সুনানেআবু | 5274 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvnz2qpues46jtcrrwk4qf0i |
| জামে'আত-তিরমিজি | 3956 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvmb31g0oejlxmylufzryc0x |
| সুনানেইবনে | 4341 | 不 | সুনানেইবনে |
| মুয়াত্তাইমাম | 1832年 | 不 | https://www.youtube.com/playlist?list=plshvxzxnumvpn_8d55bn86otq9wfrocggj |
| রিয়াদুসরিয়াদুস | 1905年 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvon9guh8nn28ybjijv0c-abc |
| বুলুগুলবুলুগুল | 1568年 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvmx11dlgonalej3ieyvtxig |
| আলআললুওয়াল | 1906年 | 不 | https://www.youtube.com/playlist?list = plshvxzxxnumvoelysx1jhuo2tlzpmnmrvq |
| হাদিসহাদিস | 2013 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvpccit-akpsjls4kgabzohb |
| সিলসিলাসিলসিলা | 60 | 不 | https://www.youtube.com/watch?v=gevwawa8rx3q&list=plshvxzxzxnumvoszibj3szrjxt1uzh_k6n7&index=11 |
| জালজয়িফহাদিস | 102 | 不 | https://www.youtube.com/watch?v=r1cu0aaib7y&list=plshvxzxxnumvoszibj3szrjxt1uzh_k6n7 |
| মিশকাতুলমিশকাতুল | 2758 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvnnnnpeaoihxbwcmlrvblkxb |
| ৪০ ৪০ | 42 | 不 | https://www.youtube.com/watch?v=romcvpppvoe&list=plshvxzxnumvoszibj3szrjxt1uzh_k6n7&index=2 |
| আদাবুলআদাবুল | 1336 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvnqfgs2d0dqhrx6_tylno1m |
| জুজজুজরাফায়েল | 56 | 不 | https://www.youtube.com/watch?v=mqtao_xehgs&list = plshvxzxzxnumvoszibj3szrjxt1uzh_k6n7&index=9 |
| সহিহহাদিসে | 163 | 不 | https://www.youtube.com/watch?v=mquiy6d6ufi&list = plshvxzxnumvoszibj3szrjxt1uzh_k6n7&index=8 |
| ১০০সুসাব্যস্ত | 101 | 不 | https://www.youtube.com/watch?v=zbs-zyi3brw&list = plshvxzxnumvoszibj3szrjxt1uzh_k6n7&index=3 |
| মিশকাতেজয়িফ | 106 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvoszibj3szrjxt1uzh_k6n7 |
| শামায়েলেশামায়েলে | 320 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvnduizmiavavwruuuuuluu0uex2bw |
| সহিহতারগিবওয়াত | 200 | 不 | https://www.youtube.com/playlist?list=plshvxzxnumvpi5tg5cdowbcwlqjxcslbg |
| সহিহফাযায়েলে | 151 | 不 | https://www.youtube.com/playlist?list=plshvxzxzxnumvmmuptusjykefywzttwkzyw |
| ঊপদেশ | 234 | 不 | https://www.youtube.com/playlist?list = plshvxzxnumvpzhcor1gdhv0fm-6je0gvm |
| রমযানরমযানজালওদুর্বল | 36 | 不 | https://www.youtube.com/watch?v=mji1v7e5ai8&list = plshvxzxnumvoszibj3szrjxt1uzh_k6n7&index=10 |
| মুসনাদেমুসনাদে | |||
| জুজউল | |||
| সুনান-দারিমী | |||
| তাহাবীতাহাবী | |||
| সুনানসুনান |
參考 :
APSIS Solutions Ltd.
孟加拉語