comprehensive bangla tts
1.0.0
Modelo treinado de Bangla Vits com fonema.
Caderno de treinamento-> https://github.com/mobassir94/comprensive-bangla-tts/blob/main/bn_vits_tts/bangla_phoneme_vits_trainener.ipynb
Notebook de teste/inferência-> https://github.com/mobassir94/comprensive-bangla-tts/blob/main/bn_vits_tts/bangla_phoneme_vits_inference.ipynb
Todos os arquivos de peso-> https://www.kaggle.com/datasets/mobassir/comprensive-bangla-tts
Temos o prazer de informar que o trabalho de Bangla TTS deste repositório está agora disponível em famosos coqui? https://github.com/mobassir94/comprensivence-bangla-tts/blob/main/bangla_text_to_speech_(tts).ipynb
No entanto, para usar o pipeline TTS multilíngue, você ainda precisa da base de código deste repositório, obrigado
Com infinita bondade, misericórdia e bênçãos de Allah, estamos lançando hoje um sistema de leitores de livros islâmicos de código aberto para todos que sabem/fala Bangla e árabe. Embora falado por mais de 210 milhões de pessoas como primeiro ou segundo idioma, Bangla ainda é um idioma de baixo recurso. É também uma linguagem muito difícil por causa de seus muitos sons e regras de ortografia. Além disso, o script é muito diferente dos idiomas em inglês e outros latinos.
O principal objetivo de fazer síntese de fala multilíngue abrangente foi alcançar as pessoas através do Bengali Hadith e do Alcorão Glorioso na língua bengali.
Colete/raspe vários livros importantes de Bangla-Arábico ou Hadith, Tafsir e Seerah, traduzido em inglês-arábico para Bangla-árabe usando o poderoso tradutor de máquina neural de Bangla. Você encontrará nosso raspador com documentação abrangente aqui: https://github.com/mnansary/hadith-srcapper
To the best of our knowledge (from our extensive google search and research and extensive human validation) we've discovered that the Bangla Vits TTS (text to speech) system that we trained and used for reading various bangla tafsir / hadith is the highest performing State of the Art (SOTA) Bangla neural voice cloning system till this date (Thursday, December 29, 2022) that's ever released publicly for Bangla language for free and it beats past Sistemas TTS, como GTTS, Silero-TTS, Indic-TTs por grande margem em termos de qualidade.
Primeiro pipeline de leitura de livros multilíngues que pode ler Bangla+Código Arábico Livros Mistos com facilidade.
Lemos todos os livros ou fontes do capítulo por capítulo e fizemos audiolivros.
executou audiolivros na conversão de videooks usando ffmpeg
Todo o processo pode não ser 100% preciso. A tradução em inglês para bengali pode conter erros em muitos casos, ou porque não é lido por humanos (que é muito demorado e caro). Às vezes, também comete erros críticos de pronúncia, mas esperamos que esses problemas sejam resolvidos pela melhoria subsequente deste trabalho insha'allah.
Usamos coqui-ai fantástico? -Toolkit para treinamento de texto em fala em Bangla com o conjunto de dados IITM convertido em formato LJSpeech. Treinamos 4 modelos e eles são: Glowtts (masculino), Glowtts (feminino), Vits (masculino) e Vits (feminino). Glowtts não teve um desempenho tão bom quanto o esperado, porque o coqui-ai usou vocoder anexado. Para melhorar o desempenho GLOWTTS, é necessário treinar modelos de espectrograma e vocoder separadamente e usar um vocoder poderoso, como Hifi Gan 2. Vits Male e Feminino Variantes são o nosso melhor modelo que usamos para fazer a maioria dos audiolivros. from this Comprehensive_Bangla_Text_to_Speech_(TTS) demo notebook you can see the sound quality of the vits model is almost as good as the training dataset which can be found here : https://www.kaggle.com/datasets/mobassir/comprehensive-bangla-tts that means End to End vits can clone human voice with high quality and it's attached vocoder is doing enough good Trabalho, uma maneira de melhorar seu desempenho pode ser fazer um modelo G2P robusto para Bangla e usar fonemas durante o treinamento.
Cada diretório neste repo contém um arquivo .txt descrevendo o que esses códigos de pastas específicos estão fazendo.
Para uma demonstração multilíngue (Bangla+Arabic), você pode verificar este tutorial colab multilingual_ (ben+ara) _tts_inference_colab_demo.ipynb e um tutorial em vídeo da versão da API está disponível aqui
Confira algumas das amostras geradas pelo nosso sistema:
| Livros | Total_hadiths/Surahs ' | A máquina neural de inglês para Bangla é traduzida? | Fala neural sintetizada multilíngue (Bangla+Arábica) Audiobooks |
|---|---|---|---|
| তাফসীর ইবনে কাসীর | 114 (Surata) | Sim | https://www.youtube.com/playlist?list=plshvxzxnumvpoonpy0om5f8usm66gebwf |
| বাংলা সীরাহঃনবীজি সাল্লাল্লাহু আলাইহি ওয়াসাল্লাম এর জীবনী por Dr. Yasir Qadhi | 101 palestras | Sim | https://www.youtube.com/playlist?list=plshvxzxnumvpsbuqcl8oswoxcppz2a3ht |
| তাফসীরে জাকারিয়া (Tafsir Abu Bakar Zakaria) | 114 (Surata) | Não | https://www.youtube.com/playlist?list=plshvxzxnumvOnTrzMeffubl5132E72YL |
| তাফসীরে আহসানুল বায়ান | 114 (Surata) | Não | https://www.youtube.com/playlist?list=plshvxzxnumvot0a1ioq5fubqndajz7pvj |
| তাফসীরে জালালাইন (tafsir al jalalain) | 114 (Surata) | Sim | https://www.youtube.com/playlist?list=plshvxzxnumvnbybhnoaxw7bas3yy2xb |
| সহিহ বুখারী | 7563 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvnilu0tjaqaauawr9duzedv |
| সহিহ মুসলিম | 7500 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvompgmzky38rvoywawksssdu |
| সুনানে আন-নাসায়ী | 5758 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvnogsgulsp3eptr4wouhzvt |
| সুনানে আবু দাউদ | 5274 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvnz2qPues46jtcrrwk4qf0i |
| জামে 'আত-তিরমিজি | 3956 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvmb31g0oejlxmylUfzryc0x |
| সুনানে ইবনে মাজাহ | 4341 | Não | সুনানে ইবনে মাজাহ |
| মুয়াত্তা ইমাম মালিক | 1832 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvpn_8d5bn86otq9wfrocggj |
| রিয়াদুস সলেহিন | 1905 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvon9guh8n28ybjijv0c-abc |
| বুলুগুল মারাম | 1568 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvmx11dlgonalej3ieyvtxig |
| আল লু'লু ওয়াল মারজান | 1906 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvoelysx1jhuo2tlzpmnmrvq |
| হাদিস সম্ভার | 2013 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvpccit-akpsjls4kgabzohb |
| সিলসিলা সহিহা | 60 | Não | https://www.youtube.com/watch?v=gevwwa8rx3q&list=plshvxzxnumvoszibj3szrjxt1uzh_k6n7&index=11 |
| জাল জয়িফ হাদিস সিরিজ | 102 | Não | https://www.youtube.com/watch?v=r1cu0aaib7y&list=plshvxzxnumvoszibj3szrjxt1uzh_k6n7 |
| মিশকাতুল মাসাবিহ | 2758 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvnnnpeaoihxbwcmlrvblkxb |
| ৪০ হাদিস | 42 | Não | https://www.youtube.com/watch?v=romcvpppvoe&list=plshvxzxnumvoszibj3szrjxt1uzh_k6n7&index=2 |
| আদাবুল মুফরাদ | 1336 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvnqfgs2d0dqhrx6_tylno1m |
| জুজ'উল রাফায়েল ইয়াদাইন | 56 | Não | https://www.youtube.com/watch?v=mqtao_xehgs&list=plshvxzxnumvoszibj3szrjxt1uzh_k6n7&index=9 |
| সহিহ হাদিসে কুদসি | 163 | Não | https://www.youtube.com/watch?v=mquiy6d6ufi&list=plshvxzxnumvoszibj3szrjxt1uzh_k6n7&index=8 |
| ১০০ সুসাব্যস্ত হাদিস | 101 | Não | https://www.youtube.com/watch?v=zbs-zyi3brw&list=plshvxzxnumvoszibj3szrjxt1uzh_k6n7&index=3 |
| মিশকাতে জয়িফ হাদিস | 106 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvoszibj3szrjxt1uzh_k6n7 |
| শামায়েলে তিরমিযি | 320 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvnduizmiavavwruu0uex2bw |
| সহিহ তারগিব ওয়াত তাহরিব | 200 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvpi5tg5cdowbcwlqjxcslbg |
| সহিহ ফাযায়েলে আমল | 151 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvmmuptusjykefywzttwkzyw |
| ঊপদেশ | 234 | Não | https://www.youtube.com/playlist?list=plshvxzxnumvpzhcor1gdhv0fm-6je0gvm |
| রমযান বিষয়ে জাল ও দুর্বল হাদিসসমূহ | 36 | Não | https://www.youtube.com/watch?v=mji1v7e5ai8&list=plshvxzxnumvoszibj3szrjxt1uzh_k6n7&index=10 |
| মুসনাদে আহমাদ | |||
| জুজ'উল কিরাত | |||
| সুনান আদ-দারিমী | |||
| তাহাবী শরিফ | |||
| সুনান দারাকুতনী |
Referências:
APSIS Solutions Ltd.
bengali.ai
