Unduh Multilingual Speech to Speech Translator - Unduh Kode Sumber Multilingual Speech to Speech Translator

Multilingual Speech to Speech Translator

Kode Sumber AI

1.0.0

Unduh

Multilingual-speech-to-speech-translator

Penerjemah Pidato Multilingual untuk Pidato (STS) adalah pidato bahasa Inggris-Arab yang dicampur kode pertama kepada penerjemah pidato Bangla-Arab

Motivasi

Repositori ini berisi karya pidato bahasa Inggris-Arab yang dicampur dengan kode pertama kami untuk penerjemah multibahasa Bangla-Arab untuk pidato (STS). Implementasi ini membuat Bangla diterjemahkan Seurang of Nabi Muhammed (s) yang pertama kali dikumpulkan dari sini: https://www.youtube.com/playlist? Playlist?llist?llist?llist? Kuliah ke Bangla.

Pipa ujung ke ujung kami:

Unduh semua video YouTube dari daftar putar ini: https://www.youtube.com/playlist?list=PlaeaA99D24CA2F9A8F dan mengonversi video ke audios (.mp4 ke .wav Conversion) (menggunakan skrip ini: https://github.com/mobassir94/multilingual-pheech-to-sheech-translator/blob/main/step1_make_youtube_audio_playlist.py)
Jalankan model STT multibahasa (pidato ke teks) berbasis bisikan openai untuk mendapatkan teks multibahasa dari setiap kuliah video (menggunakan skrip ini: https://github.com/mobassir94/multilingual-speech-tpeech-peech-peech/blob/main/step2_run_multilingual_stt.py))
Konversi setiap file teks dari bahasa Inggris-Arab ke Bangla Arab menggunakan model Banglanmt (model penerjemah mesin saraf yang dapat menerjemahkan teks dari bahasa Inggris ke Bangla dengan efisiensi tinggi) (menggunakan kode ini: https://github.com/mobassir94/multilingual-speech-tpeech-peech-peech-peech-peech-peech-peech-peech-peech-peechslator/blob/main-main.speechlingual
Jalankan sistem multibahasa (bangla-arabic) TTS (teks ke pidato) untuk mendapatkan versi audio dari Bangla Seurang yang diterjemahkan oleh Dr. Yasir Qadhi (menggunakan kode ini: https://github.com/mobassir94/multilingual-peech-peechs.pyslator/blob/main/step4_multilingal
Konversi audios dengan video berbasis gambar tunggal menggunakan ffmpeg (menggunakan notebook ini: https://github.com/mobassir94/multilingual-sheech-to-sheech-translator/blob/main/audio_to_video_maker.ipynb)

E2e_single_sample_demo_of_multilingual_speech_to_speech_translation-> https://github.com/mobassir94/multilingual-speech-tpheech-pheech_nboual_speech_single_sample_demo_ofmult

Menggunakan notebook tunggal ini-> https://github.com/mobassir94/multilingual-speech-to-speech-translator/blob/main/e2e-multilingual%20speech%20to%20speech%20translator.ipynb Seluruh ujung ke ujung pipa dapat dijalankan langkah demi langkah dengan mudah.

Kami telah menemukan satu batasan penting dari Whisper selama mengerjakan proyek multibahasa untuk proyek terjemahan pidato ini. Kuliah Seerah asli yang kami coba konversi dari format Inggris-Arab ke Bangla-Arab adalah lebih dari 10 tahun. Mungkin Whisper tidak bekerja dengan baik pada konten lama seperti itu tetapi berfungsi dengan baik dengan konten terbaru? Kami telah melihat bahwa Whisper gagal sangat buruk pada konten lama seperti itu (video 10+ tahun) tetapi ketika mengerjakan video terbanyak terbaru atau baru -baru ini, Whisper bekerja seperti yang diharapkan. Misalnya, periksa output sel kode terakhir dari notebook ini-> https://github.com/mobassir94/multilingual-pheech-to-fech-peech-peech-blob/main/e2e_single_sample_demo_of_multilingual doech_to_speech_translation.ipynb dan Anda willing-you willingyual dober_to_speech_translation.ipynb dan Anda willing-you willingyual for good-speech_to_speech_translation.ipynb dan Anda willingyual doberpeech_to_speech_translation.ipynb dan Anda willing-you willingyual doech_to_speech_translation.ipynb dan Anda willing-you willingyual doech_to_speech_translation5 Kuliah Bangla-Arab.

Untuk membaca seri kuliah Seerah di Bangla, kami membatalkan dataset dari sumber yang sangat andal ini sebagai gantinya: https://arqadhi.blogspot.com/ dan kemudian diikuti langkah 3-5. Namun, pipa terjemahan pidato multibahasa kami harus bekerja dengan baik dengan audio terbaru atau tidak terlalu lama yang berisi kuliah bahasa Inggris-arabik seperti yang ditunjukkan dalam e2e_single_sample_demo_of_multilingual_speech_to_speech_translation.ipynb notebook, jika tidak kemudian mencoba menemukan penggantian yang lebih baik dari whisper.

[Ditranskripsikan oleh Br. Safwan Khan, Faizan & Zohra] [email protected] [direvisi ulang oleh Muhammad Abdul Rahman, April 2021]

This channel -> https://www.youtube.com/playlist?list=PLsHVxzxNumvPSbuqcL8oSWoxCPpZ2A3HT covers all lectures of The Bangla-translated Seerah of Prophet Muhammed (PBUH) that we collected from here: https://arqadhi.blogspot.com/ and then translated those English Kuliah ke Bangla menggunakan penerjemah mesin saraf yang kuat. Sistem kloning suara saraf ini mencoba membaca salah satu kuliah paling populer di Bangla Seurang of Nabi Muhammed (PBUH) seperti pembaca buku audio manusia dengan jumlah minimal tingkat kesalahan. Ia mencoba membaca Bangla dan Arab dengan lancar. Karena pembaca di sini adalah robot (yang menggunakan suara manusia yang dikloning) dan bukan manusia yang sebenarnya sehingga membuat kesalahan sesekali. Kami mencoba mengurangi tingkat kesalahan sebanyak yang kami bisa. Dibutuhkan banyak waktu dan upaya untuk membuat manusia membaca buku -buku raksasa baris demi baris dan merilis bacaan itu sebagai buku audio. Ini juga merupakan proses yang sangat rumit, terutama untuk buku multibahasa. Tujuan utama kami adalah membuat AI membaca buku -buku raksasa dengan tingkat kesalahan yang lebih sedikit karena tidak ada yang melakukan pekerjaan itu sebelumnya untuk Bangla, sebagai akibatnya banyak orang Bengali tidak dapat membaca buku -buku penting Bangla besar seperti buku Tafsir, buku -buku hadis dan buku -buku Seerah dalam mode audiobook. Ini adalah langkah bayi pertama kami menuju arah penelitian ini. Untuk mempelajari lebih lanjut tentang pembaca pidato saraf kami yang disintesis multibahasa (Bangla+Arab), periksa repo ini-> https://github.com/mobassir94/compehensive-bangla-tts