تنزيل Multilingual Speech to Speech Translator - تنزيل Multilingual Speech to Speech Translator

Multilingual Speech to Speech Translator

كود الذكاء الاصطناعي

1.0.0

تنزيل

متعدد اللغات الكلام إلى النقل المترجمة

يعد مترجم خطاب متعدد اللغات (STS) أول خطاب باللغة الإنجليزية المترابطة على الإطلاق لمترجم خطاب بنغلا-أربيك

تحفيز

يحتوي هذا المستودع على عمل أول خطابنا الإنجليزي-العربي الذي يربطه البرمجيات باللغة الحربية في خطاب البنغلا-العريبي إلى الكلام (STS). تلك المحاضرات الإنجليزية في بنغلا.

خط الأنابيب من النهاية إلى النهاية:

قم بتنزيل جميع مقاطع الفيديو على YouTube من قائمة التشغيل هذه: https://www.youtube.com/playlist؟list=plaea99d24ca2f9a8f وتحويل مقاطع الفيديو إلى Audios (.mp4 إلى .wav تحويل) (باستخدام هذا البرنامج النصي: https://github.com/mobassir94/multialual-spheach-to-speed-spreech-translator/blob/main/step1_make_youtube_audio_playlist.py)
RUN RUN OPENAI's Multilingual STT (الكلام إلى النص) من OPENAI ، للحصول على نص متعدد اللغات من كل محاضرة فيديو (باستخدام هذا البرنامج النصي: https://github.com/mobassir94/multingual-speenge-to-speech-translator/blob/main/step2_run_multilingual_py)
قم بتحويل كل ملف نصي من اللغة الإنجليزية-العازلة إلى البنغالية العربية باستخدام نموذج Banglanmt (نموذج مترجم آلي عصبي يمكنه ترجمة النصوص من اللغة الإنجليزية إلى البنغالية بكفاءة عالية) (باستخدام هذا الرمز: https://github.com/mobassir94/multingalual-pech-to-appheectlator/blob/main/step3_crosslain
قم بتشغيل نظام TTS متعدد اللغات (بنجلا-أربيك) TTS (نص إلى الكلام) للحصول على إصدار صوتي من البنغالية المترجمة من قبل الدكتور ياسر قاديى (باستخدام هذا الرمز: https://github.com/mobassir94/multing -peedual-pech-topeesh-translator/blob/main/main/main/maint
قم بتحويل Audios بمقاطع فيديو تعتمد على الصور المفردة باستخدام FFMPEG (باستخدام دفتر الملاحظات هذا: https://github.com/mobassir94/multialual-spheach-to-spheade-translator/blob/main/audio_to_video_maker.ipynb)

e2e_single_sample_demo_of_multilingual_speech_to_speech_translation-> https://github.com/mobassir94/multialual-spheach-to-spheache-spheache_peesh_peesh_peesh_peesh_peesh_peesh_peesh_peence_peesh

باستخدام دفتر الملاحظات المفرد-> https://github.com/mobassir94/multingual-spheade-to-spheade-spreech-translator/blob/main/e2e-multingual٪20speech٪20to٪20speesh٪20translator.ipynb يمكن تشغيل خط الأنابيب من النهاية إلى النهاية بسهولة.

لقد اكتشفنا قيودًا حاسمة على الهمس أثناء العمل على هذا الخطاب متعدد اللغات إلى مشروع ترجمة الكلام. تبلغ محاضرة Seerah الأصلية التي حاولنا تحويلها من التنسيق الإنجليزي-العابر إلى بنغلا-أربيك أكثر من 10 سنوات. ربما لا يعمل Whisper بشكل جيد على مثل هذه المحتويات القديمة ولكنه يعمل بشكل جيد مع أحدث المحتويات؟ لقد رأينا أن Whisper فشل بشكل سيء للغاية على مثل هذه المحتويات القديمة (10+ سنوات من مقاطع الفيديو) ولكن عند العمل على أحدث مقاطع الفيديو أو الحديثة ، عملت Whisper كما هو متوقع. على سبيل المثال ، تحقق من إخراج خلية الكود الأخير من دفتر الملاحظات هذا-> https://github.com/mobassir94/multiling-spech-to-spheach-translator/blob/main محاضرة بنغلا العربية.

من أجل قراءة سلسلة محاضرات Seerah في Bangla قمنا بإلغاء مجموعة البيانات من هذا المصدر الموثوق به بدلاً من ذلك: https://arqadhi.blogspot.com/ ثم اتبعوا الخطوة 3-5. ومع ذلك ، يجب أن يعمل خط أنابيب خطابنا متعدد اللغات إلى الترجمة على ما يرام مع أحدث أو لم يكن قديمًا جدًا يحتوي على محاضرات باللغة الإنجليزية كما هو موضح في e2e_single_sample_demo_of_multiling_speech_to_speech_translation.ipynb دفتر ملاحظات ، إذا لم يجرب بعد ذلك لإيجاد الذرز.

[المكتوبة بواسطة Br. Safwan Khan ، Faizan & Zohra] Safwan- [email protected] [أعيد إعادة مراعته بواسطة محمد عبد الرحمن ، أبريل 2021]

هذه القناة -> https://www.youtube.com/playlist؟list=plshvxzxnumvpsbuqcl8oswoxcppz2a3ht تغطي جميع محاضرات seerah stranslated من البنغلا من النبوة محمد (pbuh) من هنا: https. محاضرات في بنغلا باستخدام مترجم آلي عصبي قوي. يحاول نظام الاستنساخ الصوتي العصبي قراءة واحدة من أكثر المحاضرات شعبية في بنغلا Seerah of Prophet Muhammed (PBUH) مثل قارئ كتاب صوتي بشري مع الحد الأدنى من معدل الخطأ. يحاول قراءة كل من البنغالية والعربية بطلاقة. نظرًا لأن القارئ هنا هو روبوت (يستخدم صوت الإنسان المستنسخ) وليس إنسانًا حقيقيًا ، فهو يرتكب أخطاء من حين لآخر. حاولنا تقليل معدل الخطأ قدر الإمكان. يستغرق الأمر الكثير من الوقت والجهد لجعل البشر يقرؤون الكتب العملاقة خطوطًا وإصدار تلك القراءات ككتب صوتية. إنها أيضًا عملية معقدة للغاية ، خاصة بالنسبة للكتب متعددة اللغات. كان هدفنا الرئيسي هو جعل منظمة العفو الدولية قراءة الكتب العملاقة مع معدل خطأ أقل لأنه لم يقم أي شخص بهذا العمل من قبل بنجلا ، ونتيجة لذلك ، لم يتمكن العديد من الناس من البنغالية من قراءة كتب كبيرة من البنغلا مثل كتب Tafsir وكتب الحديث وكتب Seerah في وضع Audiobook. من أجل معرفة المزيد عن القارئ الذي تم تصنيعه في خطابنا العصبي (Bangla+Arabic) ، تحقق من هذا repo-> https://github.com/mobassir94/comprehment-bangla-tts