ดาวน์โหลด Multilingual Speech to Speech Translator - Multilingual Speech to Speech Translator ซอร์สโค้ดดาวน์โหลดซอร์สโค้ดดาวน์โหลด

Multilingual Speech to Speech Translator

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

เครื่องแปลภาษาพูดได้หลายภาษาพูด

นักแปลคำพูดหลายภาษาพูดคุย (STS) เป็นคำพูดภาษาอังกฤษ-ภาษาอังกฤษผสมรหัสครั้งแรกกับนักแปลคำพูดของ Bangla-Arabic

แรงจูงใจ

พื้นที่เก็บข้อมูลนี้มีงานของคำพูดภาษาอังกฤษและภาษาอังกฤษที่ผสมรหัสครั้งแรกของเรากับนักแปลที่พูดหลายภาษาในบางลา การบรรยายภาษาอังกฤษเหล่านั้นเป็นบางลา

จุดจบของเราไปป์ไลน์:

ดาวน์โหลดวิดีโอ YouTube ทั้งหมดจากเพลย์ลิสต์นี้: https://www.youtube.com/playlist?list=plaea99d24ca2f9a8f และแปลงวิดีโอเป็นเสียง (.MP4 เป็น. WAV การแปลง) (ใช้สคริปต์นี้: https://github.com/mobassir94/multilingual-speech-to-speech-translator/blob/main/step1_make_youtube_audio_playlist.py)
เรียกใช้โมเดล STT หลายภาษา (คำพูดถึงข้อความ) ของ OpenAI เพื่อรับข้อความหลายภาษาของการบรรยายวิดีโอแต่ละครั้ง (ใช้สคริปต์นี้: https://github.com/mobassir94/multilingual-speech-to-peech-translator/blob/main/step2_run_multilingal
แปลงไฟล์ข้อความแต่ละไฟล์จากภาษาอังกฤษ-อาหรับเป็น Bangla Arabic โดยใช้โมเดล Banglanmt (รุ่นนักแปลเครื่องประสาทที่สามารถแปลข้อความจากภาษาอังกฤษเป็น Bangla ด้วยประสิทธิภาพสูง) (ใช้รหัสนี้: https://github.com/mobassir94/multilingilailing
เรียกใช้ระบบหลายภาษา (Bangla-Arabic) TTS (Text to Speech) เพื่อรับเวอร์ชันเสียงของ Bangla Seerah ที่แปลโดย Dr. Yasir Qadhi (ใช้รหัสนี้: https://github.com/mobassir94/multilinguual-speech-to-speech-translator/blob/main/main/main/mainfultiling
แปลงเสียงด้วยวิดีโอที่ใช้ภาพเดียวโดยใช้ ffmpeg (ใช้โน้ตบุ๊กนี้: https://github.com/mobassir94/multilingenual-speech-to-peech-translator/blob/main/audio_to_video_maker.ipynb)

e2e_single_sample_demo_of_multilingual_speech_to_speech_translation-> https://github.com/mobassir94/multilingual-speech-to-speech-translator/blob/main/e2e_single_sample_demo_def

การใช้สมุดบันทึกเดี่ยวนี้-> https://github.com/mobassir94/multilingual-speech-to-peech-translator/blob/main/e2e-multilingual%20Speech%20to%20Speech%20translator.ipynb ทั้งหมดของเรา

เราได้ค้นพบข้อ จำกัด ที่สำคัญอย่างหนึ่งของเสียงกระซิบระหว่างการทำงานในโครงการการแปลคำพูดหลายภาษานี้ การบรรยาย Seerah ดั้งเดิมที่เราพยายามเปลี่ยนจากรูปแบบภาษาอังกฤษ-อาหรับเป็น Bangla-Arabic มีอายุมากกว่า 10 ปี บางทีเสียงกระซิบไม่ได้ผลดีกับเนื้อหาเก่า ๆ แต่ทำงานได้ดีกับเนื้อหาล่าสุด? เราได้เห็นแล้วว่าการกระซิบล้มเหลวอย่างมากในเนื้อหาเก่า ๆ (วิดีโออายุมากกว่า 10 ปี) แต่เมื่อทำงานกับวิดีโอล่าสุดหรือล่าสุดล่าสุด Whisper ทำงานได้ดีเท่าที่คาดไว้ ตัวอย่างเช่นตรวจสอบผลลัพธ์ของ Code Cell จากสมุดบันทึกนี้-> https://github.com/mobassir94/multilingenual-speech-to-speech-translator/blob/main/e2e_single_sample_demo_of_multilingual_speech_peech_translation เข้าสู่การบรรยายของ Bangla-Arabic

เพื่ออ่านว่าซีรี่ส์ Seerah Lecture ใน Bangla เราได้ยกเลิกชุดข้อมูลจากแหล่งที่เชื่อถือได้สูงนี้แทน: https://arqadhi.blogspot.com/ จากนั้นทำตามขั้นตอนที่ 3-5 อย่างไรก็ตามไปป์ไลน์การพูดภาษาพูดหลายภาษาของเราควรทำงานได้ดีกับเสียงล่าสุดหรือไม่เก่าเกินไปที่มีการบรรยายภาษาอังกฤษ-อาหรับดังที่แสดงใน e2e_single_sample_demo_of_multilingual_speech_peech_translation.ipynb notebook

[ถอดความโดย Br. Safwan Khan, Faizan & Zohra] [email protected] [Revised อีกครั้งโดย Muhammad Abdul Rahman, เมษายน 2021]

ช่องนี้ -> https://www.youtube.com/playlist?list=plshvxzxnumvpsbuqcl8oswoxcppz2a3ht ครอบคลุมการบรรยายทั้งหมดของ bangla-translated seerah ของผู้เผยพระวจนะ muhammed (pbuh) การบรรยายในบางลาโดยใช้นักแปลเครื่องประสาทที่ทรงพลัง ระบบการโคลนนิ่งด้วยเสียงประสาทนี้พยายามอ่านหนึ่งในการบรรยายที่ได้รับความนิยมมากที่สุดของ Bangla Seerah แห่งศาสดา Muhammed (PBUH) เช่นผู้อ่านหนังสือเสียงของมนุษย์ที่มีอัตราความผิดพลาดน้อยที่สุด มันพยายามอ่านทั้ง Bangla และ Arabic ได้อย่างคล่องแคล่ว ในฐานะผู้อ่านที่นี่เป็นหุ่นยนต์ (ที่ใช้เสียงโคลนของมนุษย์) และไม่ใช่มนุษย์ที่แท้จริงดังนั้นมันจึงทำผิดพลาดเป็นครั้งคราว เราพยายามลดอัตราความผิดพลาดให้มากที่สุดเท่าที่จะทำได้ ต้องใช้เวลาและความพยายามอย่างมากในการทำให้มนุษย์อ่านหนังสือขนาดมหึมาทีละบรรทัดและปล่อยการอ่านเหล่านั้นเป็นหนังสือเสียง นอกจากนี้ยังเป็นกระบวนการที่ซับซ้อนมากโดยเฉพาะอย่างยิ่งสำหรับหนังสือหลายภาษา เป้าหมายหลักของเราคือการทำให้ AI อ่านหนังสือขนาดมหึมาที่มีอัตราความผิดพลาดน้อยลงเพราะไม่มีใครเคยทำงานมาก่อนสำหรับบางลาซึ่งเป็นผลให้ผู้คนในเบงกาลีหลายคนไม่สามารถอ่านหนังสือสำคัญของบางลาได้เช่นหนังสือ Tafsir หนังสือหะดีษและหนังสือ Seerah ในโหมดหนังสือเสียง เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับผู้อ่านการพูดที่สังเคราะห์พูดได้หลายภาษา (Bangla+Arabic) ให้ตรวจสอบ repo นี้-> https://github.com/mobassir94/comprehensive-bangla-tts