Multilingual Speech to Speech Translator 다운로드 - Multilingual Speech to Speech Translator 소스 소스 코드 다운로드

Multilingual Speech to Speech Translator

AI 소스 코드

1.0.0

다운로드

다국어 연사 음주 전환기

다국어 연설에서 연설 (STS) 번역기는 Bangla-Abic Speech Translator에 대한 최초의 코드 혼합 영어-아라비아 연설입니다.

동기 부여

이 저장소는 Bangla-Abic 다국어 연설에 대한 최초의 코드 혼합 영어-아라비아 연설의 작업을 포함합니다. 방글라에 대한 영어 강의.

우리의 끝에서 최종 파이프 라인 :

이 재생 목록에서 모든 YouTube 비디오를 다운로드하십시오 : https://www.youtube.com/playlist?list=plaea99d24ca2f9a8f (이 스크립트 사용 :이 스크립트 사용 : 비디오를 오디오로 변환하십시오. https://github.com/mobassir94/multingual-speech-to-speech-translator/blob/main/step1_make_youtube_audio_playlist.py)
Openai의 Whisper 기반 다국어 STT (Speech to Text) 모델을 실행하여 각 비디오 강의의 다국어 텍스트를 얻으십시오 (이 스크립트 사용 : https://github.com/mobassir94/mobassir94/multingalual-speech-to-speech-translator/blob/main/step2_run_multual_stt.py)
Banglanmt 모델을 사용하여 각 텍스트 파일을 영어-아라비아에서 Bangla Arabic으로 변환합니다 (이 코드 사용 : https://github.com/mobassir94/multingual-speech-to-speech-translator/blob/main/step3_crosslingual_crosslingual_translato.)
다국어 (Bangla-Arabic) TTS (Text to Speech) 시스템을 실행하여 Yasir Qadhi 박사에 의해 번역 된 Bangla Seerah의 오디오 버전을 얻습니다 (이 코드 사용 : https://github.com/mobassir94/multingual-speech-tepeep-translator/blob/main/step4_multiling_tts.py)
ffmpeg를 사용하여 단일 이미지 기반 비디오로 오디오 변환 (이 노트북 사용 : https://github.com/mobassir94/multingual-speech-tepeech-translator/blob/main/audio_to_video_maker.ipynb)

e2e_single_sample_demo_of_multingal_multingal_speech_to_speech_translation-> https://github.com/mobassir94/multingalual-speech-to-speech-translator/blob/main/e2e_single_sample_demo_of_multility_speeph_to_to_toechech_trantlatlationlationlation

이 단일 노트북-> https://github.com/mobassir94/multingual-speech-to-speech-translator/blob/main/e2e-multingalualenspeech%20to%20Speech%20Translator.ipynb 전체 끝에서 끝까지 단계적으로 실행할 수 있습니다.

우리는이 다국어 연설에서 연설 번역 프로젝트를 수행하는 동안 Whisper의 중요한 제한을 발견했습니다. 우리가 영어-아라비아어에서 방글라-아라비아 형식으로 개종 시키려고했던 원래의 시에라 강의는 10 년이 넘었습니다. 아마도 Whisper는 그러한 오래된 내용에서 잘 작동하지 않지만 최신 내용에서 잘 작동합니까? 우리는 Whisper가 그러한 오래된 내용 (10 세 이상의 비디오)에서 매우 실패한 것을 보았지만 최신 또는 최근의 대부분의 비디오를 작업 할 때 Whisper는 예상대로 작동했습니다. 예를 들어,이 노트북에서 마지막 코드 셀의 출력을 확인하십시오-> https://github.com/mobassir94/multingalual-speech-trech-translator/blob/main/e2e_single_sample_demo_of_f_multingal_speech_to_speech_translation.ipynb. 방글라-아라비아 강의.

Bangla의 Seerah 강의 시리즈를 읽기 위해 우리는 대신이 신뢰할 수있는 소스에서 데이터 세트를 폐기 한 다음 3-5 단계를 따랐습니다. 그러나 우리의 다국어 연설 To Speech Translation Pipeline은 E2E_SILPLE_SAMPE_SAMPE_DEMO_OF_MULTINGULAL_SPEECH_TO_TO_TRANSLATION.IPYNB 노트북에 표시된대로 영어-아라비아 강의를 포함하는 최신 오디오로 잘 작동해야합니다.

[BR에 의해 전사. Safwan Khan, Faizan & Zohra] [email protected] [2021 년 4 월 Muhammad Abdul Rahman에 의해 재검토됨]

이 채널 -> https://www.youtube.com/playlist?list=plshvxzxnumvpsbuqcl8oswoxcppz2a3ht는 여기에서 수집 한 예언자 Muhammed (pbuh)의 Bangla -translated seerah의 모든 강의를 포함합니다. 강력한 신경 기계 번역기를 사용하여 Bangla 강의. 이 신경 보이스 클로닝 시스템은 최소한의 오류율을 가진 인간 오디오 북 독자와 같이 선지자 Muhammed (PBUH)의 Bangla Seerah의 가장 인기있는 강의 중 하나를 읽으려고합니다. 방글라와 아랍어를 유창하게 읽으려고합니다. 여기 독자는 로봇 (복제 된 인간의 목소리를 사용하는 로봇)이므로 실제 인간이 아니기 때문에 때때로 실수를합니다. 우리는 가능한 한 오류율을 줄이려고 노력했습니다. 인간이 거대한 책을 한 줄씩 읽고 그 독서를 오디오 북으로 발표하는 데 많은 시간과 노력이 필요합니다. 특히 다국어 도서의 경우 매우 복잡한 프로세스입니다. 우리의 주요 목표는 AI가 방글라를 위해 그 일을 한 적이 없기 때문에 AI가 오류율이 낮은 거대한 책을 읽는 것이 었습니다. 결과적으로 많은 벵골어 사람들은 Tafsir Books, Hadith Books 및 Seerah와 같은 큰 Bangla의 중요한 책을 오디오 북 모드에서 읽을 수 없었습니다.이 연구 방향을 향한 첫 번째 베이비 단계입니다. 신경 연설 합성 다국어 (Bangla+Arabic) 독자에 대해 자세히 알아 보려면이 repo-> https://github.com/mobassir94/comprehensive-bangla-tts를 확인하십시오.