Download Multilingual Speech to Speech Translator - Download Multilingual Speech to Speech Translator Quellcode

Multilingual Speech to Speech Translator

AI-Quellcode

1.0.0

Herunterladen

Mehrsprachiger Sprach-zu-Sprach-Übersetzungsrator

Übersetzer der mehrsprachigen Sprache zu Sprache (STS) ist die erste mit Code-Mixed English-Arabic Rede zum Bangla-Arabic-Sprachübersetzer

Motivation

Dieses Repository enthält die Arbeit unserer ersten mit Code-Mixed English-Arabic Rede zu bangla-arabischen mehrsprachigen Sprache zu Sprache (STS) Übersetzer. Diese Implementierung lässt Bangla Seerah von Prophet Muhammed (s) übersetzt, die wir erstmals von hier aus gesammelt haben: https://www.youtube.com/playlist. Vorträge nach Bangla.

Unser End -to -End -Pipeline:

Laden Sie alle YouTube -Videos aus dieser Wiedergabeliste herunter: https://www.youtube.com/playlist?list=plaea99d24ca2f9a8f und konvertieren Videos in Audios (.MP4 in .wav Conversion) (mit diesem Skript: https://github.com/mobassir94/multilingual-speech-t-speech-translator/blob/main/step1_make_youtube_audio_playlist.py)
Führen Sie OpenAIs flüsterbasiertes mehrsprachiges STT-Modell (Sprache zu Text) aus, um mehrsprachigen Text jeder Videovorlesung zu erhalten (mit diesem Skript: https://github.com/mobassir94/multilingual-speech-so-speech--translator/blob/main/step2_run_multilingual_stt.py))
Konvertieren Sie jede Textdatei von englisch-arabisch in Bangla-Arabisch unter Verwendung des Banglanmt-Modells (ein Modell für neuronale maschinelle Übersetzer, das Texte von Englisch in Bangla mit hoher Effizienz übersetzen kann (unter Verwendung dieses Codes: https://github.com/mobassir94/multilingual-speech-toech-translator/mosling/mobassir
Führen Sie mehrsprachige (Bangla-Arabic) TTS (Text to Speech) aus, um die Audioversion von übersetzter Bangla Seerah von Dr. Yasir Qadhi zu erhalten (unter Verwendung dieses Codes: https://github.com/mobassir94/multilingualualual-Speech-Speech-Translator/Bobb4_Multilingualilingualilingualilingualilingualilingualilingualingualing
Konvertieren Sie Audios mit einzelnen bildbasierten Videos mit FFMPEG (mit diesem Notebook: https://github.com/mobassir94/multilingual-speech-to-speech-translator/blob/main/audio_to_video_maker.ipynb)

E2E_SINGLE_SABLE_DEMO_OF_MULTILINGIONUAL_SPEECH_TO_SPEECH_TRANSLATION-> https://github.com/mobassir94/multilingualspeech-toche-reech-speech-translator/blob/main/e2e_ssingle_demo_multilingualilie_multilingilting

Verwenden Sie dieses einzelne Notizbuch-> https://github.com/mobassir94/multilingual-speech-toech-translator/blob/main/e2e-multilingual%20speech%20to%20 Speech%20Translator

Wir haben eine entscheidende Einschränkung von Flüsterung bei der Arbeit an dieser mehrsprachigen Sprachübersetzungsprojekt entdeckt. Die ursprüngliche Serah-Vorlesung, die wir versucht haben, von englisch-arabisch in das bangla-arabische Format zu konvertieren, ist mehr als 10 Jahre alt. Vielleicht funktioniert Whisper nicht gut für so alte Inhalte, funktioniert aber gut mit den neuesten Inhalten? Wir haben gesehen, dass Whisper in solchen alten Inhalten (mehr als 10 Jahren Videos) sehr schlecht gescheitert ist, aber bei der Arbeit an den neuesten oder neuesten Videos arbeitete Whisper so gut wie erwartet. Überprüfen Sie beispielsweise die Ausgabe der letzten Codezellen aus diesem Notebook-> https://github.com/mobassir94/multilingualspeech-to-Speech-Translator/blob/main/e2e_single Bangla-Arabic Lecture.

Um diese Seerah-Vorlesungsreihe in Bangla zu lesen, haben wir den Datensatz stattdessen aus dieser sehr zuverlässigen Quelle verschrottet: https://arqadhi.blogspot.com/ und folgte dann Schritt 3-5. Unsere mehrsprachige Rede-zu-Sprach-Übersetzungspipeline sollte jedoch einwandfrei mit den neuesten oder nicht zu alten Audios funktionieren, die englischarabische Vorlesungen enthalten, wie in E2E_SINGLE_SABLE_DEMO_OF_MULTIONILINGUAL_SPEECH_TO_TO_TO_TRANSLATION.IPYNB-Notizbuch gezeigt.

[Transkribiert von Br. Safwan Khan, Faizan & Zohra] [email protected] [wieder von Muhammad Abdul Rahman, April 2021] neu revidiert]

Dieser Kanal -> https://www.youtube.com/playlist?list=plShvxzxnumvpsbuqcl8osWoxcppz2a3ht deckt alle Vorträge des bangla -translierten Seerahs von Prophet Muhammed (PBUH) ab, die wir hier entleert haben: Https:/Rtps:/Rtps:/Rtps:/Rtps. Vorträge nach Bangla mit einem leistungsstarken Übersetzer für neuronale Maschine. Dieses Klonensystem für neuronale Sprachklone versucht, eine der beliebtesten Vorträge von Bangla Seerah des Propheten Muhammed (PBUH) wie ein menschlicher Hörbuchleser mit einer minimalen Menge an Fehlerrate zu lesen. Es versucht, sowohl Bangla als auch Arabisch fließend zu lesen. Als Leser hier ist ein Roboter (der die geklonte Stimme des Menschen verwendet) und nicht ein tatsächlicher Mensch, so dass er gelegentlich Fehler macht. Wir haben versucht, die Fehlerrate so weit wie möglich zu reduzieren. Es braucht viel Zeit und Mühe, um Menschen die Gigantic Books Line nach Linie zu lesen und diese Lesungen als Hörbücher zu veröffentlichen. Es ist auch ein sehr komplizierter Prozess, insbesondere für mehrsprachige Bücher. Unser Hauptziel war es, KI gigantische Bücher mit weniger Fehlerrate zu lesen, da diese Arbeit diese Arbeit zuvor für Bangla getan hat. Infolgedessen konnten viele bengalische Leute große wichtige Bücher wie Tafsir Books, Hadith Books und Seerah Books im AudioBook -Modus nicht lesen. Dies ist unser erster Babyschritt in Richtung dieser Forschungsrichtung. Um mehr über unsere neuronale Sprache synthetisierte mehrsprachige (bangla+arabische) Leser zu erfahren, überprüfen Sie dieses Repo-> https://github.com/mobassir94/comprection-bangla-tts