الصفحة الرئيسية>المتعلقة بالبرمجة>ج/ج++
تنزيل

محاذاة الكلام

readme الصينية:

الكلام-المحاذاة هي أداة تنشئ تعليقات محاذاة الوقت على مستوى الصوت من "الصوت الصوتي" و "نص اللغة".

مثال 

 # 调用 bin，输入语音列表和文本、输出对齐结果
cd egs/cn_phn
speech-aligner --config=conf/align.conf data/wav.scp data/text data/out.ali
# 查看输出对齐结果，包含: 文件名，音素时间起点(秒) 音素时间终点(秒) 音素
cat data/text data/out.ali
BAC009S0002W0122 而对楼市成交抑制作用最大的限购
BAC009S0002W0122
0.000 0.535 sil
0.535 0.540 $0
0.540 0.745 er_2
0.745 0.850 d
0.850 0.895 ui_4
0.895 1.305 l
1.305 1.435 ou_2
...
4.955 5.055 x
5.055 5.525 ian_4
5.525 5.745 g
5.745 5.930 ou_4
5.930 5.975 sil
.

التجميع

  • يحضر:

    • cmake> = 3.1

    • هناك واحدة من مكتبات الرياضيات في واجهة Blas التالية:

      • الاقتراحات: MKL

        • قم بتثبيت CENTA وتثبيت MKL من خلال conda: conda install mkl (سيتم تثبيت MKL مع كوندا افتراضيًا)
        • عند التجميع ، تأكد من أن conda قابلة للتنفيذ ( which conda )

      • أطلس

        • تثبيت Ubuntu: sudo apt-get install libatlas3-base

        • هناك العديد من توزيعات Linux ، ومسارات مكتبة الرياضيات مختلفة وتغييرها ، بحيث يمكنك تحديد المسار من خلال الأمر التالي: 

        • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

      • نظام OSX (Darwin) يأتي مع إطار التسريع ، والذي يمكن تعديله

      • ... مكتبات رياضيات أخرى ، يمكنك عرض cmake/Modules/FindBLAS.cmake للتعرف على مكتبات الرياضيات المدعومة

  • تجميع cmake 

    git clone .../speech-aligner.git
cd speech-aligner
mkdir build && cd build
cmake ..
make -j

  • نتائج التجميع

    • bin/algin-aligner: ملف قابل للتنفيذ ثنائي ، يتم عرض المكالمات النموذجية في EGS/CN_PHN/RUN.SH ، بما في ذلك ثلاث معلمات:
      • التكوين: يدعم معلمات --config=egs/cn_phn/conf/align.conf من خلال ملفات التكوين وخطوط الأوامر.
      • الإدخال: قائمة صوتية ، قائمة نصية مقابلة
      • الإخراج: توضيح وقت محاذاة وقت الصوتي

سيناريوهات التطبيق والأمثلة

  • بحث:
    • توليد بيانات تدريب مرغوبة بالوقت لـ TTS
      • EGS/CN_PHN
  • مشروع:
    • كلمات محاذاة
      • EGS/CN_LYRIC [TODO]
    • ترتيب محاذاة
      • EGS/CN_SUBTITLE [TODO]
  • من أجل المتعة:
    • شبح الوحش
      • EGS/CN_GC [TODO]

تجديد

  • دعم إضافي لإدخال Pinyin الصيني (مع اللحن) ، انظر EGS/CN_PHN/DATA/TEXT

تودو

  • البيئة الصينية: علامات الترقيم ومعالجة اللغة الإنجليزية
  • أضف المزيد من الأمثلة

عن

  • يعتمد المشروع على مشروع Open Source الشهير لـ Voice Kaldi ، والذي يتبع المشروع الأصلي.
  • مثال EGS/CN_PHN ، قائمة الأصوات المستخدمة هي من مشروع Dacidian المصدر الصيني الآخر DACIDIAN .

readme الإنجليزية:

محاذاة الكلام ، هي أداة تولد محاذاة على مستوى الصوت بين الكلام البشري ونسخه

مثال الاستخدام 

 # call the bin，with speech and transcript as inputs
./bin/speech-aligner --config=egs/cn_phn/conf/align.conf egs/cn_phn/data/wav.scp egs/cn_phn/data/text egs/cn_phn/data/out.ali
# check the output alignment, include: filename, phoneme and its start/end time
cat egs/cn_phn/data/text egs/cn_phn/data/out.ali
BAC009S0002W0123
0.000 0.025 y
0.025 0.460 e_3
0.460 0.850 sil
0.850 0.985 ch
0.985 1.095 eng_2
...
2.655 2.735 zh
2.735 2.900 ong_1
2.900 2.960 d
2.960 3.665 ing_1
3.665 3.845 sil
.

ترجمة

  • متطلبات

    • cmake> = 3.1

    • واحدة من Blas Math Lib:

      • MKL (موصى به)

        • تثبيت كوندا ، واستخدمها لتثبيت MKL: conda install mkl (تم تثبيت MKL مع كوندا بشكل افتراضي)
        • عندما يكون cmake ، يجب أن تكون conda في طريقك

      • أطلس

        • Ubuntu: sudo apt-get install libatlas3-base

        • عندما يكون Cmake ، قد لا تجد أطلسك تلقائيًا ، وبالتالي فأنت بحاجة إلى تعيين مسار LIB الرياضيات على النحو التالي: 

        • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

      • إطار التسريع (Need لا تفعل شيئًا لـ "Macos/Darwin")

      • ...

  • cmake 

    git clone .../speech-aligner.git
cd speech-aligner
mkdir build && cd build
cmake ..
make -j

  • نتائج

    • بن/خطاب-محاذاة: ملف قابل للتنفيذ ثنائي ، مع وسيطات:
      • التكوين: من خلال ملف التكوين (التوصية ، على سبيل المثال: - -config = egs/cn_phn/conf/align.conf) أو سطر الأوامر
      • المدخلات: قائمة WAV وقائمة نسخ الارتباط (على سبيل المثال EGS/CN_PHN/DATA)
      • الإخراج: محاذاة النتيجة

التطبيقات

  • للبحث:
    • إنشاء بيانات التدريب ل TTS
      • EGS/CN_PHN: إنشاء محاذاة صينية صينية
  • للهندسة:
    • محاذاة غنائي
      • EGS/CN_LYRIC [TODO]
    • محاذاة الترجمة
      • EGS/CN_SUBTITLE [TODO]
  • من أجل المتعة:
    • きちく
      • EGS/CN_GC [TODO]

عن

  • يعتمد هذا المشروع على مشروع رائع لمشروع مفتوح المصدر Kaldi .
  • الصوتيات المستخدمة في البيئة: EGS/CN_PHN ، تأتي من مشروع قاموس صيني مفتوح المصدر DASIDIAN .
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل