cs224n gpu that talks

الاهتمام ، أحاول التحدث: تخليق الكلام من شوط إلى النهاية (CS224N '18)

تنفيذ نموذج نص إلى كلام تلافيفي يعتمد على Tachibana et. آل. (2017). بالنظر إلى سلسلة من الأحرف ، يتنبأ النموذج بسلسلة من إطارات الطيف في مرحلتين (Text2mel و SSRN).

كما تمت مناقشته في التقرير ، يمكننا الحصول على جودة صوت لائقة إلى حد ما مع Text2mel المدربين على 60 ألف خطوة ، SSRN ل 100K خطوة. هذا يتوافق مع حوالي (6+12) ساعة من التدريب على وحدة معالجة الرسومات Tesla K80 واحدة على مجموعة بيانات الكلام LJ.

النموذج المسبق : [تنزيل] العينات : [الأساس-النماذج-M4]

لمزيد من التفاصيل ، انظر: ورق الملصقات

الاستخدام:

هيكل الدليل

 - runs (contains checkpoints and params.json file for each different run. params.json specifies various hyperameters: see params-examples folder)
    - run1/params.json ...
 - src (implementation code package)
 - sentences (contains test sentences in .txt files)
 
train.py
evaluate.py
synthesize.py

../data (directory containing data in format below)
 - FOLDER
    - train.csv, val.csv (files containing [wav_file_name|transcript|normalized_trascript] as in LJ-Speech dataset)
    - wavs (folder containing corresponding .wav audio files)

ملفات البرنامج النصي

قم بتشغيل كل ملف باستخدام python <script_file>.py -h لرؤية تفاصيل الاستخدام.

 python train.py <PATH_PARAMS.JSON> <MODE>
python evaluate.py <PATH_PARAMS.JSON> <MODE> 
python synthesize.py <TEXT2MEL_PARAMS> <SSRN_PARAMS> <SENTENCES.txt> (<N_ITER> <SAMPLE_DIR>)

دفاتر:

• التقييم : يعمل على تشغيل تنبؤات النماذج عبر مجموعات التدريب والتحقق من صحة بأكملها لنقاط التفتيش النموذجية المحفوظة ويحفظ النتائج النهائية.
• العرض التوضيحي : اكتب جمل الإدخال بشكل تفاعلي واستمع إلى صوت الإخراج الذي تم إنشاؤه.

إضافي:

• التدريب على لغات مختلفة مع كمية أقل من البيانات المتاحة مجموعة البيانات من اللغات الهندية
• استكشاف استخدام الأساليب شبه الخاضعة للإشراف لتسريع التدريب ، وذلك باستخدام "نموذج باللغة الصوتية" التي تم تدريبها مسبقًا كتهيئة

الكود الخارجي المشار إليه:

(من SRC/ init .py) تم الرجوع إلى رمز الأداة المساعدة من المصادر التالية ، كل الرموز الأخرى هي ملك المؤلف:

• src/data_load.py ، dsp_utils.py (مع التعديلات)
  https://www.github.com/kyubyong/dc_tts ، (المؤلف: Kyubyong Park ، kyubyong)
• src/spsi.py (مشار إليه)
  https://github.com/lonce/spsi_python (المؤلف: lonce)
• src/utils.py (المشار إليها)
  https://github.com/cs230-stanford/cs230-code-examples https://www.github.com/kyubyong/dc_tts https://github.com/tensorflow/tensor2tensor/blob/tensor/tensor2tensor/common_atteane