voice builder

إخلاء المسئولية: هذا ليس منتج Google الرسمي.

باني الصوت

Voice Builder هو أداة إنشاء صوت إلى نص إلى خط الكبير (TTS) التي تركز على البساطة والمرونة والتعاون. تتيح أدائنا لأي شخص لديه مهارات الكمبيوتر الأساسية لتشغيل تجارب التدريب الصوتي والاستماع إلى الصوت المركب الناتج.

نأمل أن تقلل هذه الأداة من حاجز إنشاء أصوات جديدة وتسريع أبحاث TTS ، من خلال جعل التجريب أسرع وتعاونًا متعدد التخصصات أسهل. نعتقد أن أدائنا يمكن أن تساعد في تحسين أبحاث TTS ، خاصة بالنسبة للغات المنخفضة الموارد ، حيث غالبًا ما تكون هناك حاجة إلى مزيد من التجارب للحصول على أقصى استفادة من البيانات المحدودة.

المنشور - https://ai.google/research/pubs/pub46977

• تثبيت
  • المتطلبات الأساسية
  • النشر
  • إنشاء مثال صوت
  • (اختياري) باستخدام مصدر البيانات المخصص
  • مواصفات البناء الصوتي
• معلومات إضافية

تثبيت

المتطلبات الأساسية

1. قم بإنشاء مشروع على منصة Google Cloud (GCP).

   إذا لم يكن لديك حساب بعد ، فيرجى إنشاء حساب لنفسك.

2. تمكين الفواتير وطلب المزيد من الحصص لمشروعك

3. تثبيت Docker

4. انتقل إلى Firebase.com واستيراد المشروع إلى منصة Firebase

   إذا لم يكن لديك حساب بعد ، فيرجى إنشاء حساب لنفسك.

5. قم بتثبيت أداة سطر GCLOUD CMD عن طريق تثبيت Cloud SDK

6. تثبيت node.js

7. قم بتثبيت أداة خط Firebase CMD

8. تمكين جميع خدمات GCP التالية:

   • APPENGINE API
   • وظيفة السحابة Firebase
   • خط أنابيب الجينوم API

   استخدم عنوان URL هذا لتمكينهم جميعًا مرة واحدة.

   عادة ، قد يستغرق الأمر بضع دقائق لتمكين واجهات برمجة التطبيقات وسيقودك GCP إلى صفحة أخرى لتعيين بيانات الاعتماد على هذه. يرجى فقط تخطي الصفحة وإغلاق الصفحة لأننا لا نحتاج إلى أي إعداد اعتماد جديد.

9. [اختياري] قم بإعداد مصدر البيانات المخصص الخاص بك

النشر

إذا لم تكن قد أكملت جميع المتطلبات المسبقة ، فيرجى القيام بذلك قبل المضي قدمًا في الخطوات التالية.

1. استنساخ هذا المشروع إلى دليلك الحالي بواسطة:

    git clone https://github.com/google/voice-builder.git && cd voice-builder
   

2. إذا لم تكن قد قمت بتسجيل الدخول إلى حسابك عبر GCloud حتى الآن ، فيرجى تسجيل الدخول بواسطة:

    gcloud auth login
   

3. أيضًا ، إذا لم تكن قد قمت بتسجيل الدخول إلى حسابك عبر Firebase ، فيرجى تسجيل الدخول بواسطة:

    firebase login --no-localhost
   

4. افتح deploy.sh وتحرير المتغيرات التالية:

   • Project_name: اسم مشروع GCP الذي تم إنشاؤه من المتطلب السابق 1) على سبيل المثال
   • Project_id: معرف مشروع GCP الذي تم إنشاؤه من المتطلب السابق 1) على سبيل المثال
   • gcp_service_account_email: استخدم حساب خدمة المحرك (يمكنك العثور على واحدة من خلال النقر على القائمة اليسرى أعلى "IAM & admin> Service Accounts") على سبيل المثال

5. قم بإنشاء دلاء GCS لباني الصوت لتخزين كل بيانات الوظيفة

    ./deploy.sh initial_setup
   

6. نشر مكون وظائف السحابة

    ./deploy.sh cloud_functions
   

7. نشر مكون واجهة المستخدم

    ./deploy.sh ui create
   

   بعد النشر ، يجب أن تحصل على عنوان IP يمكنك الوصول إليه من نتيجة سطر الأوامر (external_ip). يمكنك الوصول إلى مثيلك من Builder من خلال زيارة http: // external_ip: 3389 في متصفحك.

إنشاء مثال صوت

في هذه الخطوة ، يجب أن يكون لديك جميع المكونات في مكانها ويمكنك الوصول إلى واجهة المستخدم في http: // external_ip: 3389. يوفر لك VoiceBuilder في البداية مثالين على محركات TTS (Festival و Merlin) والبيانات العامة من Resource Resource.

يمكنك اختبار ما إذا كان كل شيء يعمل الآن بشكل صحيح من خلال إنشاء صوت جديد بنفسك باستخدام محرك المهرجان المقدم بواسطة:

1. Access HTTP: // external_ip: 3389 وانتقل إلى نموذج Create-Voice بالنقر فوق "إنشاء صوت" في الأعلى.
2. سترى نموذجًا حيث يمكنك اختيار محركات TTS المختلفة وبيانات الإدخال لصوتك. ما عليك سوى التخلص من هذا التكوين الأولي لبناء صوت جديد. حاول النقر فوق الزر "إنشاء صوت" في الأسفل. بعد لحظة قصيرة ، يجب أن تحصل على إشعار في الجزء العلوي من اليمين قائلاً "تم إنشاء وظيفة بنجاح".
3. انقر فوق علامة التبويب "Jobs". الآن ، يجب أن ترى وظيفة جديدة قمت بإنشائها للتو. عادة ما يستغرق 30 دقيقة إلى ساعة واحدة للركض. يمكنك التحقق من حالة المهمة من خلال النقر على معرف الوظيفة لمعرفة صفحة حالة الوظيفة.
4. بعد ساعة ، يجب أن ترى "نشر النموذج الصوتي المكتمل" بموجب حالة الوظيفة. هذا يعني أن النموذج الذي تم بناؤه بنجاح قد تم نشره في خادم تخليق صوتي. حاول وضع "Hello" في مربع إدخال النص في أسفل صفحة حالة الوظيفة وانقر فوق "توليف". يجب أن يقوم Builder الصوتي بإنشاء طيف ولديك زر تشغيل لك للاستماع إلى الصوت!

(اختياري) باستخدام مصدر البيانات المخصص

مصدر البيانات هو مكون إضافي آخر يمكنك إضافته إلى النظام. عادة ، يمكن لـ Voice Builder العمل بدون مصدر بيانات. بدون ذلك ، سيستخدم Builder Voice فقط ملفات الإدخال كما هي.

ومع ذلك ، في بعض الحالات ، تريد تطبيق بعض التحويل على ملفات الإدخال الخاصة بك قبل إطعامها في خوارزميات TTS. على سبيل المثال:

• لديك ملف معجم بتنسيق مختلف من هذا المقبل بواسطة خوارزمية TTS التي اخترتها.
• تريد تصفية بعض البيانات السيئة قبل استخدامها في خوارزمية TTS التي اخترتها.

يمنحك Voice Builder المرونة لإضافة مصدر البيانات الخاص بك والذي يمكنك استخدامه لمعالجة البيانات قبل تشغيل خوارزمية TTS الفعلية. سيحصل مصدر البيانات المخصص الخاص بك على مواصفات صوتية تحتوي على موقع ملف ، وخوارزمية TTS المختارة ، ومعلمات ضبط ، وما إلى ذلك ، يمكنك استخدام هذه المعلومات لمعالجة/تحويل بياناتك. في النهاية ، يجب على مصدر البيانات الخاص بك وضع جميع الملفات اللازمة في مجلد المهمة المعين لتشغيل خوارزمية TTS الفعلية لتشغيلها.

أولاً ، تحتاج إلى منح مصدر البيانات الخاص بك وصولًا إلى دلاء GCS.

1. open /deploy.sh وتحرير المتغيرات التالية:

   • data_exporter_service_account: الحصول عليها عن طريق إنشاء حساب خدمة جديد لمصدر البيانات الخاص بك للوصول إلى دلاء GCS.

2. قم بتشغيل الأمر لإعطاء data_exporter_service_account وصول ACL إلى دلاء GCS

    ./deploy.sh acl_for_data_exporter
   

   ثانياً ، تحتاج إلى تعيين عنوان URL الخاص بمصدر البيانات في config.js بحيث يعرف المنشئ الصوتي مكان إرسال معلومات المواصفات الصوتية إلى.

3. open /config.js وأضف data_exporter_api إلى التكوين على النحو التالي:

    DATA_EXPORTER_API: {
     BASE_URL: '<DATA_EXPORTER_URL>',
     API_KEY: '<DATA_EXPORTER_API_KEY>',
   }
   

   عندما يكون BASE_URL هو عنوان URL لمصدر البيانات الخاص بك و API_KEY هو مفتاح API لمصدر البيانات الخاص بك.

4. Redeploy Voice Builder UI مثيل واجهة المستخدم بحيث يكون لديه الآن تكوين جديد ويعرف أين ترسل معلومات مواصفات الصوت. إلى مصدر البيانات الخاص بك

    ./deploy.sh ui update
   

5. حاول إنشاء وظيفة جديدة! يجب على Voice Builder إرسال طلب إلى Data_exporter_url مع مواصفات صوتية الوظيفة التي تم إنشاؤها.

مواصفات البناء الصوتي

VoiceBuildingSpecification هو تعريف JSON لمواصفات الصوت. يتم إنشاء هذه المواصفات بواسطة الواجهة الخلفية لـ Voice Builder عندما يؤدي المستخدم إلى طلب بناء صوت من واجهة المستخدم. يمكن استخدامه من قبل مصدر البيانات (تم تمريره إلى مصدر البيانات عبر API) لتحويل الملفات ومحرك TTS لمعلمات التدريب الخاصة به.

 {
  "id": int,
  "voice_name": string,
  "created_by": string,
  "job_folder": string,
  "lexicon_path": object(Path),
  "phonology_path": object(Path),
  "wavs_path": object(Path),
  "wavs_info_path": object(Path),
  "sample_rate": int,
  "tts_engine": string,
  "engine_params": [object(EngineParam)],
}

الحقول	وصف
بطاقة تعريف	معرف الوظيفة العالمي الفريد.
voice_name	اسم الصوت سهل الاستخدام (على سبيل المثال صوت مكبر صوت متعدد).
أنشأت	اسم المستخدم الذي أنشأ الصوت.
Job_folder	الطريق إلى مجلد وظيفة GCS. هذا هو المكان الذي تخزن فيه جميع البيانات المتعلقة بالوظيفة.
المعجم	طريق إلى المعجم.
phonology_path	طريق إلى علم الأصوات.
wavs_path	المسار إلى WAVS (يجب أن يكون ملف القطران).
wavs_info_path	المسار إلى الملف الذي يحتوي على تعيين اسم WAV والمطالبات.
Sample_Rate	معدل العينة الذي يجب بناء الصوت.
TTS_ENGINE	نوع محرك TTS لتدريب الصوت. ستكون قيمة هذا المحرك_د من محرك TTS المحدد. json.
engine_params	المعلمات الإضافية لمحرك TTS.

Engineparam

يحتوي EngineParam على معلمة لمحرك TTS الخلفي.

 {
  "key": string,
  "value": string
}

الحقول	وصف
مفتاح	مفتاح المعلمة.
قيمة	قيمة مفتاح المعلمة.

طريق

يحتوي Path على معلومات حول مسار الملف.

 {
  "path": string
  "file_type": string
}

الحقول	وصف
طريق	مسار إلى الملف.
file_type	تنسيق الملف.

مثال

على سبيل المثال ، إذا قمت بإعداد مصدر البيانات الخاص بك ، عند إنشاء صوت باستخدام محرك المهرجان المحدد مسبقًا ، فسيقوم Voice Builder بإرسال هيئة الطلب المشابهة أدناه لمصدر البيانات الخاص بك. بعد ذلك ، يتعين على مصدر البيانات الخاص بك إجراء بيانات مسبقة ووضعها في موقع job_folder (وهو gs://your-voice-builder-jobs/1 بعد وضع جميع الملفات اللازمة في المجلد ، ستبدأ عملية بناء الصوت الفعلية تلقائيًا كما هو متوقع.

 {
  "id": 1,
  "voice_name": "my_voice",
  "createdBy": "[email protected]",
  “job_folder”: "gs://your-voice-builder-jobs/1";
  "engine_params": [
    {
      "key": "param_for_festival1",
      "value": "50"
    },
    {
      "key": "param_for_festival2",
      "value": "30"
    }
  ],
  "sample_rate": "22050",
  "tts_engine": "festival",
  "lexicon_path": {
    "path": "gs://voice-builder-public-data/examples/sinhala/lexicon.scm",
    "file_type": "SCM"
  },
  "phonology_path": {
    "path": "gs://voice-builder-public-data/examples/sinhala/phonology.json",
    "file_type": "JSON_EXTERNAL_PHONOLOGY"
  },
  "wavs_path": {
    "path": "gs://voice-builder-public-data/examples/sinhala/wavs.tar.gz",
    "file_type": "TAR"
  },
  "wavs_info_path": {
    "path": "gs://voice-builder-public-data/examples/sinhala/txt.done.data",
    "file_type": "LINE_INDEX"
  },
}

معلومات إضافية

• علم الأصوات JSON