xtts2 ui

XTTS-2-UI: واجهة مستخدم لاستنساخ الصوت XTTS-2

يحتوي هذا المستودع على الكود الأساسي لاستنساخ أي صوت باستخدام نص عادل وعينة صوتية مدتها 10 ثوان من الصوت المستهدف. XTTS-2-UI سهل الإعداد والاستخدام. مثال النتائج؟

يعمل في 16 لغة ولديه تسجيل/تحميل صوتي مدمج. ملاحظة: لا تتوقع جودة مستوى EL ، فهي ليست موجودة بعد.

نموذج

النموذج المستخدم هو tts_models/multilingual/multi-dataset/xtts_v2 . لمزيد من التفاصيل ، راجع Hugging Face-XTTS-V2 وإصدارها المحدد XTTS-V2 الإصدار 2.0.2.

جدول المحتويات

• XTTS-2-UI: واجهة مستخدم لاستنساخ الصوت XTTS-2
  • نموذج
  • جدول المحتويات
  • يثبت
  • الاستدلال
  • مستهدفة مجموعة بيانات الأصوات
  • نموذج أمثلة صوتية:
  • دعم اللغة
  • ملحوظات
  • الاعتمادات

يثبت

لإعداد هذا المشروع ، اتبع هذه الخطوات في محطة:

1. استنساخ المستودع

   • استنساخ المستودع إلى جهازك المحلي.

     git clone https://github.com/pbanuru/xtts2-ui.git
     cd xtts2-ui

2. إنشاء بيئة افتراضية:

   • قم بتشغيل الأمر التالي لإنشاء بيئة افتراضية Python:

     python -m venv venv

   • تنشيط البيئة الافتراضية:

     • Windows:

        # cmd prompt
       venv S cripts a ctivate

       أو

        # git bash
       source venv/Scripts/activate

     • Linux/Mac:

        source venv/bin/activate

3. تثبيت Pytorch:

   • إذا كان لديك وحدة معالجة الرسومات NVIDIA CUDA ، فاختر أمر تثبيت Pytorch المناسب:
     • قبل تثبيت Pytorch ، تحقق من إصدار CUDA الخاص بك عن طريق التشغيل:

       nvcc --version

     • لـ CUDA 12.1:

       pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

     • لـ CUDA 11.8:

       pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

   • إذا لم يكن لديك وحدة معالجة الرسومات التي تدعم CUDA ، اتبع الإرشادات الموجودة على موقع Pytorch لتثبيت الإصدار المناسب من Pytorch لنظامك.

4. تثبيت الحزم المطلوبة الأخرى:

   • تثبيت التبعيات المباشرة:

     pip install -r requirements.txt

   • ترقية حزمة TTS إلى أحدث إصدار:

     pip install --upgrade TTS

بعد الانتهاء من هذه الخطوات ، يجب أن يكون الإعداد الخاص بك مكتملًا ويمكنك البدء في استخدام المشروع.

سيتم تنزيل النماذج تلقائيًا عند الاستخدام الأول.

مسارات التنزيل:

• MacOS: /Users/USR/Library/Application Support/tts/tts_models--multilingual--multi-dataset--xtts_v2
• Windows: C:Users YOUR-USER-ACCOUNT AppDataLocalttstts_models--multilingual--multi-dataset--xtts_v2
• Linux: /home/$ { /home/${USER}/.local/share/tts/tts_models--multilingual--multi-dataset--xtts_v2 share/tts/tts_models--multilingual--multi-dataset--xts_v2

الاستدلال

لتشغيل التطبيق:

 python app.py
OR
streamlit run app2.py 

أو ، يمكنك أيضًا تشغيل من المحطة نفسها ، من خلال توفير عينة من نصوص الإدخال على النصوص

 python appTerminal.py

عند الاستخدام الأولي ، ستحتاج إلى الموافقة على الشروط:

 [XTTS] Loading XTTS...
 > tts_models/multilingual/multi-dataset/xtts_v2 has been updated, clearing model cache...
 > You must agree to the terms of service to use this model.
 | > Please see the terms of service at https://coqui.ai/cpml.txt
 | > "I have read, understood and agreed to the Terms and Conditions." - [y/n]
 | | >

إذا تم إعادة تنزيل النموذج الخاص بك ، فيرجى استشارة العدد 4723 على Github.

مستهدفة مجموعة بيانات الأصوات

تتكون مجموعة البيانات من مجلد واحد يدعى targets ، تم تحريكه مسبقًا مع عدة أصوات لأغراض الاختبار.

لإضافة المزيد من الأصوات (إذا كنت لا ترغب في المرور عبر واجهة المستخدم الرسومية) ، قم بإنشاء ملف WAV 24 كيلو هرتز بحوالي 10 ثوانٍ ووضعه تحت مجلد targets . يمكنك استخدام YT-DLP لتنزيل صوت من YouTube من أجل الاستنساخ:

 yt-dlp -x --audio-format wav "https://www.youtube.com/watch?"

نموذج أمثلة صوتية:

لغة	رابط عينة الصوت
إنجليزي	▶
الروسية	▶
عربي	▶

دعم اللغة

العربية ، الصينية ، التشيكية ، الهولندية ، الإنجليزية ، الفرنسية ، الألمانية ، الهنغارية ، الإيطالية ، اليابانية (انظر الإعداد) ، الكورية ، البولندية ، البرتغالية ، الروسية ، الإسبانية ، التركية

ملحوظات

إذا كنت ترغب في تحديد اليابانية كلغة مستهدفة ، فيجب عليك تثبيت قاموس.

 # Lite version
pip install fugashi[unidic-lite]

أو لمعالجة أكثر جدية:

 # Full version
pip install fugashi[unidic]
python -m unidic download

مزيد من التفاصيل هنا.

الاعتمادات

1. تعتمد بشكل كبير على https://github.com/kanttouchthis/text_generation_webui_xtts/