xtts2 ui

XTTS-2-UI: อินเทอร์เฟซผู้ใช้สำหรับการโคลนเสียงที่ใช้ข้อความ XTTS-2

ที่เก็บนี้มีรหัสสำคัญสำหรับการโคลนเสียงใด ๆ โดยใช้ข้อความเพียงแค่ข้อความและตัวอย่างเสียง 10 วินาทีของเสียงเป้าหมาย XTTS-2-UI นั้นง่ายต่อการตั้งค่าและใช้งาน ตัวอย่างผลลัพธ์?

ทำงานใน 16 ภาษาและมีการบันทึกเสียง/อัพโหลดในตัว หมายเหตุ: อย่าคาดหวังคุณภาพระดับเอลมันยังไม่มี

แบบอย่าง

โมเดลที่ใช้คือ tts_models/multilingual/multi-dataset/xtts_v2 สำหรับรายละเอียดเพิ่มเติมโปรดดูที่ Hugging Face-XTTS-V2 และเวอร์ชันเฉพาะ XTTS-V2 เวอร์ชัน 2.0.2

สารบัญ

• XTTS-2-UI: อินเทอร์เฟซผู้ใช้สำหรับการโคลนเสียงที่ใช้ข้อความ XTTS-2
  • แบบอย่าง
  • สารบัญ
  • การตั้งค่า
  • การอนุมาน
  • ชุดข้อมูล Voices Target
  • ตัวอย่างเสียงตัวอย่าง:
  • การสนับสนุนภาษา
  • หมายเหตุ
  • การให้เครดิต

การตั้งค่า

ในการตั้งค่าโครงการนี้ให้ทำตามขั้นตอนเหล่านี้ในเทอร์มินัล:

1. โคลนที่เก็บ

   • โคลนพื้นที่เก็บข้อมูลไปยังเครื่องในพื้นที่ของคุณ

     git clone https://github.com/pbanuru/xtts2-ui.git
     cd xtts2-ui

2. สร้างสภาพแวดล้อมเสมือนจริง:

   • เรียกใช้คำสั่งต่อไปนี้เพื่อสร้างสภาพแวดล้อมเสมือนจริงของ Python:

     python -m venv venv

   • เปิดใช้งานสภาพแวดล้อมเสมือนจริง:

     • Windows:

        # cmd prompt
       venv S cripts a ctivate

       หรือ

        # git bash
       source venv/Scripts/activate

     • Linux/Mac:

        source venv/bin/activate

3. ติดตั้ง pytorch:

   • หากคุณมี GPU ที่เปิดใช้งาน Nvidia Cuda ให้เลือกคำสั่งการติดตั้ง Pytorch ที่เหมาะสม:
     • ก่อนที่จะติดตั้ง pytorch ให้ตรวจสอบรุ่น cuda ของคุณโดยใช้งาน:

       nvcc --version

     • สำหรับ cuda 12.1:

       pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

     • สำหรับ Cuda 11.8:

       pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

   • หากคุณไม่มี GPU ที่เปิดใช้งาน CUDA: ทำตามคำแนะนำในเว็บไซต์ Pytorch เพื่อติดตั้ง pytorch เวอร์ชันที่เหมาะสมสำหรับระบบของคุณ

4. ติดตั้งแพ็คเกจอื่น ๆ ที่จำเป็น:

   • ติดตั้งการพึ่งพาโดยตรง:

     pip install -r requirements.txt

   • อัพเกรดแพ็คเกจ TTS เป็นเวอร์ชันล่าสุด:

     pip install --upgrade TTS

หลังจากทำตามขั้นตอนเหล่านี้เสร็จสิ้นการตั้งค่าของคุณควรจะเสร็จสมบูรณ์และคุณสามารถเริ่มใช้โครงการได้

รุ่นจะถูกดาวน์โหลดโดยอัตโนมัติเมื่อใช้งานครั้งแรก

ดาวน์โหลดเส้นทาง:

• MacOS: /Users/USR/Library/Application Support/tts/tts_models--multilingual--multi-dataset--xtts_v2
• Windows: C:Users YOUR-USER-ACCOUNT AppDataLocalttstts_models--multilingual--multi-dataset--xtts_v2
• linux: /home/$ {user}/. /home/${USER}/.local/share/tts/tts_models--multilingual--multi-dataset--xtts_v2 /share/tts/tts_models-ภาษาหลายภาษา ----multi-dataset-xtts_v2

การอนุมาน

เพื่อเรียกใช้แอปพลิเคชัน:

 python app.py
OR
streamlit run app2.py 

หรือคุณสามารถเรียกใช้จากเทอร์มินัลเองโดยการจัดทำข้อความอินพุตตัวอย่างบนข้อความ json และสร้างเสียงหลายตัวด้วยลำโพงหลายตัว (คุณอาจต้องปรับ appterminal.py)

 python appTerminal.py

ในการใช้งานครั้งแรกคุณจะต้องยอมรับข้อกำหนด:

 [XTTS] Loading XTTS...
 > tts_models/multilingual/multi-dataset/xtts_v2 has been updated, clearing model cache...
 > You must agree to the terms of service to use this model.
 | > Please see the terms of service at https://coqui.ai/cpml.txt
 | > "I have read, understood and agreed to the Terms and Conditions." - [y/n]
 | | >

หากโมเดลของคุณกำลังโหลดซ้ำการทำงานแต่ละครั้งโปรดปรึกษาปัญหา 4723 บน GitHub

ชุดข้อมูล Voices Target

ชุดข้อมูลประกอบด้วยโฟลเดอร์เดียวชื่อ targets ซึ่งเติมเต็มด้วยเสียงหลายเสียงเพื่อการทดสอบ

หากต้องการเพิ่มเสียงเพิ่มเติม (หากคุณไม่ต้องการผ่าน GUI) ให้สร้างไฟล์ WAV 24KHz WAV ประมาณ 10 วินาทีและวางไว้ใต้โฟลเดอร์ targets คุณสามารถใช้ YT-DLP เพื่อดาวน์โหลดเสียงจาก YouTube สำหรับการโคลนนิ่ง:

 yt-dlp -x --audio-format wav "https://www.youtube.com/watch?"

ตัวอย่างเสียงตัวอย่าง:

ภาษา	ลิงค์ตัวอย่างเสียง
ภาษาอังกฤษ
ชาวรัสเซีย
ภาษาอาหรับ

การสนับสนุนภาษา

ภาษาอาหรับ, จีน, เช็ก, ดัตช์, อังกฤษ, ฝรั่งเศส, เยอรมัน, ฮังการี, อิตาลี, ญี่ปุ่น (ดูการตั้งค่า), เกาหลี, โปแลนด์, โปรตุเกส, รัสเซีย, สเปน, ตุรกี, ตุรกี

หมายเหตุ

หากคุณต้องการเลือก ภาษาญี่ปุ่น เป็นภาษาเป้าหมายคุณต้องติดตั้งพจนานุกรม

 # Lite version
pip install fugashi[unidic-lite]

หรือสำหรับการประมวลผลที่จริงจังมากขึ้น:

 # Full version
pip install fugashi[unidic]
python -m unidic download

รายละเอียดเพิ่มเติมที่นี่

การให้เครดิต

1. ขึ้นอยู่กับ https://github.com/kanttouchthis/text_generation_webui_xtts/