XphoneBert_Vits2

Vits2 ขยายออกไปด้วย Xphonebert encoder

การให้เครดิต

• repo นี้ขึ้นอยู่กับผลงานที่ยอดเยี่ยมของ vits2 repo และ xphonebert

ข้อกำหนดเบื้องต้น

1. Python> = 3.10
2. ทดสอบใน Pytorch เวอร์ชัน 1.13.1 ด้วย Google Colab และ Lambdalabs Cloud
3. โคลนที่เก็บนี้
4. ติดตั้งข้อกำหนดของ Python โปรดดูข้อกำหนด. txt
5. ดาวน์โหลดชุดข้อมูล
   1. ดาวน์โหลดและแยกชุดข้อมูลคำพูด LJ จากนั้นเปลี่ยนชื่อหรือสร้างลิงก์ไปยังโฟลเดอร์ชุดข้อมูล: ln -s /path/to/LJSpeech-1.1/wavs DUMMY
   2. หมายเหตุ: repo นี้ไม่รองรับชุดข้อมูลหลายลำโพงการฝึกอบรม
6. ย้าย/คัดลอกไฟล์การฝึกอบรมการตรวจสอบความถูกต้องและการทดสอบของคุณไปยังไดเรกทอรี FileLists จากนั้นเรียกใช้ไฟล์ preprocess.py (คล้ายกับการเรียกใช้สำหรับชุดข้อมูล LJSpeech) ตัวอย่างเช่น:

   • โปรดดูที่ Xphonebert สำหรับข้อมูลเพิ่มเติม พวกเขาใช้ text2phonemesequence สำหรับการแปลงข้อความดิบเป็นลำดับฟอนิม

   • การเริ่มต้น text2phonemesequence สำหรับแต่ละภาษาต้องใช้รหัส ISO 639-3 ที่สอดคล้องกัน รหัสภาษาที่รองรับ ISO 639-3 มีอยู่ที่นี่

   • text2phonemesequence ใช้ลำดับการแบ่งคำเป็นอินพุต และผู้ใช้อาจทำการทำให้ข้อความเป็นมาตรฐานในลำดับการแบ่งคำก่อนที่จะป้อนเข้าสู่ text2phonemesequence

• หมายเหตุ: สำหรับภาษาต่าง ๆ เช่นภาษาจีนเกาหลีญี่ปุ่น (ภาษา CJK) และภาษาเอเชียตะวันออกเฉียงใต้บางภาษาคำไม่ได้ถูกคั่นด้วยช่องว่าง ต้องใช้โทเคนิเซอร์ภายนอกก่อนที่จะให้อาหารคำในรุ่นนี้ ในกรณีนี้เขียนสคริปต์เพื่อทำให้เป็นมาตรฐานและแบ่งส่วนข้อมูลของคุณก่อนที่จะให้อาหารไปที่ text2phonemesequence (vie_preprocess.py อยู่ในกรณีของฉัน)

   # In Case languages, words are not separated by spaces such as Vietnamese.
  python vie_preprocess.py --out_extension cleaned --filelists filelists/train.txt filelists/val.txt
  python preprocess.py --input_file filelists/train.txt.cleaned --output_file filelists/train.list --language vie-n --batch_size 64 --cuda
  python preprocess.py --input_file filelists/val.txt.cleaned --output_file filelists/val.list --language vie-n --batch_size 64 --cuda
  
  # In Case languages English.
  python preprocess.py --input_file filelists/train.txt.cleaned --output_file filelists/train.list --language eng-us --batch_size 64 --cuda
  python preprocess.py --input_file filelists/val.txt.cleaned --output_file filelists/val.list --language eng-us --batch_size 64 --cuda

7. สร้างการค้นหาการจัดตำแหน่งแบบ monotonic และเรียกใช้การประมวลผลล่วงหน้าหากคุณใช้ชุดข้อมูลของคุณเอง

 # Cython-version Monotonoic Alignment Search
cd monotonic_align
python setup.py build_ext --inplace

ตัวอย่างการฝึกอบรม

ข้อมูลเพิ่มเติมเกี่ยวกับการกำหนดค่าอ้างอิงถึง configs/config.json

 # LJ Speech
python train.py -c configs/config.json -m ljs_base