Awesome ChatTTS

ภาษา อังกฤษ

Awesome-Chattts เป็นโครงการสรุปทรัพยากร Chattts ที่แนะนำอย่างเป็นทางการ

หากคุณคิดว่าโครงการนี้มีประโยชน์สำหรับคุณที่จะเข้าใจและใช้ Chattts โปรดให้รางวัลและการสนับสนุนแก่ฉัน

บันทึก

โครงการต่อไปนี้เป็นทรัพยากรชุมชน

• การแนะนำอย่างเป็นทางการ
• ประสบการณ์ที่รวดเร็ว
• สาขายอดนิยม
• คำอธิบายอินเตอร์เฟส
• การควบคุมเสียง
• การเริ่มต้นการสอน
• คำถามที่พบบ่อย
• ตรวจสอบข้อผิดพลาดอย่างรวดเร็ว

การแนะนำอย่างเป็นทางการ

Chattts .-. 001 .-. Chattts.mp4

ประสบการณ์ที่รวดเร็ว

เว็บไซต์	พิมพ์
เว็บดั้งเดิม	ประสบการณ์เว็บเวอร์ชันดั้งเดิม
Forge Web	Forge Enhanced Edition Experience
ลินเวกซ์	แพ็คเกจการติดตั้ง Python
ตัวอย่าง	ตัวอย่างเมล็ดพันธุ์
การโคลนนิ่ง	ประสบการณ์การโคลนน้ำเสียง

สาขายอดนิยม

การเพิ่มประสิทธิภาพการทำงาน

โครงการ	ดาว	ไฮไลท์
jianchang512/chattts-ui		ให้อินเทอร์เฟซ API ที่สามารถเรียกได้ในแอปพลิเคชันบุคคลที่สาม
6drf21e/chattts_colab		ให้เอาต์พุตสตรีมมิ่งรองรับการสร้างเสียงที่ยาวและการอ่านตัวอักษรส่วนหนึ่ง
lenml/chattts-forge		ให้การปรับปรุงเสียงร้องและการลดเสียงรบกวนพื้นหลังพร้อมคำสั่งเพิ่มเติมที่มีอยู่
Ccmahua/chattts- enhanced		รองรับการประมวลผลแบทช์ของไฟล์และการส่งออกไฟล์ SRT
Hkoon/Chattts-Openvoice		การโคลนเสียงด้วย openvoice

ส่วนขยายการทำงาน

โครงการ	ดาว	ไฮไลท์
6drf21e/chattts_speaker		การทำเครื่องหมายตัวละครเสียงและการประเมินความมั่นคง
aifsh/comfyui-chattts		เวอร์ชัน Comfyui ซึ่งสามารถนำมาใช้เป็นโหนดเวิร์กโฟลว์
MaterialShadow/Chattts-Manager		จัดเตรียมระบบการจัดการเสียงและอินเทอร์เฟซ WebUI

คำอธิบายอินเตอร์เฟส

การควบคุมข้อความ

• 1. ข้อความอินพุต : ข้อความที่ต้องแปลงรองรับการผสมภาษาจีนและภาษาอังกฤษผสม
• 2. ปรับแต่งข้อความ : ไม่ว่าจะใช้การประมวลผลของข้อความ
• 3. SEED TEXT : กำหนดค่าค่าเมล็ดข้อความเมล็ดที่แตกต่างกันสอดคล้องกับรูปแบบภาษาที่แตกต่างกัน
• 4.? : แบบสุ่มสร้างค่าเมล็ด
• 5. ข้อความเอาต์พุต : ข้อความที่สร้างขึ้นหลังจากการประมวลผลภาษาพูด

การควบคุมเสียง

• 6. Timbre : ค่าเมล็ดที่ตั้งไว้ล่วงหน้า
• 7. เมล็ดพันธุ์เสียง : กำหนดค่าเมล็ดโทน, เมล็ดที่แตกต่างกันสอดคล้องกับเสียงที่แตกต่างกัน
• 8.? : สุ่มสร้างค่าเมล็ดต่ำ
• 9. การฝังลำโพง : รหัสโทน, ดูการควบคุมเสียงสำหรับรายละเอียด

การควบคุมอารมณ์

• 10. อุณหภูมิ : ควบคุมความผันผวนทางอารมณ์ด้วยช่วง 0-1
• 11. TOP_P : ควบคุมความสัมพันธ์ทางอารมณ์ของเสียงด้วยช่วง 0.1-0.9
• 12. TOP_K : ควบคุมความคล้ายคลึงกันทางอารมณ์ของเสียงด้วยช่วง 1-20

การควบคุมสัมประสิทธิ์

• 13. ค่าสัมประสิทธิ์ DVAE : รหัสค่าสัมประสิทธิ์รุ่น
• 14. โหลดซ้ำ : ค่าสัมประสิทธิ์การโหลดซ้ำ

การควบคุมการเล่น

• 15. การเล่นอัตโนมัติ : ไม่ว่าจะเล่นโดยอัตโนมัติหลังจากสร้างเสียง
• 16. โหมดสตรีม : จะเปิดใช้งานการสตรีมเอาต์พุต
• 17. สร้าง : คลิกเพื่อสร้างไฟล์เสียง
• 18. เอาท์พุทเสียง : ผลการสร้างเสียง
• 19. ↓ : คลิกเพื่อดาวน์โหลดไฟล์เสียง
• 20. : คลิกเพื่อเล่นไฟล์เสียง

การควบคุมตัวอย่าง

• 21. ตัวอย่าง : คลิกเพื่อสลับการกำหนดค่าตัวอย่าง

การควบคุมเสียง

หลังจาก .pt ทดสอบจริงมีความแตกต่างอย่างมีนัยสำคัญในการสร้าง spk_emb ในแต่ละครั้งที่ค่าเมล็ดโทนที่ระบุถูกสร้างขึ้นและนำมาใช้ซ้ำ spk_emb ที่สร้างขึ้นล่วงหน้า

เมล็ดโทนถูกทำเครื่องหมายไว้ในขั้นต้นและการประเมินที่มั่นคงในโครงการ Chattts_speaker และโทนเสียงที่เหมาะสมสามารถเลือกได้อย่างรวดเร็วผ่านตัวอย่าง

webui

เมื่อใช้ใน WebUI อย่างเป็นทางการคุณสามารถคัดลอกรหัสเสียงโดยตรงและแทนที่ค่าใน 9. Speaker Embedding เพื่อให้ได้การควบคุมเสียง

งูหลาม

เมื่อใช้ในสคริปต์ Python โปรดดูรูปแบบการบีบอัดในปัญหา#07 เพื่อให้ได้การควบคุมเสียง

 spk = torch . load ( "asset/seed_1332_restored_emb.pt" , map_location = torch . device ( 'cpu' )). detach ()
spk_emb_str = compress_and_encode ( spk )

params_infer_code = ChatTTS . Chat . InferCodeParams (
    spk_emb = spk_emb_str ,  # add sampled speaker
    temperature = .0003 ,  # using custom temperature
    top_P = 0.7 ,  # top P decode
    top_K = 20 ,  # top K decode
)

การเริ่มต้นการสอน

การสอนภาษาจีน

วิดีโอ	ไฮไลท์
บราเดอร์ตองจิ Zihao	บทช่วยสอนการปรับใช้โดยละเอียดจากรายการไปยังขั้นสูง
ztfs	การสอนการปรับใช้ MAC M1
ราชา - Bao Bao	การสอนการปรับใช้ Windows

การสอนภาษาอังกฤษ

วิดีโอ	ไฮไลท์
Sam Witteveen	รู้เบื้องต้นเกี่ยวกับเวอร์ชันภาษาอังกฤษ

คำถามที่พบบ่อย

หลังจากการทำซ้ำเมื่อเร็ว ๆ นี้ปัญหาในรหัสที่เก็บต้นทางได้รับการแก้ไขโดยทั่วไปแล้ว หากคุณพบปัญหาขอแนะนำให้ตรวจสอบเอกสารคำอธิบายอย่างเป็นทางการของจีนในรายละเอียดก่อน

ไม่สามารถดาวน์โหลดโมเดลได้

โครงการดั้งเดิมจำเป็นต้องดาวน์โหลดโมเดลที่เกี่ยวข้องจาก HuggingFace เป็นทางเลือกคุณสามารถดาวน์โหลดโมเดลและการกำหนดค่าจาก ModelsCope และกำหนดค่าเส้นทางท้องถิ่น

สำคัญ

ห้องสมุดโมเดลบนหอคอยเวทมนตร์ได้รับการดูแลโดยอาสาสมัครและไม่รับประกันว่าทุกรุ่นจะทันสมัย

1. ติดตั้ง ModelsCope การพึ่งพาในเทอร์มินัล

pip install modelscope

2. แก้ไขรหัสใน webui.py

 # 在开头导入依赖，并下载模型和配置
from modelscope import snapshot_download
model_dir = snapshot_download ( 'zlj2546/ChatTTS' )

# 第 118 行修改模型路径
ret = chat . load_models ( 'custom' , custom_path = model_dir )

ไม่สามารถทำงานใน IDE

เมื่อทำงานใน IDE สคริปต์ไม่สามารถทำงานได้อย่างราบรื่นเนื่องจากเส้นทางสัมพัทธ์ของไฟล์

ขอแนะนำให้อ้างถึงคำแนะนำในการเริ่มต้นเอกสารอย่างเป็นทางการอย่างรวดเร็วและเรียกใช้โดยตรงในเทอร์มินัล

ตรวจสอบให้แน่ใจว่าคุณอยู่ในไดเรกทอรีรูทของโครงการเมื่อดำเนินการคำสั่งต่อไปนี้

1. WebUI Visual Interface

python examples/web/webui.py

2. การโต้ตอบบรรทัดคำสั่ง

เสียงที่สร้างขึ้นจะถูกบันทึกไว้ที่ ./output_audio_n.mp3

python examples/cmd/run.py " Your text 1. " " Your text 2. "

อ่านแท็กโทน

ปัญหานี้เกิดขึ้นเนื่องจากรหัสอย่างเป็นทางการไม่ครอบคลุมตลอดเวลาเมื่อต้องรับมือกับเครื่องหมายวรรคตอนจีนเช่น ？ สัญลักษณ์เช่น … ไม่ได้ประมวลผลส่งผลให้เกิดข้อผิดพลาดระหว่างการสร้างแบบจำลอง

คุณสามารถลบเครื่องหมายวรรคตอนภาษาจีนที่คล้ายกันหรือแก้ไขรหัสใน ChatTTS/utils/infer_utils.py เพื่อเพิ่มเครื่องหมายเครื่องหมายวรรคตอนที่หายไปในพจนานุกรมของ character_map บนบรรทัด 103

 character_map = {
    '…' : '' ,
    '—' : ',' ,
    '＿' : ',' ,
    '？' : ',' ,
    }

GPU ไม่พร้อมใช้งาน

GPU ต้องการหน่วยความจำวิดีโออย่างน้อย 4G มิฉะนั้น CPU จะถูกใช้สำหรับปัญหาที่เกี่ยวข้องโปรดดูคำแนะนำในโครงการ Chattts-UI

ตรวจสอบข้อผิดพลาดอย่างรวดเร็ว

1. load_models() got an unexpected keyword argument 'source'

ดู ที่คำถามที่พบบ่อยสำหรับรายละเอียด - ไม่สามารถดาวน์โหลดรุ่นได้

2. cannot import name 'CommitOperationAdd' from 'huggingface_hub'

ดู ที่คำถามที่พบบ่อยสำหรับรายละเอียด - ไม่สามารถดาวน์โหลดรุ่นได้

3. FileNotFoundError：［Erzno 2］ No such file or directory： 'C：\Users\xxx\.cache\huggingface\hub\models--2Noise--ChatTTS\snapshots

ดู ที่คำถามที่พบบ่อยสำหรับรายละเอียด - ไม่สามารถดาวน์โหลดรุ่นได้

4. local variable 'Normalizer' referenced before assignment

คุณต้องติดตั้ง pynini และ WeTextProcessing การพึ่งพาหลังจาก เสร็จสิ้น การกำหนดค่าสภาพแวดล้อม

conda install -c conda-forge pynini=2.1.5 && pip install WeTextProcessing

5. download to Local path D：pythonlprojectChatTTSChatTTS failed.

ดำเนินการสคริปต์โดยตรงใน IDE และจะมี การ รายงานข้อผิดพลาดเนื่องจากปัญหาเส้นทางไฟล์

6. ModuleNotFoundError : No module named'Cython'

ไม่พบเส้นทางการดำเนินการของ Python อุปกรณ์ Windows จำเป็นต้องกำหนดค่าเส้นทางสภาพแวดล้อมตามการสอน

แนวโน้มโครงการ