SoCodec ดาวน์โหลด - SoCodec Source Source Download

SoCodec

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

SOCODEC: ตัวแปลงสัญญาณคำพูดหลายสตรีมที่สั่งซื้อสำหรับความหมายสำหรับการสังเคราะห์ข้อความตามข้อความที่มีประสิทธิภาพ

Haohan Guo , Fenglong Xie, Kun Xie, Dongchao Yang, Dake Guo, Xixin Wu, Helen Meng

พื้นที่เก็บข้อมูลนี้มีสคริปต์การอนุมานสำหรับ SOCODEC ซึ่งเป็นตัวแปลงสัญญาณเสียงพูดที่ต่ำเป็นพิเศษซึ่งอุทิศให้กับแบบจำลองภาษาพูดที่แนะนำในกระดาษชื่อ SOCODEC: ตัวแปลงสัญญาณเสียงพูดหลายสตรีมที่มีความหมายหลายแบบ

กระดาษ
- เว็บไซต์สาธิต
⚙น้ำหนักรุ่น

ด้วย SOCODEC คุณสามารถบีบ อัดเสียง ลงในรหัสที่ไม่ต่อเนื่องที่ บิตเทรต 0.47 kbps ต่ำพิเศษ และ เฟรมสั้น 120ms สั้น
- มันสามารถใช้เป็นการแทนที่แบบดรอปอินสำหรับ encodec หรือตัวแปลงสัญญาณหลายสตรีมอื่น ๆ สำหรับแอปพลิเคชันการสร้างแบบจำลองภาษาพูด
จุดตรวจที่ปล่อยออกมารองรับ ภาษาจีน เท่านั้นตอนนี้ การฝึกอบรมของเวอร์ชันหลายภาษากำลังดำเนินการ

ข่าว

ก.ย. 2024 (v1.0):
- เราได้เปิดตัวรหัสตรวจสอบและรหัสการอนุมานของ SOCODEC

การติดตั้ง

โคลนที่เก็บและติดตั้งการพึ่งพา:

git clone https://github.com/hhguo/SoCodec
cd SoCodec
mkdir ckpts && cd ckpts
wget https://huggingface.co/TencentGameMate/chinese-hubert-large/resolve/main/chinese-hubert-large-fairseq-ckpt.pt
wget https://huggingface.co/hhguo/SoCodec/resolve/main/socodec_16384x4_120ms_16khz_chinese.safetensors
wget https://huggingface.co/hhguo/SoCodec/resolve/main/mel_vocoder_80dim_10ms_16khz.safetensors

การใช้งาน

 # For analysis-synthesis
python example.py -i ground_truth.wav -o synthesis.wav
# For speech analysis
python example.py -i ground_truth.wav -o features.pt
# For token-to-audio synthesis
python example.py -i features.pt -o synthesis.wav