audiotoken

เกี่ยวกับเสียง

Tokenize Audio เพื่อรับโทเค็นอะคูสติกและความหมาย

การติดตั้ง

pip install audiotoken

การใช้งาน

การเข้ารหัส

คุณสามารถใช้เครื่องเข้ารหัสอะคูสติกหรือความหมายเพื่อเข้ารหัสเสียงและรับโทเค็น

 from pathlib import Path
from audiotoken import AudioToken , Tokenizers
encoder = AudioToken ( tokenizer = Tokenizers . acoustic , device = 'cuda:0' )
encoded_audio = encoder . encode ( Path ( 'path/to/audio.wav' ))

มี 1 อะคูสติกและ 2 tokenizers semantic:

1. Tokenizers.acoustic
2. Tokenizers.semantic_s (เล็ก)
3. Tokenizers.semantic_m (ปานกลาง)

การถอดรหัส

คุณสามารถถอดรหัสโทเค็นอะคูสติกเช่นนี้:

 from pathlib import Path
from audiotoken import AudioToken , Tokenizers

tokenizer = AudioToken ( tokenizer = Tokenizers . acoustic , device = 'cuda:0' )
encoded_audio = tokenizer . encode ( Path ( 'path/to/audio.wav' ))
decoded_audio = tokenizer . decode ( encoded_audio )

# Save the decoded audio and compare it with the original audio
import torch
import torchaudio
torchaudio . save (
    'reconstructed.wav' ,
    decoded_audio ,
    sample_rate = 24000
)

คุณสามารถถอดรหัสโทเค็นความหมายเช่นนี้:

 from pathlib import Path
from audiotoken import AudioToken , Tokenizers

semantic_tokenizer = AudioToken ( tokenizer = Tokenizers . semantic_s , device = 'cuda:0' )
semantic_toks = semantic_tokenizer . encode ( Path ( 'path/to/audio.wav' ))
decoded_audio = semantic_tokenizer . decode ( semantic_toks )

# Save the decoded audio and compare it with the original audio
import torch
import torchaudio
torchaudio . save (
    'reconstructed.wav' ,
    decoded_audio ,
    sample_rate = 24000
)

ดูตัวอย่าง/usage.ipynb สำหรับตัวอย่างการใช้งานเพิ่มเติม

APIs

ชั้นเรียนหลัก

 from audiotoken import AudioToken , Tokenizers
tokenizer = AudioToken ( tokenizer = Tokenizers . semantic_m , device = 'cuda:0' )

ดู Audiotoken/core.py สำหรับเอกสารที่สมบูรณ์ของ API

มี 3 API ให้:

1. tokenizer.encode : เข้ารหัสไฟล์เสียง/อาร์เรย์เดียวในแต่ละครั้ง
2. tokenizer.encode_batch_files : เข้ารหัสไฟล์เสียงหลายไฟล์ในแบทช์และบันทึกลงในดิสก์โดยตรง
   1. หมายเหตุ : encode_batch_files ไม่ปลอดภัยในการรันหลายครั้งในรายการไฟล์เดียวกันเนื่องจากอาจส่งผลให้ข้อมูลไม่ถูกต้อง สิ่งนี้จะได้รับการแก้ไขในการเปิดตัวในอนาคต
3. tokenizer.decode : ถอดรหัสโทเค็นอะคูสติก/ความหมาย