audiotoken

AUDIOKOKEN

Tokenisasi audio untuk mendapatkan token akustik dan semantik.

Instalasi

pip install audiotoken

Penggunaan

Pengkodean

Anda dapat menggunakan encoder akustik atau semantik untuk menyandikan audio dan mendapatkan token.

 from pathlib import Path
from audiotoken import AudioToken , Tokenizers
encoder = AudioToken ( tokenizer = Tokenizers . acoustic , device = 'cuda:0' )
encoded_audio = encoder . encode ( Path ( 'path/to/audio.wav' ))

Ada 1 tokenizer akustik dan 2 semantik yang tersedia:

1. Tokenizers.acoustic
2. Tokenizers.semantic_s (kecil)
3. Tokenizers.semantic_m (medium)

Decoding

Anda dapat mendekode token akustik seperti ini:

 from pathlib import Path
from audiotoken import AudioToken , Tokenizers

tokenizer = AudioToken ( tokenizer = Tokenizers . acoustic , device = 'cuda:0' )
encoded_audio = tokenizer . encode ( Path ( 'path/to/audio.wav' ))
decoded_audio = tokenizer . decode ( encoded_audio )

# Save the decoded audio and compare it with the original audio
import torch
import torchaudio
torchaudio . save (
    'reconstructed.wav' ,
    decoded_audio ,
    sample_rate = 24000
)

Anda dapat mendekode token semantik seperti ini:

 from pathlib import Path
from audiotoken import AudioToken , Tokenizers

semantic_tokenizer = AudioToken ( tokenizer = Tokenizers . semantic_s , device = 'cuda:0' )
semantic_toks = semantic_tokenizer . encode ( Path ( 'path/to/audio.wav' ))
decoded_audio = semantic_tokenizer . decode ( semantic_toks )

# Save the decoded audio and compare it with the original audio
import torch
import torchaudio
torchaudio . save (
    'reconstructed.wav' ,
    decoded_audio ,
    sample_rate = 24000
)

Lihat contoh/penggunaan.ipynb untuk contoh penggunaan lebih lanjut.

Lebah

Kelas Inti

 from audiotoken import AudioToken , Tokenizers
tokenizer = AudioToken ( tokenizer = Tokenizers . semantic_m , device = 'cuda:0' )

Lihat AUDIOTOKEN/CORE.PY UNTUK DOKUMENTASI LENGKAP API.

Ada 3 API yang disediakan:

1. tokenizer.encode : mengkode file/array audio tunggal sekaligus
2. tokenizer.encode_batch_files : encode beberapa file audio dalam batch dan simpan ke disk secara langsung
   1. Catatan : encode_batch_files tidak aman untuk dijalankan beberapa kali pada daftar file yang sama karena dapat menghasilkan data yang salah. Ini akan diperbaiki di rilis mendatang.
3. tokenizer.decode : Decode Token Akustik/Semantik