audiotoken

Audiotoken

Tokenize Audio, um akustische und semantische Token zu erhalten.

Installation

pip install audiotoken

Verwendung

Codierung

Sie können entweder einen akustischen oder semantischen Encoder verwenden, um Audio zu codieren und Token zu erhalten.

 from pathlib import Path
from audiotoken import AudioToken , Tokenizers
encoder = AudioToken ( tokenizer = Tokenizers . acoustic , device = 'cuda:0' )
encoded_audio = encoder . encode ( Path ( 'path/to/audio.wav' ))

Es gibt 1 akustische und 2 semantische Tokenizer:

1. Tokenizers.acoustic
2. Tokenizers.semantic_s (klein)
3. Tokenizers.semantic_m (Medium)

Dekodierung

Sie können akustische Token wie folgt dekodieren:

 from pathlib import Path
from audiotoken import AudioToken , Tokenizers

tokenizer = AudioToken ( tokenizer = Tokenizers . acoustic , device = 'cuda:0' )
encoded_audio = tokenizer . encode ( Path ( 'path/to/audio.wav' ))
decoded_audio = tokenizer . decode ( encoded_audio )

# Save the decoded audio and compare it with the original audio
import torch
import torchaudio
torchaudio . save (
    'reconstructed.wav' ,
    decoded_audio ,
    sample_rate = 24000
)

Sie können semantische Token wie folgt dekodieren:

 from pathlib import Path
from audiotoken import AudioToken , Tokenizers

semantic_tokenizer = AudioToken ( tokenizer = Tokenizers . semantic_s , device = 'cuda:0' )
semantic_toks = semantic_tokenizer . encode ( Path ( 'path/to/audio.wav' ))
decoded_audio = semantic_tokenizer . decode ( semantic_toks )

# Save the decoded audio and compare it with the original audio
import torch
import torchaudio
torchaudio . save (
    'reconstructed.wav' ,
    decoded_audio ,
    sample_rate = 24000
)

Weitere Verwendungsbeispiele finden Sie unter Beispiele/useage.ipynb.

Apis

Kernklasse

 from audiotoken import AudioToken , Tokenizers
tokenizer = AudioToken ( tokenizer = Tokenizers . semantic_m , device = 'cuda:0' )

In der vollständigen Dokumentation von APIs finden Sie die APIS -Dokumentation.

Es sind 3 APIs zur Verfügung gestellt:

1. tokenizer.encode : codieren einzelne Audiodateien/Arrays gleichzeitig
2. tokenizer.encode_batch_files : codieren mehrere Audio -Dateien in Stapeln und speichern Sie sie direkt auf Festplatten
   1. HINWEIS : encode_batch_files ist nicht sicher auf derselben Liste von Dateien auszuführen, da dies zu falschen Daten führen kann. Dies wird in einer zukünftigen Veröffentlichung festgelegt.
3. tokenizer.decode : dekodieren akustische/semantische Token