sub to audioダウンロードsub to audioソースコードダウンロード

オーディオに字幕

オーディオの字幕、コキアイTTSを使用して任意のサブタイトルファイルからオーディオ/スピーチを生成し、サブタイトル時間に応じてオーディオタイミングを同期します。

デモ：

依存関係

ffmpeg、pydub、librosa、coqui-ai tts、ffmpeg-python

インストール

pip install TTS
pip install git+https://github.com/bnsantoso/sub-to-audio

pip install TTS
pip install subtoaudio

Linuxのffmpeg

apt-get install ffmpeg

使用の例

基本的な使用は、TTSと非常に似ています。ドキュメントと<lang-iso_code>を確認できます。

！注：最適な結果を得るには、1秒あたり最適な文字 / CPSを備えた非重複サブタイトルを使用してください

！注：aegisubのようなソフトウェアを使用して、サブタイトルを編集します

 from subtoaudio import SubToAudio

# list all model
SubToAudio (). coqui_model ()

# get model index
model = SubToAudio (). coqui_model ()[ 1 ]

# The code will output 'yoursubtitle.wav' in the current directory.
sub = SubToAudio ( model_name = model )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle )

# you can choose 1100 different language using fairseq model
sub = SubToAudio ( fairseq_language = '<lang-iso_code>' )
subtitle = sub . subtitle ( "yoursubtitle.ass" )
sub . convert_to_audio ( sub_data = subtitle ) 

# specify model name
sub = SubToAudio ( model_name = "tts_models/multilingual/multi-dataset/your_tts" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle , output_path = "subtitle.wav" )

# specify model and config path
sub = SubToAudio ( model_path = "path/to/your/model.pth" config_path = "config/path.json" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle )

# speaker=tts.speakers[0] or None if model doesnt have multiple speakers
# language=tts.languages[0] or None if doesnt have multiple languages

# list speaker
sub . speakers ()
speaker1 = sub . speakers ()[ 1 ]

# list languages
sub . languages ()
langu = sub . languages ()[ 0 ]

sub = SubToAudio ( model_name = "tts_models/multilingual/multi-dataset/your_tts" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle , language = langu , speaker = speaker1 , output_path = "subtitle.wav" )

# Save temporary audio to current folder
sub = SubToAudio ( model_name = "tts_models/multilingual/multi-dataset/your_tts" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle , output_path = "subtitle.wav" , save_temp = True )

音声変換

音声変換方法を使用するには、 self.convert_to_audioのvoice_conversion:bool and speaker_wav:str paramaterを渡す必要があります。モデルに複数のスピーカーがある場合、音声変換は実行できません。

 from subtoaudio import SubToAudio

sub = SubToAudio ( fairseq_language = "eng" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle , voice_conversion = True , speaker_wav = "voice.wav" , language = "en" )

Coqui Studio API

Coqui Studio APIを使用するには、coqui_studio_token環境変数を構成する必要があります。

 import os

os . environ [ 'COQUI_STUDIO_TOKEN' ] = # yourapi

トークンセットの後、Coqui Studioモデルを入手できます。この名前に従うことができますcoqui_studio/en/<studio_speaker_name>/coqui_studio

 from subtoaudio import SubToAudio

sub = SubToAudio ( model_name = "coqui_studio/en/Torcull Diarmuid/coqui_studio" , progress_bar = False )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle , output_path = "subtitle.wav" , save_temp = True )

# use emotion paramater and speed paramater
sub . convert_to_audio ( sub_data = subtitle , output_path = "subtitle.wav" , emotion = "Happy" , speed = 1.5 )

テンポモード

tempo_modeパラメーターを使用して、オーディオを高速化します。 3つのテンポモードがあります。

tempo_mode="all" ：これはすべてのオーディオを加速します。 tempo_speed=floatを使用して速度を指定します。
tempo_mode="overflow" ：これにより、オーディオが総字幕付き期間と次のサブタイトルが表示される前の空白時間に一致するように加速します。 'tempo_limit'オーバーフロー中の速度の上昇を制限します。
tempo_mode="precise" ：これにより、サブタイトルが表示される期間に合わせてオーディオが加速します。 "

 from subtoaudio import SubToAudio

# Speed up tempo or speech rate
sub = SubToAudio ( model_name = "tts_models/de/thorsten/tacotron2-DDC" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle , tempo_mode = "all" , tempo_speed = 1.3 )

# Change the tempo or speech rate of all audio files , default is 1.2
sub = SubToAudio ( "tts_models/multilingual/multi-dataset/xtts_v1" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle , tempo_mode = "all" , tempo_speed = 1.3 )

# Change tempo or speech rate to audio that doesn't match the subtitle duration
sub = SubToAudio ( fairseq_language = "ind" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle , tempo_mode = "overflow" )

# Limit tempo speed on the overflow mode 
sub = SubToAudio ( fairseq_language = "ind" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle , tempo_mode = "overflow" , tempo_limit = 1.2 )

# Match audio length to subtitle duration
sub = SubToAudio ( fairseq_language = "ind" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle , tempo_mode = "precise" )

シフトモード

shift_modeパラメーターは、サブタイトルの期間に一致しないオーディオをシフトします。

shift_mode="right" ：オーディオ時間を右にシフトし、オーディオの重複を防ぎます。
shift_mode="left" ：オーディオを左にシフトし、オーディオオーバーラップを防ぎますが、オーディオが消える可能性があるため、左側の限られたスペースに注意してください。
shift_mode="interpose" ：オーディオをミッド位置にシフトし、オーディオの重複の右と左を防ぎます。（注：このモードは不格好なので、慎重に使用してください。）
shift_mode="left-overlap" ：オーディオ時間を左にシフトし、オーバーラップを可能にします。
shift_mode="interpose-overlap" ：オーディオをミッド位置にシフトし、オーバーラップを可能にします。
shift_limit=int or "str" ：オーディオシフトを制限し、整数をミリ秒または2.5s秒のように2番目の文字列に使用します

 from subtoaudio import SubToAudio

# shift mode with limit of 2 second to the right.

sub = SubToAudio ( fairseq_language = "vie" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = sub , tempo_mode = "overflow" , shift_mode = "right" , limit_shift = "2s" )

# shift audio to left position or, time before next subtitle appear

sub = SubToAudio ( fairseq_language = "fra" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = sub , shift_mode = "left-overlap" )

# shift to left, and limit shift only 1 sec.
sub = SubToAudio ( fairseq_language = "ind" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = sub , shift_mode = "left" , shift_limit = 1000 ) # 1000 = 1s

樹皮とカメの例

 from subtoaudio import SubToAudio

#  Random Speaker will give you weird result when using bark model with SubToAudio

# Bark random
sub = SubToAudio ( "tts_models/multilingual/multi-dataset/bark" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle , tempo_mode = "overflow" )

# Tortoise random
sub = SubToAudio ( "tts_models/en/multi-dataset/tortoise-v2" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle , shift_mode = "overflow" , preset = "fast" )

#  To use voice clone you need voice_dir and speaker paramater
#  Voice Clone expecting .wav or .npz file inside folder speaker_1
#  voice/speaker_1/hana.wav or voice/speaker_1/hana.npz
#  if your speaker folder only have .wav file, it will generate .npz file after you runing it.

sub = SubToAudio ( "tts_models/multilingual/multi-dataset/bark" )
subtitle = sub . subtitle ( "yoursubtitle.srt" )
sub . convert_to_audio ( sub_data = subtitle , tempo_mode = "overflow" , voice_dir = "voice/" , speaker = "speaker_1" )

# same with bark, the folder structure like this 'voice/speaker2/ron.wav'
sub = SubToAudio ( "tts_models/en/multi-dataset/tortoise-v2" )
subtitle = sub . subtitle ( "yoursubtitle.ass" )
sub . convert_to_audio ( sub_data = subtitle , tempo_mode = "overflow" , voice_dir = "voice/" , speaker = "speaker2" )