zerovox
1.0.0
Zerovoxは、リアルタイムおよび組み込み使用用に構築されたテキスト対スピーチ（TTS）システムです。
Zerovoxは完全にオフラインで実行され、プライバシーとクラウドサービスからの独立を確保しています。それは完全に無料でオープンソースであり、コミュニティの貢献と提案を招待しています。
fastspeech2をモデルにしたZerovoxは、効果的なスピーカーの埋め込みのためにグローバルスタイルのトークン（GST）とスピーカーの条件層正規化（SCLN）を利用して、ゼロショットスピーカーのクローニングでさらに一歩進んでいます。このシステムは、広範なデータセットでトレーニングされた単一のモデルからの英語とドイツの両方の音声生成をサポートしています。 Zerovoxは音素ベースであり、発音辞書を活用して正確な単語の明確化を確保し、英語用のCMU辞書と、使用された音素セットが由来するZamiaspeechプロジェクトのドイツ語のカスタム辞書を利用しています。
Zerovoxは、LLMSのTTSバックエンドとして機能し、リアルタイムのインタラクションを可能にし、ホームアシスタントなどのホームオートメーションシステム用の簡単にインストールできるTTSシステムとして機能します。 FastSpeech2のように非自動性があるため、その出力は一般に簡単に制御でき、予測可能です。
ライセンス：Zerovoxは、MITライセンスの下で他のプロジェクト（以下のクレジットセクションを参照）から活用された多くの部品でライセンスされています。
注：モデルはまだアルファステージにあり、まだトレーニングしています。
https://huggingface.co/spaces/gooofy/zerovox-demo
現在のZerovoxトレーニングコーパス統計：
german audio corpus: 16679 speakers, 475.3 hours audio
english audio corpus: 19899 speakers, 358.7 hours audio
（1/5）コーパスヤムルを準備：
pushd configs/corpora/cv_de_100
./gen_cv.sh
popd
（2/5）調整を準備します：
utils/prepare_align.py configs/corpora/cv_de_100
（3/5）OOVS：
utils/oovtool.py -a -m zerovox-g2p-autoreg-zamia-de configs/corpora/cv_de_100
（4/5）Align：
utils/align.py --kaldi-model=tts_de_kaldi_zamia_4 configs/corpora/cv_de_100
（5/5）プリプロセス：
utils/preprocess.py configs/corpora/cv_de_100
utils/train_tts.py
--head=2 --reduction=1 --expansion=2 --kernel-size=5 --n-blocks=3 --block-depth=3
--accelerator=gpu --threads=24 --batch-size=32 --val_epochs=8
--infer-device=cpu
--lr=0.0001 --warmup_epochs=25
--hifigan-checkpoint=VCTK_V2
--out-folder=models/tts_de_zerovox_base_1
configs/corpora/cv_de_100
configs/corpora/de_hui/de_hui_*.yaml
configs/corpora/de_thorsten.yaml
utils/train_kaldi.py --model-name=tts_de_kaldi_zamia_4 --num-jobs=12 configs/corpora/cv_de_100
トレーニングを実行する：
scripts/train_g2p_de_autoreg.sh
もともとRowel AtienzaのEfficientspeechに基づいていました
https://github.com/roatienza/efficientspeech
@inproceedings{atienza2023efficientspeech,
title={EfficientSpeech: An On-Device Text to Speech Model},
author={Atienza, Rowel},
booktitle={ICASSP 2023-2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
pages={1--5},
year={2023},
organization={IEEE}
}
FastSpeech2エンコーダーとデコーダーは、Chung-Ming ChienのFastSpeech2の実装から（MITライセンスの下）（MITライセンスの下）
https://github.com/ming024/fastspeech2
@misc{ren2022fastspeech2fasthighquality,
title={FastSpeech 2: Fast and High-Quality End-to-End Text to Speech},
author={Yi Ren and Chenxu Hu and Xu Tan and Tao Qin and Sheng Zhao and Zhou Zhao and Tie-Yan Liu},
year={2022},
eprint={2006.04558},
archivePrefix={arXiv},
primaryClass={eess.AS},
url={https://arxiv.org/abs/2006.04558},
}
Mel Decoderの実装は、HayashiのTomokiのParallelwaveganプロジェクトから（MITライセンスの下で）借用されています。
https://github.com/kan-bayashi/parallelwavegan g2pトランスモデルは、Axel Springer News＆Tech Gmbh＆Co。によるDeepphonemizerに基づいています。
https://github.com/as-ideas/deepphonemizer
@inproceedings{Yolchuyeva_2019, series={interspeech_2019},
title={Transformer Based Grapheme-to-Phoneme Conversion},
url={http://dx.doi.org/10.21437/Interspeech.2019-1954},
DOI={10.21437/interspeech.2019-1954},
booktitle={Interspeech 2019},
publisher={ISCA},
author={Yolchuyeva, Sevinj and Németh, Géza and Gyires-Tóth, Bálint},
year={2019},
month=sep, pages={2095–2099},
collection={interspeech_2019} }
Zeroshot ResNetベースのスピーカーエンコーディングは、CLOVA AI ResearchによってVOXCELEB_TRAINERから（MITライセンスの下で）借用されます
https://github.com/clovaai/voxceleb_trainer
@inproceedings{chung2020in,
title={In defence of metric learning for speaker recognition},
author={Chung, Joon Son and Huh, Jaesung and Mun, Seongkyu and Lee, Minjae and Heo, Hee Soo and Choe, Soyeon and Ham, Chiheon and Jung, Sunghwan and Lee, Bong-Jin and Han, Icksang},
booktitle={Proc. Interspeech},
year={2020}
}
@inproceedings{he2016deep,
title={Deep residual learning for image recognition},
author={He, Kaiming and Zhang, Xiangyu and Ren, Shaoqing and Sun, Jian},
booktitle={IEEE Conference on Computer Vision and Pattern Recognition},
pages={770--778},
year={2016}
}
Zeroshot Global Styleトークンベースのスピーカー埋め込みは、Chengqi Deng（MITライセンス）によるGST-Tacotronに基づいています
https://github.com/kinglittleq/gst-tacotron
これはの実装です
@misc{wang2018style,
title={Style Tokens: Unsupervised Style Modeling, Control and Transfer in End-to-End Speech Synthesis},
author={Yuxuan Wang and Daisy Stanton and Yu Zhang and RJ Skerry-Ryan and Eric Battenberg and Joel Shor and Ying Xiao and Fei Ren and Ye Jia and Rif A. Saurous},
year={2018},
eprint={1803.09017},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
スピーカー条件付きレイヤー正規化（SCLN）（MITライセンスの下）から（SCLN）
https://github.com/keonlee9420/Cross-Speaker-Emotion-TransferによるKeon Lee
@misc{wu2021crossspeakeremotiontransferbased,
title={Cross-speaker Emotion Transfer Based on Speaker Condition Layer Normalization and Semi-Supervised Training in Text-To-Speech},
author={Pengfei Wu and Junjie Pan and Chenchang Xu and Junhui Zhang and Lin Wu and Xiang Yin and Zejun Ma},
year={2021},
eprint={2110.04153},
archivePrefix={arXiv},
primaryClass={eess.AS},
url={https://arxiv.org/abs/2110.04153},
}
