fastVC

fastvc

概要

FASTVCは、高速で効率的で、パラレルではない、任意の音声変換（VC）ツールです。 VCは、ソーススピーカーの音声の変更を伴い、文の言語内容を変更せずに、ターゲットスピーカーの音声のように聞こえます。当社のツールは、自動音声認識（ASR）モデルとテキストからスピーチ（TTS）モデルをカスケードすることにより、タスクを活用します。

ASRはWAV2VEC 2.0に基づいており、ソーススピーカーからの音声を転写するために使用されます。 TTSはSV2TTSに基づいており、ターゲットスピーカーの埋め込みから出力音声を生成するために使用されます。

より詳細な説明については、プロジェクトの論文をご覧ください。デモページはこちらから入手できます。

インストールと使用

ソフトウェアは、 python 3.9.4を使用して実装されました

1. リポジトリ（ git clone https://github.com/fmiotello/fastVC.git ）をクローンし、ディレクトリ（ cd fastVC ）を入力します
2. （オプション）仮想envを作成してアクティブ化： python -m venv envおよびsource env/bin/activate （macos/linuxを使用する場合）または.envScriptsactivate （Windowsを使用する場合）
3. アップグレードPIP： python -m pip install --upgrade pip
4. 依存関係のインストール： python -m pip install -r requirements.txt
5. 前提条件のモデル（エンコーダ、シンセサイザー、ボコーダー）をダウンロードし、正しいディレクトリに入れます。

 ./src/encoder/saved_models/pretrained.pt
./src/synthesizer/saved_models/pretrained/pretrained.pt
./src/vocoder/saved_models/pretrained/pretrained.pt

6. メインスクリプトを実行します： python src/main.py （使用可能なオプションを表示するために--help ）。出力オーディオは./src/audio/audio_out.wavになります。

詳細については、こちらをご覧ください。

メモ

このアプリケーションは、Politecnico di Milano（音楽および音響工学の修士課程）のプロジェクトとして開発されました。

ルイージ・アトレス
Federico Miotello
Eugenio Poliuti