xtts2 ui

XTTS-2-UI：XTTS-2テキストベースの音声クローニングのユーザーインターフェイス

このリポジトリには、テキストのみとターゲット音声の10秒のオーディオサンプルを使用して音声をクローニングするための重要なコードが含まれています。 XTTS-2-UIは、セットアップと使用が簡単です。例の例？

16の言語で動作し、本録音/アップロードが組み込まれています。注：ELレベルの品質を期待しないでください。まだありません。

モデル

使用されるモデルはtts_models/multilingual/multi-dataset/xtts_v2です。詳細については、Face-XTTS-V2とその特定のバージョンXTTS-V2バージョン2.0.2を参照してください。

目次

• XTTS-2-UI：XTTS-2テキストベースの音声クローニングのユーザーインターフェイス
  • モデル
  • 目次
  • 設定
  • 推論
  • ターゲットボイスデータセット
  • サンプルオーディオの例：
  • 言語サポート
  • メモ
  • クレジット

設定

このプロジェクトをセットアップするには、次の手順に従ってください。

1. リポジトリをクローンします

   • リポジトリをローカルマシンにクローンします。

     git clone https://github.com/pbanuru/xtts2-ui.git
     cd xtts2-ui

2. 仮想環境を作成します：

   • 次のコマンドを実行して、Python仮想環境を作成します。

     python -m venv venv

   • 仮想環境を有効にします：

     • Windows：

        # cmd prompt
       venv S cripts a ctivate

       または

        # git bash
       source venv/Scripts/activate

     • Linux/Mac：

        source venv/bin/activate

3. pytorchをインストールします：

   • nvidia cuda対応GPUがある場合は、適切なpytorchインストールコマンドを選択します。
     • Pytorchをインストールする前に、実行してCUDAバージョンを確認してください。

       nvcc --version

     • CUDA 12.1の場合：

       pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

     • CUDA 11.8の場合：

       pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

   • CUDA対応GPUがない場合は、Pytorch Webサイトの指示に従って、システム用のPytorchの適切なバージョンをインストールしてください。

4. 他の必要なパッケージをインストールします：

   • 直接依存関係をインストールします：

     pip install -r requirements.txt

   • TTSパッケージを最新バージョンにアップグレードします。

     pip install --upgrade TTS

これらの手順を完了すると、セットアップが完了し、プロジェクトの使用を開始できます。

モデルは、最初の使用時に自動的にダウンロードされます。

パスのダウンロード：

• macos： /Users/USR/Library/Application Support/tts/tts_models--multilingual--multi-dataset--xtts_v2
• Windows： C:Users YOUR-USER-ACCOUNT AppDataLocalttstts_models--multilingual--multi-dataset--xtts_v2
• linux： /home/${USER}/.local/share/tts/tts_models--multilingual--multi-dataset--xtts_v2 pord {user }/.local/share/tts/tts_models - multilingual - multi-dataset--xtts_v2

推論

アプリケーションを実行するには：

 python app.py
OR
streamlit run app2.py 

または、Texts.jsonにサンプル入力テキストを提供し、複数のスピーカーを使用して複数のオーディオを生成することにより、端末自体から実行することもできます（Appterminal.pyで調整する必要がある場合があります）

 python appTerminal.py

最初の使用時には、条件に同意する必要があります。

 [XTTS] Loading XTTS...
 > tts_models/multilingual/multi-dataset/xtts_v2 has been updated, clearing model cache...
 > You must agree to the terms of service to use this model.
 | > Please see the terms of service at https://coqui.ai/cpml.txt
 | > "I have read, understood and agreed to the Terms and Conditions." - [y/n]
 | | >

モデルが各実行を再ダウンロードしている場合は、GitHubで問題4723を参照してください。

ターゲットボイスデータセット

データセットは、 targetsという名前の単一のフォルダーで構成され、テストのためにいくつかの声が事前に入力されています。

より多くの声を追加するには（GUIを通過したくない場合）、約10秒の24kHz WAVファイルを作成し、 targetsフォルダーの下に置きます。 YT-DLPを使用して、YouTubeから音声をダウンロードしてクローニングできます。

 yt-dlp -x --audio-format wav "https://www.youtube.com/watch?"

サンプルオーディオの例：

言語	オーディオサンプルリンク
英語	▶️
ロシア	▶️
アラビア語	▶️

言語サポート

アラビア語、中国語、チェコ語、オランダ語、英語、フランス語、ドイツ語、ハンガリー語、イタリア語、日本語（セットアップを参照）、韓国語、ポーランド語、ポルトガル語、ロシア語、スペイン語、トルコ語

メモ

日本語をターゲット言語として選択したい場合は、辞書をインストールする必要があります。

 # Lite version
pip install fugashi[unidic-lite]

またはより深刻な処理のために：

 # Full version
pip install fugashi[unidic]
python -m unidic download

詳細はこちらです。

クレジット

1. https://github.com/kanttouchthis/text_generation_webui_xtts/に大きく基づいています