xtts2 ui

XTTS-2-UI: пользовательский интерфейс для текстового клонирования на основе текста XTTS-2

Этот репозиторий содержит основной код для клонирования любого голоса, используя только текст и 10-секундную аудиобрацию целевого голоса. XTTS-2-UI прост в настройке и использовании. Пример результатов?

Работает на 16 языках и имеет встроенную голосовую запись/загрузку. Примечание: не ожидайте качества EL, его еще нет.

Модель

Используемая модель- tts_models/multilingual/multi-dataset/xtts_v2 . Для получения более подробной информации обратитесь к обнимающему лицу-XTTS-V2 и его конкретной версии XTTS-V2 версии 2.0.2.

Оглавление

• XTTS-2-UI: пользовательский интерфейс для текстового клонирования на основе текста XTTS-2
  • Модель
  • Оглавление
  • Настраивать
  • Вывод
  • Набор данных целевого голоса
  • Примеры примеров аудио:
  • Языковая поддержка
  • Примечания
  • Кредиты

Настраивать

Чтобы настроить этот проект, следуйте этим шагам в терминале:

1. Клонировать репозиторий

   • Клонировать репозиторий на местную машину.

     git clone https://github.com/pbanuru/xtts2-ui.git
     cd xtts2-ui

2. Создайте виртуальную среду:

   • Запустите следующую команду для создания виртуальной среды Python:

     python -m venv venv

   • Активировать виртуальную среду:

     • Windows:

        # cmd prompt
       venv S cripts a ctivate

       или

        # git bash
       source venv/Scripts/activate

     • Linux/Mac:

        source venv/bin/activate

3. Установите Pytorch:

   • Если у вас есть GPU с поддержкой CUDA, выберите соответствующую команду установки Pytorch:
     • Перед установкой Pytorch проверьте версию CUDA, работая:

       nvcc --version

     • Для CUDA 12.1:

       pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

     • Для CUDA 11.8:

       pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

   • Если у вас нет GPU с поддержкой CUDA,: следуйте инструкциям на веб-сайте Pytorch, чтобы установить соответствующую версию Pytorch для вашей системы.

4. Установите другие необходимые пакеты:

   • Установить прямые зависимости:

     pip install -r requirements.txt

   • Обновите пакет TTS до последней версии:

     pip install --upgrade TTS

После завершения этих шагов ваша настройка должна быть завершена, и вы можете начать использовать проект.

Модели будут загружены автоматически при первом использовании.

Скачать пути:

• MacOS: /Users/USR/Library/Application Support/tts/tts_models--multilingual--multi-dataset--xtts_v2
• Windows: C:Users YOUR-USER-ACCOUNT AppDataLocalttstts_models--multilingual--multi-dataset--xtts_v2
• Linux: /home/${USER}/.local/share/tts/tts_models--multilingual--multi-dataset--xtts_v2 home/$, useer )/.local/share/tts/tts_models-multingual ---multi-dataset-xtts_v2

Вывод

Чтобы запустить приложение:

 python app.py
OR
streamlit run app2.py 

Или вы также можете работать от самого терминала, предоставив образцы входных текстов на текстах.

 python appTerminal.py

При первоначальном использовании вам нужно будет согласиться с условиями:

 [XTTS] Loading XTTS...
 > tts_models/multilingual/multi-dataset/xtts_v2 has been updated, clearing model cache...
 > You must agree to the terms of service to use this model.
 | > Please see the terms of service at https://coqui.ai/cpml.txt
 | > "I have read, understood and agreed to the Terms and Conditions." - [y/n]
 | | >

Если ваша модель повторно загружает каждый запуск, обратитесь к выпуску 4723 на GitHub.

Набор данных целевого голоса

Набор данных состоит из одной папки с названием targets , предварительно заполненных несколькими голосами для целей тестирования.

Чтобы добавить больше голосов (если вы не хотите проходить GUI), создайте файл WAV 24 кГц приблизительно 10 секунд и поместите его под папку targets . Вы можете использовать YT-DLP для загрузки голоса с YouTube для клонирования:

 yt-dlp -x --audio-format wav "https://www.youtube.com/watch?"

Примеры примеров аудио:

Язык	Ссылка на аудио
Английский	▶ ️
Русский	▶ ️
арабский	▶ ️

Языковая поддержка

Арабский, китайский, чешский, голландский, английский, французский, немецкий, венгерский, итальянский, японский (см. Установка), корейский, польский, португальский, русский, испанский, турецкий

Примечания

Если вы хотите выбрать японский язык в качестве целевого языка, вы должны установить словарь.

 # Lite version
pip install fugashi[unidic-lite]

или для более серьезной обработки:

 # Full version
pip install fugashi[unidic]
python -m unidic download

Подробнее здесь.

Кредиты

1. В значительной степени основано на https://github.com/kanttouchthis/text_generation_webui_xtts/