fastVC

FASTVC

Обзор

FASTVC-это быстрый и эффективный, непараллельный и любой в любое время преобразования голоса (VC) . VC включает в себя изменение голоса исходного динамика, чтобы он звучал как целевой динамик, не изменяя лингвистическое содержание предложения. Наш инструмент использует задачу, каскадируя модель автоматического распознавания речи (ASR) и модель текста к речи (TTS).

ASR основан на WAV2VEC 2.0 и используется для транскрибирования речи от динамика источника. TTS основан на SV2TTS и используется для создания выходной речи от целевого динамика.

Для более подробного объяснения ознакомьтесь с документом нашего проекта. Демонстрационная страница доступна здесь.

Установка и использование

Программное обеспечение было реализовано с использованием python 3.9.4

1. Клонировать репозиторий ( git clone https://github.com/fmiotello/fastVC.git ) и введите каталог ( cd fastVC )
2. ( Необязательно ) Создайте виртуальную env и активируйте ее: python -m venv env и source env/bin/activate (если использует macos/linux) или .envScriptsactivate (если использует Windows)
3. Обновление PIP: python -m pip install --upgrade pip
4. Установить зависимости: python -m pip install -r requirements.txt
5. Загрузите предварительные модели (Encoder, Synthesizer, Vocoder) и поместите их в правильные каталоги:

 ./src/encoder/saved_models/pretrained.pt
./src/synthesizer/saved_models/pretrained/pretrained.pt
./src/vocoder/saved_models/pretrained/pretrained.pt

6. Запустите основной скрипт: python src/main.py (используйте --help для отображения доступных параметров). Выходной аудио будет ./src/audio/audio_out.wav .

Больше инструкций можно найти здесь.

Примечания

Это приложение было разработано как проект в Politecnico di Milano (MSC в области музыки и акустической инженерии).

Луиджи Атторреси
Федерико Миотелло
Евгенио Полити