fastVC

FASTVC

개요

FASTVC는 빠르고 효율적이며 비 평행 및 모든 대변인 및 VC (Voice Converion) 도구입니다. VC는 소스 스피커의 음성을 수정하여 문장의 언어 내용을 변경하지 않고 대상 스피커의 소리처럼 들립니다. 당사의 도구는 자동 음성 인식 (ASR) 모델과 TTS (Text to Speech) 모델을 계단식으로하여 작업을 이용합니다.

ASR은 WAV2VEC 2.0을 기반으로하며 소스 스피커에서 연설을 전사하는 데 사용됩니다. TTS는 SV2TTS를 기반으로하며 대상 스피커 임베딩으로부터 출력 음성을 생성하는 데 사용됩니다.

보다 자세한 설명은 프로젝트의 논문을 확인하십시오. 데모 페이지는 여기에서 제공됩니다.

설치 및 사용

이 소프트웨어는 python 3.9.4 사용하여 구현되었습니다

1. 저장소 ( git clone https://github.com/fmiotello/fastVC.git )를 복제하고 디렉토리 ( cd fastVC )를 입력하십시오.
2. ( 선택 사항 ) 가상 env 생성 및 활성화 : python -m venv env 및 source env/bin/activate (MacOS/Linux를 사용하는 경우) 또는 .envScriptsactivate (Windows를 사용하는 경우)
3. 업그레이드 파이프 : python -m pip install --upgrade pip
4. 설치 종속성 : python -m pip install -r requirements.txt
5. 사전에 사기꾼 모델 (인코더, 신시사이저, 보코더)을 다운로드하여 올바른 디렉토리에 넣습니다.

 ./src/encoder/saved_models/pretrained.pt
./src/synthesizer/saved_models/pretrained/pretrained.pt
./src/vocoder/saved_models/pretrained/pretrained.pt

6. 메인 스크립트를 실행하십시오 : python src/main.py (사용 가능한 옵션을 표시하려면 --help 사용). 출력 오디오는 ./src/audio/audio_out.wav 입니다.

더 많은 지침은 여기에서 찾을 수 있습니다.

메모

이 응용 프로그램은 Politecnico di Milano (음악 및 음향 공학의 MSC)의 프로젝트로 개발되었습니다.

루이지 변호사
Federico Miotello
Eugenio Poliuti