CogNative

인지 적

번역 된 음성 합성

원래 목소리로 목소리를 복제하고 다른 언어로 연설하십시오.

설치

1. 파이썬 설치 :

파이썬 3.7이 권장됩니다. 이 프로젝트에서 Tensorflow 버전으로 인해 Python 3.7이 필요합니다 .

2. 가상 환경 생성 (선택 사항) :

python3 -m venv pyvenv

./pyvenv/Scripts/activate 환경 활성화 : source pyvenv/bin/activate

가상 환경 비활성화 : deactivate

참고 : 파이썬 가상 환경은 UI를 실행할 때 문제를 일으킬 수 있습니다.

3. FFMPEG를 설치하십시오.

설치되면 폴더를 추출하고 <ffmpeg folder path>/bin 경로에 추가하십시오.

4. Pytorch 설치 :

1. Pytorch 빌드 : 안정 (1.11.0).
2. OS : OS를 선택하십시오. 환경이 인식을 실행 중입니다 (Windows 또는 Linux 권장).
3. 패키지 : 사용중인 패키지 설치 프로그램 (PIP 권장)을 선택하십시오.
4. 언어 : 파이썬.
5. 컴퓨팅 플랫폼 : CUDA 11.3 권장. GPU Pick CPU가없는 경우.

5. 필수 파이썬 패키지 설치 :

pip3 install -r requirements.txt

6. 모델을 설치하십시오.

다운로드되면 CogNative/CogNative/models/RTVC/saved_models/default 에 모델 (*.pt)을 추가하십시오

TACO_PRETRAINE 폴더 (폴더 자체 포함)를 다운로드하여 CogNative/CogNative/models/RTVCSwedish/synthesizer/saved_models/swedish 에 추가해야합니다.

7. Google 클라우드 자격 증명 만들기 :

1. Google 클라우드 자격 증명을 설정하려면 단계를 수행하십시오.
2. 최상위 디렉토리의 credentials.json 에 Google 자격 증명을 추가하십시오. 현재 credentials.json.template 이라는 파일이 있으며 credentials.json 은 표시된 키/값 쌍과 일치해야합니다.

용법

인지 뿌리 디렉토리에서 시작하십시오.

구이

GUI를 시작하려면 python -m CogNative.testUI.UI 실행하십시오

클리

지정되지 않은 필요한 플래그는 프롬프트가 생성되어 계속되기 전에 답변해야합니다. 예를 따릅니다.

1. 디스플레이 도움말 메시지 : python -m CogNative.main -help

 CogNative CLI FLags:
    -sampleAudio <PATH>: audio file of voice to clone
    -synType <text, audio>: synthesis mode either given input text or by transcribing audio file
    [-dialogueAudio] <PATH>: for audio synType, audio file of dialogue to speak
    [-dialogueText] <PATH>: for text synType, text string of dialogue to speak
    -out <PATH>: output audio file path
    -useExistingEmbed <y/yes/n/no>: Uses saved embedding of previously used voice samples if enabled and present.

2. 샘플 음성 및 텍스트 입력에서 복제 된 음성을 생성 : python -m CogNative.main -sampleAudio CogNative/examples/MatthewM66.wav -synType text -dialogueText "The turbo-encabulator has now reached a high level of development, and it's being successfully used in the operation of novertrunnions." -out cmdExampleText.wav -useExistingEmbed y

 Loaded encoder "english_encoder.pt" trained to step 1564501
Synthesizer using device: cuda
Building Wave-RNN
Trainable Parameters: 4.481M
Loading model weights at CogNativemodelsRTVCsaved_modelsdefaultvocoder.pt
Synthesizing...
Clone output to cmdExampleText.wav

3. 샘플 음성 및 오디오 입력 파일에서 복제 된 음성 생성 : python -m CogNative.main -sampleAudio CogNativeexamplesMatthewM66.wav -synType audio -dialogueAudio CogNativeexamplesBillMaher22.wav -out cmdExampleAudio.wav -useExistingEmbed n

 Loaded encoder "english_encoder.pt" trained to step 1564501
Synthesizer using device: cuda
Building Wave-RNN
Trainable Parameters: 4.481M
Loading model weights at CogNativemodelsRTVCsaved_modelsdefaultvocoder.pt
Loading requested file...
Synthesizing...
Clone output to cmdExampleAudio.wav

자가 변환 스크립트

이 스크립트는 오디오를 지원되는 언어에서 영어로 변환합니다. Windows에서 자동 변환 스크립트를 사용하려면 오디오 파일을 스크립트에 끌어다 놓거나 스크립트에 바로 가기를 %AppData%MicrosoftWindowsSendTo 의 스크립트에 놓고 오디오 파일의 "Context Menu 함수를 사용하여 번역 할 오디오 파일을 사용하십시오. 두 경우 모두 Orginal Filename과 "_ + 대상 언어"가 포함 된 새로운 .wav 파일이 동일한 폴더에 배치됩니다. 다른 플랫폼의 경우 동일한 CLI 플래그를 사용해야하지만 컨텍스트 메뉴 통합에 대한 세부 사항은 설치된 패키지에 따라 다릅니다.

프로젝트에 기여합니다

• 나만의 지점 git branch yourname-feature-name 만듭니다
• 지점에 대한 좋은 설명으로 요청을 당기십시오
• 풀 요청이 해결되는 문제를 포함하십시오
• 항상 스쿼시와 병합.

파이썬 스타일 가이드

이 스타일 가이드는 프로젝트 전체에서 모든 스타일이 일치하는지 확인하는 데 중요합니다. 코드를 스타일링하려면 Black Python 스타일러를 사용하십시오.

단일 파일 : black <python-file-name> 모든 파일 : black .

실시간 음성 클로닝에 대한 크레딧

이 Github 리포지토리는 음성 복제 모듈의 기초 역할을합니다.

실시간 음성 클로닝

여기에서 라이센스를 참조하십시오.

스웨덴어를 실시간으로 클론하는 것에 대한 크레딧

이 Github 저장소는 스웨덴 신시사이저를 훈련 시켰습니다.

스웨덴어 실시간 보이스 클로닝

팀원

• 앤드류 페넬
• 오스틴 커링턴
• Xingjian Hao
• 코너 티스 델
• 야곱 스미스
• aref sadeghi