CogNative

认知

翻译的语音综合

用另一种语言克隆语音和输出语音。

安装

1。安装python：

建议使用Python 3.7。由于该项目中使用了TensorFlow的版本，因此需要Python 3.7。

2。创建虚拟环境（可选）：

python3 -m venv pyvenv

激活虚拟环境：Windows： ./pyvenv/Scripts/activate scripts/activate macos/linux： source pyvenv/bin/activate

停用虚拟环境： deactivate

注意：运行UI时，您的Python虚拟环境可能会引起问题。

3。安装FFMPEG。

安装后，提取文件夹，然后将<ffmpeg folder path>/bin添加到路径。

4。安装pytorch：

1. Pytorch构建：稳定（1.11.0）。
2. 您的操作系统：选择OS您的环境正在运行认知（Windows或Linux推荐）。
3. 软件包：选择您使用的包装安装程序（建议使用PIP）。
4. 语言：Python。
5. 计算平台：CUDA 11.3推荐。如果您没有GPU选择CPU。

5。安装所需的Python软件包：

pip3 install -r requirements.txt

6。安装模型。

下载后，将模型（*.pt）添加到CogNative/CogNative/models/RTVC/saved_models/default

需要下载taco_pretrented文件夹（包括文件夹本身），并添加到CogNative/CogNative/models/RTVCSwedish/synthesizer/saved_models/swedish

7。创建Google Cloud凭据：

1. 按照步骤设置Google Cloud凭据。
2. 将Google凭据添加到顶级目录中的credentials.json 。当前有一个名为credentials.json.template的文件，您的credentials.json应该匹配那里显示的键/值对。

用法

从认知根目录开始。

GUI

要启动GUI，请运行python -m CogNative.testUI.UI

CLI

未指定的任何必要标志将导致生成提示，这些提示必须在继续之前回答。如下。

1. 显示帮助消息： python -m CogNative.main -help

 CogNative CLI FLags:
    -sampleAudio <PATH>: audio file of voice to clone
    -synType <text, audio>: synthesis mode either given input text or by transcribing audio file
    [-dialogueAudio] <PATH>: for audio synType, audio file of dialogue to speak
    [-dialogueText] <PATH>: for text synType, text string of dialogue to speak
    -out <PATH>: output audio file path
    -useExistingEmbed <y/yes/n/no>: Uses saved embedding of previously used voice samples if enabled and present.

2. 从示例语音和文本输入中生成克隆的语音： python -m CogNative.main -sampleAudio CogNative/examples/MatthewM66.wav -synType text -dialogueText "The turbo-encabulator has now reached a high level of development, and it's being successfully used in the operation of novertrunnions." -out cmdExampleText.wav -useExistingEmbed y

 Loaded encoder "english_encoder.pt" trained to step 1564501
Synthesizer using device: cuda
Building Wave-RNN
Trainable Parameters: 4.481M
Loading model weights at CogNativemodelsRTVCsaved_modelsdefaultvocoder.pt
Synthesizing...
Clone output to cmdExampleText.wav

3. 从示例语音和音频输入文件中生成克隆的语音： python -m CogNative.main -sampleAudio CogNativeexamplesMatthewM66.wav -synType audio -dialogueAudio CogNativeexamplesBillMaher22.wav -out cmdExampleAudio.wav -useExistingEmbed n

 Loaded encoder "english_encoder.pt" trained to step 1564501
Synthesizer using device: cuda
Building Wave-RNN
Trainable Parameters: 4.481M
Loading model weights at CogNativemodelsRTVCsaved_modelsdefaultvocoder.pt
Loading requested file...
Synthesizing...
Clone output to cmdExampleAudio.wav

自动转换脚本

该脚本将将音频从受支持的语言转换为英语。要使用Windows上的自动转换脚本，请将音频文件拖放到脚本上，或将快捷方式放在%AppData%MicrosoftWindowsSendTo中，并使用“发送到“发送到”上下文菜单函数在音频文件上。在这两种情况下，一个带有原始文件名的新的.WAV文件，然后将“ _ +目标语言”放置在同一文件夹中。对于其他平台，应使用相同的CLI标志，但上下文菜单集成上的详细信息将因安装哪些软件包而有所不同。

为该项目做出贡献

• 创建自己的分支git branch yourname-feature-name
• 对您的分支机构进行很好的解释，请提取请求
• 包括您的拉请求正在解决的问题
• 壁球和合并总是。

python styleguide

此样式指南对于确保整个项目中的所有样式匹配非常重要。要设计您的代码，请使用黑色Python Styler。

单文件： black <python-file-name>所有文件： black .

归功于实时派遣

这个GitHub存储库是我们语音克隆模块的基础。

实时派遣

请参阅此处的许可证。

归功于实时混合瑞典语

这个GitHub存储库训练了瑞典合成器。

实时混合瑞典语

团队成员

• 安德鲁·芬内尔
• 奥斯汀·库灵顿（Austin Currington）
• Xingjian Hao
• Connor Tisdel
• 雅各布·史密斯
• aref sadeghi