CogNative

Познавательно

Переведенный синтез голоса

Клонировать голосовую и выходную речь на другом языке с оригинальным голосом.

Установка

1. Установите Python:

Python 3.7 рекомендуется. Требуется Python 3.7 из -за версии Tensorflow, используемой в этом проекте.

2. Создайте виртуальную среду (необязательно):

python3 -m venv pyvenv

Активировать виртуальную среду: Windows: ./pyvenv/Scripts/activate macos/linux: source pyvenv/bin/activate

Деактивирование виртуальной среды: deactivate

Примечание. Ваша виртуальная среда Python может вызвать проблемы при запуске пользовательского интерфейса.

3. Установите ffmpeg.

После установки извлеките папку и добавьте <ffmpeg folder path>/bin в путь.

4. Установите Pytorch:

1. Сборка Pytorch: стабильная (1.11.0).
2. Ваша ОС: Выберите ОС, в которую в вашей среде используется Cognative (Windows или Linux, рекомендуется).
3. Пакет: Выберите, какой установщик пакета вы используете (PIP рекомендуется).
4. Язык: Python.
5. Вычисление платформы: CUDA 11.3 Рекомендуется. Если у вас нет графического процессора.

5. Установите необходимые пакеты Python:

pip3 install -r requirements.txt

6. Установите модели.

После загрузки добавьте модели (*.pt) в CogNative/CogNative/models/RTVC/saved_models/default

Папка TACO_PRETRINGINE (включая саму папку) должна быть загружена и добавлена в CogNative/CogNative/models/RTVCSwedish/synthesizer/saved_models/swedish

7. Создать учетные данные Google Cloud:

1. Следуйте шагам для настройки учетных данных Google Cloud.
2. Добавьте учетные данные Google в credentials.json . В настоящее время существует файл с именем credentials.json.template , ваши credentials.json .

Использование

Начните с познавательного корневого каталога.

Графический интерфейс

Чтобы запустить графический интерфейс, запустите python -m CogNative.testUI.UI

Кли

Любые необходимые флаги, которые не указаны, приведут к сгенерированию подсказки, на которую необходимо ответить до продолжения. Примеры следуют.

1. Показать сообщение справки: python -m CogNative.main -help

 CogNative CLI FLags:
    -sampleAudio <PATH>: audio file of voice to clone
    -synType <text, audio>: synthesis mode either given input text or by transcribing audio file
    [-dialogueAudio] <PATH>: for audio synType, audio file of dialogue to speak
    [-dialogueText] <PATH>: for text synType, text string of dialogue to speak
    -out <PATH>: output audio file path
    -useExistingEmbed <y/yes/n/no>: Uses saved embedding of previously used voice samples if enabled and present.

2. Создайте клонированный голос от образца голоса и текста ввода: python -m CogNative.main -sampleAudio CogNative/examples/MatthewM66.wav -synType text -dialogueText "The turbo-encabulator has now reached a high level of development, and it's being successfully used in the operation of novertrunnions." -out cmdExampleText.wav -useExistingEmbed y

 Loaded encoder "english_encoder.pt" trained to step 1564501
Synthesizer using device: cuda
Building Wave-RNN
Trainable Parameters: 4.481M
Loading model weights at CogNativemodelsRTVCsaved_modelsdefaultvocoder.pt
Synthesizing...
Clone output to cmdExampleText.wav

3. Создание клонированного голоса из образца голоса и аудио входного файла: python -m CogNative.main -sampleAudio CogNativeexamplesMatthewM66.wav -synType audio -dialogueAudio CogNativeexamplesBillMaher22.wav -out cmdExampleAudio.wav -useExistingEmbed n

 Loaded encoder "english_encoder.pt" trained to step 1564501
Synthesizer using device: cuda
Building Wave-RNN
Trainable Parameters: 4.481M
Loading model weights at CogNativemodelsRTVCsaved_modelsdefaultvocoder.pt
Loading requested file...
Synthesizing...
Clone output to cmdExampleAudio.wav

Автотранслат сценарии

Этот сценарий переведет аудио с поддерживаемого языка на английский. Чтобы использовать скрипт AutotransLate в Windows, перетащите аудиофайл на скрипт или поместите ярлык в скрипт в %AppData%MicrosoftWindowsSendTo и используйте функцию «Отправить в контекстное меню на аудиофайл». В обоих случаях новый файл .wav с оргментаром файла, за которым следует «_ + назначенный язык», будет помещен в одну и ту же папку. Для других платформ следует использовать те же флаги CLI, но подробности об интеграции контекстных меню будут варьироваться в зависимости от того, какие пакеты установлены.

Внесение вклад в проект

• Создайте свой собственный филиал git branch yourname-feature-name
• Получить запрос с хорошим объяснением вашей филиала
• Включите проблемы, которые решает ваш запрос на привлечение
• Сквош и слияние, всегда.

Python StyleGuide

Это руководство по стилю важно, чтобы убедиться, что все стиль совпадают на протяжении всего проекта. Чтобы уколоть свой код, используйте Black Python Styler.

Одиночный файл: black <python-file-name> Все файлы: black .

Кредит в режиме реального времени клонирование

Этот репозиторий GitHub служит основой нашего модуля голосового клонирования.

Клонирование в реальном времени

Смотрите лицензию здесь.

Кредит шведскому клонину в реальном времени

Этот репозиторий GitHub обучил шведский синтезатор.

В реальном времени голос клонирует шведский

Члены команды

• Эндрю Феннелл
• Остин Керрингтон
• Синжиан Хао
• Коннор Тисдель
• Джейкоб Смит
• Aref Sadeghi