CogNative

Kognativ

Übersetzte Sprachsynthese

Klonen Sie eine Stimme und geben Sie Sprache in einer anderen Sprache mit der ursprünglichen Stimme aus.

Installation

1. Installieren Sie Python:

Python 3.7 wird empfohlen. Aufgrund der in diesem Projekt verwendeten Version des Tensorflows ist Python 3.7 erforderlich .

2. Erstellen Sie virtuelle Umgebung (optional):

python3 -m venv pyvenv

Aktivieren Sie die virtuelle Umgebung: Windows: ./pyvenv/Scripts/activate MACOS/Linux: source pyvenv/bin/activate

Deaktivieren der virtuellen Umgebung: deactivate

Hinweis: Ihre virtuelle Python -Umgebung kann beim Ausführen der Benutzeroberfläche Probleme verursachen.

3. Installieren Sie FFMPEG.

Extrahieren Sie nach der Installation den Ordner und fügen Sie <ffmpeg folder path>/bin dem Pfad hinzu.

4. Installieren Sie Pytorch:

1. Pytorch Build: stabil (1.11.0).
2. Ihr Betriebssystem: Wählen Sie das Betriebssystem aus, in dem Ihre Umgebung kogniert ist (Windows oder Linux empfohlen).
3. Paket: Wählen Sie aus welchem Paketinstallationsprogramm Sie verwenden (PIP empfohlen).
4. Sprache: Python.
5. Berechnungsplattform: CUDA 11.3 Empfohlen. Wenn Sie keine GPU -CPU haben.

5. Installieren Sie die erforderlichen Python -Pakete:

pip3 install -r requirements.txt

6. Modelle installieren.

Nach dem Herunterladen fügen Sie die Modelle (*.PT) zu CogNative/CogNative/models/RTVC/saved_models/default

Der Ordner TACO_PRETRAINALE (einschließlich des Ordners selbst) muss heruntergeladen und zu CogNative/CogNative/models/RTVCSwedish/synthesizer/saved_models/swedish hinzugefügt werden

7. Erstellen Sie Google Cloud -Anmeldeinformationen:

1. Befolgen Sie die Schritte, um Google Cloud -Anmeldeinformationen einzurichten.
2. Fügen Sie Google Anmeldeinformationen zu credentials.json im Verzeichnis der obersten Ebene hinzu. Derzeit gibt es eine Datei mit dem Namen credentials.json.template . Ihre credentials.json sollten mit den dort angegebenen Schlüssel-/Wertpaaren übereinstimmen.

Verwendung

Beginnen Sie aus dem kognativen Wurzelverzeichnis.

GUI

Um GUI zu starten, rennen Sie python -m CogNative.testUI.UI

Cli

Alle notwendigen Flags, die nicht angegeben werden, führen zu einer Eingabeaufforderung, die vor dem Fortsetzung beantwortet werden muss. Beispiele folgen.

1. Hilfsnachricht anzeigen: python -m CogNative.main -help

 CogNative CLI FLags:
    -sampleAudio <PATH>: audio file of voice to clone
    -synType <text, audio>: synthesis mode either given input text or by transcribing audio file
    [-dialogueAudio] <PATH>: for audio synType, audio file of dialogue to speak
    [-dialogueText] <PATH>: for text synType, text string of dialogue to speak
    -out <PATH>: output audio file path
    -useExistingEmbed <y/yes/n/no>: Uses saved embedding of previously used voice samples if enabled and present.

2. Erzeugen Sie klonierte Stimme aus Beispielstimme und Texteingabe: python -m CogNative.main -sampleAudio CogNative/examples/MatthewM66.wav -synType text -dialogueText "The turbo-encabulator has now reached a high level of development, and it's being successfully used in the operation of novertrunnions." -out cmdExampleText.wav -useExistingEmbed y

 Loaded encoder "english_encoder.pt" trained to step 1564501
Synthesizer using device: cuda
Building Wave-RNN
Trainable Parameters: 4.481M
Loading model weights at CogNativemodelsRTVCsaved_modelsdefaultvocoder.pt
Synthesizing...
Clone output to cmdExampleText.wav

3. Erzeugen Sie klonierte Sprache aus Beispiel -Sprach- und Audioeingabedatei: python -m CogNative.main -sampleAudio CogNativeexamplesMatthewM66.wav -synType audio -dialogueAudio CogNativeexamplesBillMaher22.wav -out cmdExampleAudio.wav -useExistingEmbed n

 Loaded encoder "english_encoder.pt" trained to step 1564501
Synthesizer using device: cuda
Building Wave-RNN
Trainable Parameters: 4.481M
Loading model weights at CogNativemodelsRTVCsaved_modelsdefaultvocoder.pt
Loading requested file...
Synthesizing...
Clone output to cmdExampleAudio.wav

Autotranslate -Skripte

Dieses Skript übersetzt Audio von einer unterstützten Sprache in Englisch. Um das Autotranslate -Skript unter Windows zu verwenden, ziehen Sie eine Audiodatei in das Skript oder legen Sie eine Abkürzung zum Skript in %AppData%MicrosoftWindowsSendTo und verwenden Sie die zu übersetzende Audio -Datei "Senden Sie an" an "Senden an" Kontextmenüfunktion. In beiden Fällen wird eine neue .wav -Datei mit dem Orginalfileinnamen gefolgt von "_ + Zielsprache" in denselben Ordner platziert. Für andere Plattformen sollten dieselben CLI -Flags verwendet werden, aber Details zur Kontextmenüintegration variieren je nach den Installationen der Pakete.

Beitrag zum Projekt

• Erstellen Sie Ihren eigenen Zweig git branch yourname-feature-name
• Ziehen Sie die Anfrage mit einer guten Erklärung Ihres Zweigs an
• Fügen Sie Probleme hinzu, die Ihre Pull -Anfrage adressiert
• Immer zusammendrücken und verschmelzen.

Python StyleGuide

Dieser Stilführer ist wichtig, um sicherzustellen, dass alle Stilübereinstimmungen im gesamten Projekt übereinstimmen. Um Ihren Code zu stylen, verwenden Sie bitte den Black Python Styler.

Einzeldatei: black <python-file-name> Alle Dateien: black .

Gutschrift für Echtzeit-Voice-Kloning

Dieses GitHub -Repository dient als Grundlage unseres Sprachklonierungsmoduls.

Echtzeit-Voice-Kloning

Siehe Lizenz hier.

Gutschrift für Echtzeit-Voice-Kloning-Schwedisch

Dieses Github -Repository trainierte den schwedischen Synthesizer.

Echtzeit-Voice-Kloning Schwedisch

Teammitglieder

• Andrew Fennell
• Austin Currington
• Xingjian Hao
• Connor Tisdel
• Jacob Smith
• Aref Sadeghi