Multi Singer

Multi-Sänger: Schneller Multi-Sänger-Gesangs-Sprachvokoder mit einem großen Korpus

Pytorch-Implementierung von (ACM MM'21) Multi-Sänger: Schneller Multi-Sänger-Gesangs-Sprachvokoder mit einem großen Korpus.

Anforderungen

Siehe Anforderungen in Anforderung.txt:

• Linux
• Python 3.6
• Pytorch 1.0+
• Librosa
• JSON, TQDM, Protokollierung

Erste Schritte

Wenden Sie ein Rezept auf Ihren eigenen Datensatz an

• Stellen Sie alle WAV -Dateien in das Datenverzeichnis ein
• Bearbeiten Sie die Konfiguration in config/config.yaml

1. Voraber

Nutzen Sie unseren Kontrollpunkt oder
Sie können den Encoder auch hier selbst trainieren und den enc_model_fpath in config/config.yaml festlegen. Bitte setzen Sie Params wie die in encoder/params_data und encoder/params_model ein.

2. Vorverarbeitet

Melspektrogramm extrahieren

 python preprocess . py - i data / wavs - o data / feature - c config / config . yaml

-i dein Audioordner

-o Ausgang Akustikfunktionsordner

-c -Konfigurationsdatei

3. Zug

Training auf melspektrogramm konditioniert

 python train . py - i data / feature - o checkpoints / - - config config / config . yaml

-i akustischer Funktionsordner

-o Verzeichnis zum Speichern von Kontrollpunkten

-c -Konfigurationsdatei

4. Inferenz

 python inference . py - i data / feature - o outputs /  - c checkpoints / * . pkl - g config / config . yaml

-i akustischer Funktionsordner

-o Verzeichnis zum Speichern erzeugter Sprache

-c -Checkpoints -Datei

-c -Konfigurationsdatei

5. Gesangssynthese singen

Zum Singen der Sprachsynthese:

• Nehmen Sie modifizierte Fastspeech 2 für die Melspektogrammsynthese
• Verwenden Sie synthetisierte Melspektrogramm in Multi-Sänger für die Wellenformsynthese.

Kontrollpunkt

Auf Opensinger ausgebildet

Anerkennung

Ge2e
Fastspeech 2
Paralleler Wavegan

Zitat

 @inproceedings{huang2021multi,
  title={Multi-Singer: Fast Multi-Singer Singing Voice Vocoder With A Large-Scale Corpus},
  author={Huang, Rongjie and Chen, Feiyang and Ren, Yi and Liu, Jinglin and Cui, Chenye and Zhao, Zhou},
  booktitle={Proceedings of the 29th ACM International Conference on Multimedia},
  pages={3945--3954},
  year={2021}
}

Frage

Fühlen Sie sich frei, mich unter [email protected] zu kontaktieren