midi2voice

Синтез пения из MIDI -файла

Этот сценарий опирается на веб-сайт sinsy.jp из Технологического института Нагоя, который реализует систему синтеза голоса на основе HMM.

Вы можете найти образец, объединенный с инструментальным звуком здесь.

Требования

• Musescore: он используется для преобразования MIDI в MusicXML
• Питон 3

Установка

pip install git+git://github.com/mathigatti/midi2voice.git

Использование

Вы можете использовать его, выполняя установленную модуль с помощью python -m midi2voice . У него есть серверные параметры, большинство из них необязательны, и вам нужно использовать их, только если вы хотите указать что -то другое, чем по умолчанию

 python -m midi2voice
  -h, --help # show this help message and exit
  -l LYRICS, --lyrics LYRICS # Path to txt file containing the lyrics
  -m MIDI, --midi MIDI # Path to midi file
  -lang {english,japanese,mandarin} # Language of the voice (OPTIONAL / DEFAULT: english)
  -g {female,male} # Gender voice (female/male) (OPTIONAL / DEFAULT: female)
  -i VOICEINDEX # Each language has different voices, for example japanese has 4 different female voices at the moment, mandarin only one. (OPTIONAL / DEFAULT: 0)
  -t TEMPO # Song tempo in BPMs (OPTIONAL / DEFAULT 80)
  -s SYNALPHA # Gender parameter [between -0.8 and 0.8, default: 0.55]
  -v VIBPOWER # Vibrato intensity [between 0 and 2, default: 1]
  -p F0SHIFT # Pitch shift [in half tones, between -24 and 24, default: 0]
  -d DESTINATION_FOLDER # Destination folder

Пример использования

Проверьте образцы MIDI и текста здесь.

 # Print help
python3 -m midi2voice -h

# Basic example
python -m midi2voice -l shallow.txt -m shallow.mid

# Generate the voice given a midi file and a text file with the lyrics
python -m midi2voice -l shallow.txt -m shallow.mid -lang english -g female -t 96

Попробуйте это на Colab

Если у вас нет установленного Python или вы просто хотите проверить его быстро, вы можете попробовать его онлайн здесь.

Голоса доступны

На данный момент sinsy.jp предоставляет эти голоса. Вы можете использовать параметр VoiceIndex, чтобы выбрать их.

• Японский

  • Женский

    • 0 - f00001j_dnn_beta4: yoko: японский
    • 1 - f00002j_dnn_beta4: Xiang -Ling: Японский
    • 2 - f01018j_dnn_beta4: не определен: японский
    • 3 - F00001J: yoko: японский
    • 4 - F00002J: Xiang -Ling: Японский
    • 5 - F00004J_Beta: Namine Ritsu S: Японский
    • 6 - F00005J: не определен: японский

  • Мужской

    • 0 - m01083j_dnn_beta4: не определен: японский
    • 1 - M01083J: не определен: японский

• Английский

  • Женский

    • 0 - f00002e_dnn_beta4: Xiang -Ling: English
    • 1 - F00002E: Xiang -Ling: английский

  • Мужской

    • 0 - m00003e_beta: matsuo -p: английский

• Мандарин

  • Женский

    • 0 - F00002M: Xiang -Ling: китайский (мандарин)

  • Мужской

    • Ни один на данный момент

Кредиты

Этот исходный код был разработан Матиасом Гатти (@Mathigatti), если вы его используете, не забудьте процитировать меня. Для научных публикаций вы можете использовать этот DOI.

Gatti, M. (2020). mathigatti/midi2voice v1.0.0 (v1.0.0) [Computer software]. Zenodo. https://doi.org/10.5281/ZENODO.3969003

Поддержите мою работу

Если вы хотите помочь мне продолжать развиваться и поддерживать проекты с открытым исходным кодом, вы можете внести свой вклад в покупку мне немного KO-Fi.

Лицензия

Грань