dctts pytorch

DC-TTS

Реализация Pytorch эффективно обучаемой системы текста в речь, основанная на глубоких сверточных сетях с вниманием.

Спасибо за kyubyong/dc_tts, что очень помогло мне преодолеть некоторые трудности.

Набор данных

• Набор данных речи LJ. Набор данных речи с открытым достоянием, состоящий из 13 100 коротких аудиок -клипов одной женщины -оратора.

Тренироваться

Я настроил гипер -парамеры и обучил модель с набором данных речи LJ. Гипер параметры могут быть не лучшими и немного отличаются от тех, которые используются в оригинальной статье.

Чтобы тренировать модель самостоятельно с набором данных речи LJ:

1. Загрузите набор данных и извлечь в каталог, установите каталог в pkg/hyper.py
2. Запустите преприцесс

    python3 main.py --action preprocess
   

3. Транс Текст 2MEL сеть, вы можете изменить устройство для обучения Text2Mel в pkg/hyper.py

    python3 main.py --action train --module Text2Mel
   

4. Тренировать сеть SSRN, также можно изменить учебное устройство

    python3 main.py --action train --module SuperRes
   

Образцы

Некоторые синтезированные образцы содержатся в synthesis каталога. Собственные приговоры перечислены в sentences.txt . Предварительно обученная модель для Text2mel и Superres (автоматическое сочетается с logdir/text2mel/pkg/trained.pkg и logdir/superres/pkg/trained.pkg в тренировочной фазе) будет загружена при синтезе.

Вы можете синтезировать образцы, перечисленные в sentences.txt с

 python3 main.py --action synthesis

• Матрица внимания для предложения: «Что было первым ... курица или яйцо?

Предварительно обученная модель

Образцы в synthesis каталога отображаются с 410K -партиями, обученными Text2MEL и 190K, обученными Superres.

Текущий результат не очень приятен, особенно некоторые гласные пропущены. Надеюсь, кто -то сможет найти лучшие гипер -параметры и обучить лучшие модели. Пожалуйста, скажите мне, если вы смогли получить отличную модель.

Вы можете скачать текущую предварительно обученную модель из моего Dropbox.

Зависимость

• Scipy, Librosa, num2words
• Pytorch> = 0,4,0

Родственник

Реализация TensorFlow: Kyubyong/dc_tts

Пожалуйста, напишите мне или откройте проблему, если у вас есть какие -либо вопросы или предложения.