detail_tts

Деталь ТТ

Модель вновь предложила три важных важных метода, чтобы стать наилучшей практикой архива.

• Хотя RVQ используется, в реальном обучении используются непрерывные функции, я называю это фальшивой дискретизацией.
• Все в одной модели. Модель содержит GPT, диффузию, VQVAE, GAN и FLOWVAE все в одном. Один поездок один вывод.
• Оба префикса SPK EMB и rack используются для получения выгоды как от вывода типа доли, так и обучения типа черепахи.

Вот результат, полученный после того, как модель была обучена на 10000 часов очень грязных данных. Модель может быть легко масштабирована с помощью многих низкокачественных данных.

Подсказка 0

rack00.mov

сгенерировано 0

rasfor01.mov

Подсказка 1

Приглашение10.mov

сгенерировано 1

rasfor12.mov

Подсказка 2

ractvel20.mov

сгенерировано 2

rasfor21.mov

Вывод

Проверьте api.py

Набор данных подготовить

Изменить путь содержит аудио

 python prepare/0_vad_asr_save_to_jsonl.py

Тренировать и тонкую настройку

 accelerate launch train.py

Для тонкой настройки измените путь нагрузки на модель предварительной модели.

Благодарности

VQ и VIT от GSV

Диффузия и GPT от черепахи