Aligner

Проект выравнивания текста в речь

Обзор проекта

Этот проект исследует и реализует различные методы выравнивания текста в речь (TTS), направленные на повышение качества и эффективности систем TTS. Наша работа охватывает несколько подходов, каждый из которых рассматривает различные аспекты проблемы выравнивания.

Структура проекта

Этот репозиторий организован в три основные ветви, каждая из которых представляет особый подход к выравниванию TTS:

1. MoBoAligner

   • Статус : завершен, только для справки
   • Описание : Неофициальная реализация «Moboaligner: модель нейронного выравнивания для неавторегрессивных ТТ с монотонным поиском границы»
   • Цель : Сравнение обучения и базового уровня
   • Ограничение : не подходит для крупномасштабных применений из-за максимальных ограничений продолжительности

2. RoMoAligner

   • Статус : разработка остановилась, только для справки
   • Описание : Экспериментальная попытка улучшения сочетать грубое выравнивание с MoboAligner
   • Цель : Исследуйте самоотверженные методы обучения в выравнивании TTS
   • Ограничение : улучшения производительности были ограничены и не соответствовали ожиданиям

3. OTA ? Текущий фокус

   • Статус : в активном планировании и раннем развитии
   • Описание : Адаптация метода «Один TTS выравнивает, чтобы управлять их всем
   • Цель : Разработайте решение для обработки неявных пауз, не полагаясь на явные токены тишины
   • Прогресс : этап концептуального развития и планирования

Текущий фокус

Наше основное внимание уделяется филиалу OTA , где мы исследуем способы адаптации метода OTA для улучшения выравнивания, особенно при обработке неявных пауз в речи.

Как использовать этот репозиторий

1. Проверьте каждую филиал для конкретных деталей реализации и прогресса.
2. Обратитесь к отдельным чтениям филиала для настройки и инструкций по использованию.
3. Для последних событий сосредоточьтесь на филиале OTA .

Внося

Мы приветствуем вклад в любой из наших филиалов. Если вы заинтересованы в содействии:

1. Проверьте проблемы в соответствующей филиале для задач, с которыми вы можете помочь.
2. Разбейте репозиторий и создайте запрос на привлечение с вашими улучшениями.
3. Для серьезных изменений, пожалуйста, сначала откройте проблему, чтобы обсудить, что вы хотели бы изменить.

Дорожная карта

• Внедрить MoboAligner (неофициальная реализация)
• Разработать и проверить Romoaligner
• Адаптировать и реализовать OTA для неявного моделирования паузы
• Провести сравнительные исследования во всех методах
• Усовершенствовать и оптимизировать наиболее перспективный подход

Благодарности

• Оригинальная бумага MoboAligner
• OTA бумага

Мы ценим поддержку и интерес со стороны TTS и сообщества по обработке речи в продвижении этого исследования.