UTAUTAI

Utautai: Неограниченная мелодия автоматизированная технология искусственная интеграция

Ридме

Быстрый индекс

• Модель архитектура
• ? Что такое Utautai?
• ? Метод
• ? Тодо
• Признательность
• ️Show Your Support
• ? Добро пожаловать вклад

Модель архитектура

? Извините за руку

? Что такое Utautai?

Репозиторий с открытым исходным кодом, направленный на создание подходящих вокальных и инструментальных треков из текстов, аналогично чирп и рифузии Suno AI.

? Метод

Метод Utautai в основном вдохновлен Spear TTS

Во время тренировки вход состоит из семантических токенов, полученных из «текста2Semantic AR», которые извлекают семантические токены из текстов, а также акустических жетонов. Кроме того, представления MERT, полученные из музыки, подвергаются квантованию K-средних для получения дополнительных семантических токенов.

Однако во время вывода невозможно получить представления MERT от музыки. Поэтому мы обучаем стиль модуля с помощью методологии быстрого TTS2 для получения целевых представлений MERT из подсказки во время вывода. Модуль стиля состоит из диффузионной модели на основе трансформатора.

Я думаю, что, используя этот подход, мы можем успешно выполнить целевые задачи. Что вы думаете?

? Тодо

• Как мы можем получить тексты, которые соответствуют укороченному звуку? Или мы должны вообще обрезать звук в первую очередь? код
• Изучите обработку фонемизации и специальных токенов и внесите необходимые изменения кода. код
• Исправьте коллатор в наборе данных. код
• Заполните код вывода StyleModule. код
• Другие мелкие исправления кода, такие как стратегии маскировки.
• Устраните диффузионную модель и адаптируйте модель согласованности.

Признательность

• Копь бумага
• Vall-e бумага
• Бумага музыкального автомата
• Soundstorm Paper
• Musiclm Paper
• Audiolm Paper
• Музыкальная бумага
• Prompttts2 бумага
• Lucidrains 'Soundstorm Repo
• Soundstorm Speechtokenizer
• Lifeiteng's Vall-e
• Plachtaa's Vall-Ex
• лаять

️Show Your Support

Если вы считаете Utautai интересным и полезным, дайте нам звезду на GitHub! ️ Это побуждает нас продолжать улучшать модель и добавлять захватывающие функции.

? Добро пожаловать вклад

Вклад всегда приветствуются.