UTAUTAI

UTAUTAI：無限制的自動化技術人工間

讀書我

快速索引

• 模型架構
• ？什麼是Utautai？
• ？方法
• ？
• 欣賞
• 展示您的支持
• 歡迎捐款

模型架構

對不起，手工繪製

？什麼是Utautai？

一個開源存儲庫，旨在從歌詞中產生匹配的人聲和樂器曲目，類似於Suno Ai的chir和riffusion。

？方法

Utautai的方法主要是受長矛TT的啟發

在培訓期間，輸入包括從“歌詞2semantic AR”獲得的語義令牌，該語義令牌從歌詞中提取語義令牌以及聲學令牌。此外，從音樂中得出的MERT表示受到K均值量化以獲得進一步的語義令牌。

但是，在推斷期間，不可能從音樂中獲得MERT表示。因此，我們按照提示TTS2的方法來訓練樣式模塊，以從推理過程中從提示中獲取目標MERT表示。樣式模塊由基於變壓器的擴散模型組成。

我認為使用這種方法，我們可以成功完成目標任務。你怎麼認為？

？

• 我們如何獲得與裁剪音頻相匹配的歌詞？還是我們首先應該裁剪音頻？代碼
• 檢查對音節化和特殊令牌的處理，並進行必要的代碼修改。代碼
• 更正數據集中的碰撞器。代碼
• 完成StyleModule推理代碼。代碼
• 其他次要代碼修復，例如掩蓋策略。
• 消除擴散模型並調整一致性模型。

欣賞

• 長矛TTS紙
• VALL-E紙
• 自動點盒紙
• Soundstorm紙
• Musiclm紙
• audiolm紙
• Musicgen Paper
• 提示紙
• Lucidrains的Soundstorm Repo
• Soundstorm SpeechTokenizer
• Lifeititeng的Vall-e
• Plachtaa的Vall-ex
• 吠

展示您的支持

如果您發現Utautai有趣且有用，請在Github上給我們一顆星星！測試儀鼓勵我們不斷改進模型並添加令人興奮的功能。

歡迎捐款

總是歡迎捐款。