UTAUTAI

utautai：無制限の曲自動化されたテクノロジーの人工的なインタージェット

readme

クイックインデックス

• モデルアーキテクチャ
• ？utautaiとは？
• ？方法
• ？todo
• 感謝
• §あなたのサポートを撮ります
• 歓迎されます

モデルアーキテクチャ

？手描きでごめんなさい

？utautaiとは？

Suno AiのChirpとRiffusionに似た、歌詞から一致するボーカルとインストゥルメンタルトラックを生成することを目的としたオープンソースリポジトリ。

？方法

Utautaiの方法は、主にSpear TTSに触発されています

トレーニング中、入力は「歌詞2Semantic AR」から取得したセマンティックトークンで構成され、歌詞からセマンティックトークンとアコースティックトークンを抽出します。さらに、音楽から派生したMERT表現は、K-Meansの量子化にさらされて、さらにセマンティックトークンを取得します。

ただし、推論中は、音楽からMERT表現を取得することはできません。したがって、プロンプトTTS2の方法論に従ってスタイルモジュールをトレーニングして、推論中にプロンプ​​トからターゲットMERT表現を取得します。スタイルモジュールは、変圧器ベースの拡散モデルで構成されています。

このアプローチを使用して、ターゲットタスクを正常に達成できると思います。どう思いますか？

？todo

• トリミングされたオーディオに合った歌詞を取得するにはどうすればよいですか？それとも、そもそもオーディオをトリミングする必要がありますか？コード
• 音素化と特別なトークンの処理を調べ、必要なコード変更を行います。コード
• データセットのコレーターを修正します。コード
• Stylemodule推論コードを完成させます。コード
• マスキング戦略など、他のマイナーコード修正。
• 拡散モデルを排除し、一貫性モデルを適応させます。

感謝

• スピアTTSペーパー
• Vall-Eペーパー
• ジュークボックスペーパー
• サウンドストームペーパー
• Musiclm Paper
• オーディオルムペーパー
• MusicGen Paper
• PROMPTTTS2紙
• lucidrainsのサウンドストームリポジトリ
• SoundStorm SpeechTokenizer
• lifeiteng's vall-e
• PlachtaaのVall-Ex
• 吠える

§あなたのサポートを撮ります

Utautaiが面白くて便利だと思うなら、Githubでスターをください！ §これは、モデルの改善を続け、エキサイティングな機能を追加することを奨励しています。

歓迎されます

貢献はいつでも大歓迎です。