Non English Tacotron 2 Training Notebook

非英語タコトロン-2-トレーニングノートブック

日本語、フランス語、マンダリンをサポートするタコトロン2トレーニングノートブック

概要

このノートブックは、英語以外の言語でタコトロン2モデルをトレーニングするための簡単なアクセスを提供することを目的としています。現在、日本語（TalqueおよびNeteralk Phonetics）、フランス語、およびマンダリンの前提条件モデルが含まれていますが、計画にはドイツ語などの将来をより多く含めることが計画されています。日本語の場合、中性音声と前処理されたモデルを使用することをお勧めします。

サポートされているオーディオ

トレーニング用のオーディオは、16ビット22050HzモノWAVファイルでなければなりません。ファイル名にスペースを含めないでください。ファイルには、アルファナメリック（半幅）、ダッシュ、およびアンダースコアのみを含める必要があります。これは、日本語または中国のファイル名、またはディークリティクスがないことを意味します。学習を促進するために、オーディオクリップは10秒以下でなければなりません。私のテストに基づいて、少なくとも15分のオーディオを使用することをお勧めします。

転写

Transcriptionファイルは、次の形式を持つ各行を持つテキストドキュメントである必要があります： wavs/{name_of_file}.wav|{text} 。含まれているG2Pのいずれかを使用して、転写を適切な音声入力に変換します。

トレーニング

ノートブックの手順は、かなり自己認識でなければなりません。トレーニングを開始する前に、オーディオをWAV/フォルダーにアップロードします。ここに留意すべきメモがいくつかあります：

• バッチサイズは、理想的には、持っている波の量の係数である必要があります。たとえば、15波のモデルをトレーニングするときは、バッチサイズを5に設定します。
• ColabにT4 GPUがある場合は、バッチサイズを14を超えて設定しないでください。
• トレーニング用の出力ディレクトリは、切断された場合に備えてGoogleドライブにある必要があります。
• トレーニングすると、チェックポイントが蓄積されます。古いものと空のゴミを削除して、ドライブストレージを利用可能にします。
• 適切な検証損失に到達したら、トレーニングを停止します。たとえば、私がしていることは次のとおりです。30個未満のファイル= 0.07未満。 30-100ファイル= 0.09未満。 150+ファイル= 0.1未満。 30分以上のデータ= 0.14未満

帰属

• HaruqaによるTalquの音声システム（https://booth.pm/ja/items/2755336）
• ニュートロジックによる日本の音声システム（https://github.com/neutrogic/neutalk）
• Haruqa（https://github.com/haruqa/tacotron2/releasesによるTalque Treated Model）
• Neuthrogicによる日本と北京の前oredモデル（https://github.com/neutrogic/neutalk）
• Mildemelweによって作成され、Neutrogicによって訓練されたフランスの前提型モデル（https://github.com/neutrogic）
• Uberduck Tacotron 2トレーニングノートブック（https://colab.google.com/drive/1wtilmdm9vf7ke79gzkeetbigan6iv3bg？usp = sharing）のコードに基づいて
• NvidiaによるTacotron 2実装（https://github.com/nvidia/tacotron2）