ChineseTtsTflite

中国のTTS TF Lite

導入

Kotlin + Jetpack Compose + Tensorflow Liteを使用して開発されたTTSエンジンは、完全にオフラインで使用できます。

2つのオプションモデル：FastSpeechとTacotron、どちらもTensorFlowttsからのものです

Pinyinへのテキストの方法は、Tensorflowtts_chineseからのものです

リアルタイムの推論出力オーディオであるため、デバイスのパフォーマンスには特定の要件があります。

その中で、FastSpeechはより速いですが、生成されたオーディオは擬人化が少なく、通常のミッドレンジ以上の携帯電話で使用できます。

タコトロンには高性能要件があります。全体的な効果は優れていますが、非常に遅いため、現在はほとんど実用的ではなく、テストのみです。

手動の編集手順

1. Android Studio 2021.2.1
2. 次のモデルからダウンロードアドレスをダウンロードするには、モデルtflite.7zをダウンロードし、次の4つのファイルを対応するディレクトリに解凍します
3. 以下のAARダウンロードアドレスから、トリミングされたTensorflow Lite AARをダウンロードし、2つのAARファイルをApp/Libsに入れます

 ├─app/src/main/assets
│      baker_mapper.json
│      fastspeech2_quan.tflite
│      mb_melgan.tflite
│      tacotron2_quan.tflite

3. 編集

./gradlew assembleRelease

モデルダウンロード

アドレスをダウンロードしてください

• Models-TF.7Z：一般的にPC側で使用される元のTensorflowttsモデル
• Models-tflite.7z：モバイル端子で一般的に使用される変換されたtfliteモデル

モデルビュー

Netron

作物張力ライト

Tensorflow Liteバイナリファイルサイズを削減します

トリミング後にAARをダウンロードしてください

トリミング前後のARRファイルサイズの比較：

• Tensorflow-Lite-2.8.0.AAR：5.4MB-> 3.7MB（68.5％）
• tensorflow-lite-lect-tf-ops-2.8.0.AAR：109.6MB-> 14.8MB（13.5％）

参照

Tensorflowtts

Tensorflowtts_chinese

Tensorflowガイド

参照TFテスト

参照tflite変換

Google Pico TTSソース

モデルテストと変換

環境構成を変換します

• Ubuntu：20.04 LTS
• Python：3.8

$ git clone https://github.com/TensorSpeech/TensorFlowTTS.git
$ cd TensorFlowTTS
$ pip install .
$ pip install git+https://github.com/repodiac/german_transliterate.git

Models-TF.7zを減圧します

TFモデルテスト

$ cd models-tf
$ python test-h5.py

tfliteへのTFモデル

$ python convert-tflite.py

アプリインターフェイスのスクリーンショット