ChineseTtsTflite

Chinese TTS TF Lite

介紹

使用Kotlin + JetPack Compose + Tensorflow Lite開發的TTS引擎，可以完全離線使用。

可選兩種模型：FastSpeech和Tacotron，這兩種模型均來自TensorFlowTTS

文字轉拼音方法來自：TensorflowTTS_chinese

因為是實時推理輸出音頻，故對設備性能有一定要求。

其中FastSpeech速度較快，但生成的音頻擬人效果較差，可以用於普通中端以上手機。

而Tacotron對性能要求較高，雖然總體效果更好，但因為速度很慢，故目前實用價值不大，僅供測試。

手動編譯說明

1. Android Studio 2021.2.1
2. 從下面的模型下載地址，下載models-tflite.7z，把如下4個文件解壓到對應目錄
3. 從下面的aar下載地址，下載裁剪版TensorFlow Lite的aar，把2個aar文件放到app/libs

 ├─app/src/main/assets
│      baker_mapper.json
│      fastspeech2_quan.tflite
│      mb_melgan.tflite
│      tacotron2_quan.tflite

3. 編譯

./gradlew assembleRelease

模型下載

下載地址

• models-tf.7z : 原始TensorflowTTS模型，一般用於PC端
• models-tflite.7z : 轉換後的TFLite模型，一般用於移動端

模型查看

netron

裁剪TensorFlow Lite

縮減TensorFlow Lite二進製文件大小

裁剪後aar下載

裁剪前後的arr文件大小對比：

• tensorflow-lite-2.8.0.aar: 5.4MB -> 3.7MB (68.5%)
• tensorflow-lite-select-tf-ops-2.8.0.aar: 109.6MB -> 14.8MB (13.5%)

參考資料

TensorFlowTTS

TensorflowTTS_chinese

tensorflow指南

參考tf測試

參考tflite轉換

Google Pico TTS Source

模型測試&轉換

轉換環境配置

• Ubuntu: 20.04 LTS
• Python: 3.8

$ git clone https://github.com/TensorSpeech/TensorFlowTTS.git
$ cd TensorFlowTTS
$ pip install .
$ pip install git+https://github.com/repodiac/german_transliterate.git

解壓models-tf.7z

TF模型測試

$ cd models-tf
$ python test-h5.py

TF模型轉TFLite

$ python convert-tflite.py

APP界面截圖