ChineseTtsTflite

Китайский TTS TF Lite

представлять

Двигатель TTS, разработанный с использованием Kotlin + JetPack Compose + Tensorflow Lite, может быть использован полностью в автономном режиме.

Две дополнительные модели: Fastspeech и Tacotron, оба из которых из Tensorflowtts

Метод текста к пининину происходит от: tensorflowtts_chinese

Поскольку это аудио вывод в реальном времени, есть определенные требования к производительности устройства.

Среди них Fastspeech быстрее, но сгенерированное звук менее антропоморфно и может использоваться на обычных мобильных телефонах среднего или выше.

Такотрон имеет высокопроизводительные требования. Хотя общий эффект лучше, он очень медленный, поэтому в настоящее время он имеет небольшую практическую ценность и только для тестирования.

Ручные инструкции по сборке

1. Android Studio 2021.2.1
2. Из следующего адреса загрузки модели скачать модели Tflite.7Z и UNZIP Следующие 4 файла в соответствующий каталог
3. С адреса загрузки AAR, загрузите обрезанный Tensorflow Lite AAR и поместите 2 файла AAR в приложение/LIBS

 ├─app/src/main/assets
│      baker_mapper.json
│      fastspeech2_quan.tflite
│      mb_melgan.tflite
│      tacotron2_quan.tflite

3. Компиляция

./gradlew assembleRelease

Модель скачать

Скачать адрес

• Models-TF.7Z: оригинальная модель TensorFlowtts, обычно используемая на стороне ПК
• Models-Tflite.7Z: конвертированная модель TFLITE, обычно используемая в мобильных терминалах

Модельный вид

Netron

Crop Tensorflow Lite

Уменьшить размер бинарного файла TensorFlow Lite

Скачать AAR после обрезки

Сравнение размеров файлов ARR до и после обрезки:

• Tensorflow-lite-2.8.0.AAR: 5,4 МБ-> 3,7 МБ (68,5%)
• TensorFlow-Lite-Select-TF-OPS-2.8.0.AAR: 109,6 МБ-> 14,8 МБ (13,5%)

Ссылки

TensorFlowtts

Tensorflowtts_chinese

Руководство по тензодару

Справочный тест TF

Ссылка на преобразование TFLITE

Google Pico TTS Source

Модельный тест и преобразование

Преобразовать конфигурацию среды

• Ubuntu: 20,04 LTS
• Python: 3.8

$ git clone https://github.com/TensorSpeech/TensorFlowTTS.git
$ cd TensorFlowTTS
$ pip install .
$ pip install git+https://github.com/repodiac/german_transliterate.git

Decompress Models-TF.7Z

TF модель тестирования

$ cd models-tf
$ python test-h5.py

Модель TF tflite

$ python convert-tflite.py

Скриншот интерфейса приложения