ChineseTtsTflite

Chino tts tf lite

introducir

El motor TTS desarrollado con Kotlin + Jetpack Compose + TensorFlow Lite se puede usar completamente fuera de línea.

Dos modelos opcionales: FastSpeech y Tacotron, los cuales son de Tensorflowtts

El método de texto a Pinyin proviene: TensorFlowtts_Chinese

Debido a que es audio de salida de inferencia en tiempo real, hay ciertos requisitos para el rendimiento del dispositivo.

Entre ellos, FastSpeech es más rápido, pero el audio generado es menos antropomórfico y puede usarse en los teléfonos móviles de rango medio ordinario o por encima.

Tacotron tiene requisitos de alto rendimiento. Aunque el efecto general es mejor, es muy lento, por lo que actualmente es de poco valor práctico y es solo para pruebas.

Instrucciones de compilación manual

1. Android Studio 2021.2.1
2. Desde la siguiente dirección de descarga del modelo, descargue modelos-tflite.7z, y descomprima los siguientes 4 archivos al directorio correspondiente
3. Desde la dirección de descarga de AAR a continuación, descargue el tensorflow lite AAR recortado y coloque 2 archivos AAR en la aplicación/libs

 ├─app/src/main/assets
│      baker_mapper.json
│      fastspeech2_quan.tflite
│      mb_melgan.tflite
│      tacotron2_quan.tflite

3. Compilación

./gradlew assembleRelease

Descargar modelo

Dirección de descarga

• Models-TF.7Z: modelo original TensorFlowtts, generalmente utilizado en el lado de la PC
• modelos-tflite.7Z: El modelo TFLite convertido, generalmente utilizado en terminales móviles

Vista de modelo

netron

Cropa tensorflow lite

Reducir el tamaño del archivo binario tensorflow lite

Descargar AAR después de recortar

Comparación de tamaños de archivo ARR antes y después del cultivo:

• tensorflow-lite-2.8.0.aar: 5.4mb-> 3.7Mb (68.5%)
• Tensorflow-Lite-Select-TF-OPS-2.8.0.AAR: 109.6MB-> 14.8MB (13.5%)

Referencias

Tensorflowtts

Tensorflowtts_chinese

Guía de flujo tensor

Prueba de referencia TF

Conversión de referencia tflite

Fuente de Google Pico TTS

Prueba de modelo y conversión

Convertir la configuración del entorno

• Ubuntu: 20.04 LTS
• Python: 3.8

$ git clone https://github.com/TensorSpeech/TensorFlowTTS.git
$ cd TensorFlowTTS
$ pip install .
$ pip install git+https://github.com/repodiac/german_transliterate.git

Descompresión de modelos-tf.7z

Prueba de modelo TF

$ cd models-tf
$ python test-h5.py

Modelo TF a TFLITE

$ python convert-tflite.py

Captura de pantalla de la interfaz de la aplicación