ChineseTtsTflite

Tts chinois tf lite

introduire

Le moteur TTS développé à l'aide de Kotlin + Jetpack Compose + TensorFlow Lite peut être utilisé complètement hors ligne.

Deux modèles facultatifs: FastSpeech et Tacotron, qui sont tous deux de TensorFlowtts

La méthode du texte à pinyin vient de: Tensorflowtts_chinese

Parce qu'il s'agit de l'audio de sortie d'inférence en temps réel, il existe certaines exigences pour les performances de l'appareil.

Parmi eux, FastSpeech est plus rapide, mais l'audio généré est moins anthropomorphe et peut être utilisé sur des téléphones mobiles de milieu de gamme ordinaires ou supérieurs.

Le tacotron a des exigences de performance élevées. Bien que l'effet global soit meilleur, il est très lent, il est donc actuellement de peu de valeur pratique et est uniquement pour les tests.

Instructions de compilation manuelle

1. Android Studio 2021.2.1
2. À partir de l'adresse de téléchargement du modèle suivant, téléchargez des modèles-tflite.7z et dézip les 4 fichiers suivants dans le répertoire correspondant
3. À partir de l'adresse de téléchargement AAR ci-dessous, téléchargez le Tensorflow Lite AAR Cropped et mettez 2 fichiers AAR dans l'application / libs

 ├─app/src/main/assets
│      baker_mapper.json
│      fastspeech2_quan.tflite
│      mb_melgan.tflite
│      tacotron2_quan.tflite

3. Compilation

./gradlew assembleRelease

Téléchargement du modèle

Adresse de téléchargement

• Modèles-TF.7Z: modèle Tensorflowtts d'origine, généralement utilisé du côté PC
• Models-tflite.7Z: le modèle Tflite converti, généralement utilisé dans les terminaux mobiles

Vue du modèle

netron

Crop TensorFlow Lite

Réduisez la taille du fichier binaire TensorFlow Lite

Téléchargez AAR après le recadrage

Comparaison des tailles de fichiers ARR avant et après la culture:

• Tensorflow-Lite-2.8.0.AAR: 5,4 Mo -> 3,7 Mo (68,5%)
• Tensorflow-Lite-Select-TF-OPS-2.8.0.AAR: 109,6 Mo -> 14,8 Mo (13,5%)

Références

Tensorflowtts

Tensorflowtts_chinese

Guide de TensorFlow

Test de référence TF

Conversion de référence Tflite

Source Google Pico TTS

Test et conversion du modèle

Convertir la configuration de l'environnement

• Ubuntu: 20.04 LTS
• Python: 3.8

$ git clone https://github.com/TensorSpeech/TensorFlowTTS.git
$ cd TensorFlowTTS
$ pip install .
$ pip install git+https://github.com/repodiac/german_transliterate.git

Décompresser les modèles-TF.7Z

Test du modèle TF

$ cd models-tf
$ python test-h5.py

Modèle TF à Tflite

$ python convert-tflite.py

Capture d'écran de l'interface d'application