ChineseTtsTflite

Chinesische TTS TF Lite

einführen

Der mit Kotlin + JETPack Compose + TensorFlow Lite entwickelte TTS -Motor kann vollständig offline verwendet werden.

Zwei optionale Modelle: Fastspeech und Tacotron, die beide aus Tensorflowtts stammen

Die Textmethode zu Pinyin stammt aus: TensorFlowtts_chinese

Da es sich um Echtzeit-Inferenzausgabe-Audio handelt, gibt es bestimmte Anforderungen an die Geräteleistung.

Unter ihnen ist Fastspeech schneller, aber das generierte Audio ist weniger anthropomorph und kann für gewöhnliche Mittelklasse oder über Mobiltelefone verwendet werden.

Tacotron hat hohe Leistungsanforderungen. Obwohl der Gesamteffekt besser ist, ist er sehr langsam, daher ist er derzeit von geringem praktischem Wert und nur zum Testen.

Manuelle Zusammenstellung Anweisungen

1. Android Studio 2021.2.1
2. Download models-tflite.7z in der folgenden Modelldownload-Adresse und entpacken Sie die folgenden 4 Dateien in das entsprechende Verzeichnis
3. Laden Sie den verkauften Tensorflow Lite AAR aus der AAR -Download -Adresse und geben Sie 2 AAR -Dateien in App/Libs ein

 ├─app/src/main/assets
│      baker_mapper.json
│      fastspeech2_quan.tflite
│      mb_melgan.tflite
│      tacotron2_quan.tflite

3. Zusammenstellung

./gradlew assembleRelease

Modell Download

Adresse herunterladen

• Models-TF.7Z: Original TensorFlowtts-Modell, das im Allgemeinen auf der PC-Seite verwendet wird
• Models-Tflite.7Z: Das konvertierte Tflite-Modell, das allgemein in mobilen Terminals verwendet wird

Modellansicht

Netron

Ernte Tensorflow Lite

Reduzieren Sie die Binärdateigröße von Tensorflow Lite

Laden Sie AAR nach dem Zuschneiden herunter

Vergleich von ARR -Dateigrößen vor und nach dem Zuschneiden:

• Tensorflow-Lite-2.8.0.AAR: 5,4 MB-> 3,7 MB (68,5%)
• TensorFlow-Lite-Select-TF-OP-2.8.0.AAR: 109,6 MB-> 14,8 MB (13,5%)

Referenzen

Tensorflowtts

TensorFlowtts_chinese

Tensorflow Guide

Referenz -TF -Test

Referenz -Tflite -Konvertierung

Google Pico TTS Quelle

Modelltest und Konvertierung

Umgebungskonfiguration konvertieren

• Ubuntu: 20.04 Lts
• Python: 3.8

$ git clone https://github.com/TensorSpeech/TensorFlowTTS.git
$ cd TensorFlowTTS
$ pip install .
$ pip install git+https://github.com/repodiac/german_transliterate.git

Dekompressmodelle-tf.7z

TF -Modelltests

$ cd models-tf
$ python test-h5.py

TF -Modell zu Tflite

$ python convert-tflite.py

Screenshot der App -Schnittstelle