ChineseTtsTflite

TTS chinês TF Lite

introduzir

O mecanismo TTS desenvolvido usando Kotlin + Jetpack Compose + Tensorflow Lite pode ser usado completamente offline.

Dois modelos opcionais: FastSpeech e Tacotron, ambos de Tensorflowtts

O método de texto para Pinyin vem de: tensorflowtts_chinese

Por ser o áudio de saída de inferência em tempo real, existem certos requisitos para o desempenho do dispositivo.

Entre eles, o FastSpeech é mais rápido, mas o áudio gerado tem um efeito de antropomorfismo ruim e pode ser usado em telefones celulares ou acima dos telefones celulares comuns.

O Tacotron possui requisitos de alto desempenho. Embora o efeito geral seja melhor, é muito lento, por isso é atualmente de pouco valor prático e é apenas para teste.

Instruções de compilação manual

1. Android Studio 2021.2.1
2. Do endereço de download do modelo a seguir, Download Models-Tflite.7z e descompacte os 4 arquivos a seguir para o diretório correspondente
3. No endereço de download do AAR abaixo, baixe o Cropped Tensorflow Lite AAR e coloque 2 arquivos AAR em App/Libs

 ├─app/src/main/assets
│      baker_mapper.json
│      fastspeech2_quan.tflite
│      mb_melgan.tflite
│      tacotron2_quan.tflite

3. Compilação

./gradlew assembleRelease

Download do modelo

Endereço para download

• Models-tf.7z: modelo original do tensorflowtts, geralmente usado no lado do PC
• modelos-tflite.7z: o modelo Tflite convertido, geralmente usado em terminais móveis

Visualização do modelo

Netron

Lite de tensorflow da colheita

Reduza o tamanho do arquivo binário do tensorflow lite

Baixe Aar após o Cropping

Comparação dos tamanhos de arquivo ARR antes e após o corte:

• Tensorflow-Lite-2.8.0.AAR: 5,4MB-> 3,7 MB (68,5%)
• tensorflow-lite-select-tf-op-2.8.0.aar: 109,6 MB-> 14,8 MB (13,5%)

Referências

Tensorflowtts

Tensorflowtts_chinese

Guia do Tensorflow

Teste TF de referência

Referência Tflite Conversão

Fonte do Google Pico TTS

Teste de modelo e conversão

Converta a configuração do ambiente

• Ubuntu: 20.04 LTS
• Python: 3.8

$ git clone https://github.com/TensorSpeech/TensorFlowTTS.git
$ cd TensorFlowTTS
$ pip install .
$ pip install git+https://github.com/repodiac/german_transliterate.git

Descompacte os modelos-tf.7z

Testing de modelo TF

$ cd models-tf
$ python test-h5.py

Modelo TF para Tflite

$ python convert-tflite.py

Captura de tela da interface do aplicativo