TensorVox

Tensorvox

O Tensorvox é um aplicativo projetado para permitir a síntese de fala neural fácil e fácil de usar na área de trabalho, com o objetivo de aumentar a acessibilidade a essa tecnologia.

Atendido principalmente por tensorflowtts e também por coqui-tts e vits, é escrito em C ++/QT puro, usando a API do tensorflow c para interagir com os modelos Tensorflow (dois primeiros) e libtorch para pytorch. Dessa forma, podemos realizar inferência sem precisar instalar gigabytes no valor de bibliotecas Python, apenas algumas DLLs.

Experimente

Guia detalhado no Google Docs

Pegue uma cópia dos lançamentos, extraia o .zip e verifique a pasta do Google Drive quanto a modelos e instruções de instalação

Se você estiver interessado em usar seu próprio modelo, primeiro você precisa treinar, exportá -lo.

Arquiteturas suportadas

O Tensorvox suporta modelos de três repositórios:

• TensorflowTTS : FastSpeech2, Tacotron2, Melgan, com base em fonemas e com base em fonemas e com várias bandas. Aqui está um notebook Colab demonstrando como exportar o modelo Tacotron2 baseado em LJSpeech, com base em char:
• Coqui-TTS: Tacotron2 (IPA baseado em fonemas) e Melgan multifuncional, depois de converter de pytorch em tensorflow. Aqui está um caderno mostrando como exportar o modelo LJSpeech DDC:
• Jaywalnut310/Vits: VITs, que é um modelo totalmente E2E. (IPA estressado como fonemas) Notebook de exportação:

Esses dois exemplos devem fornecer orientações suficientes para entender o que é necessário. Se você deseja treinar um modelo especificamente para esse fim, recomendo o TensorFlowtts, pois é o melhor com o melhor suporte e o VITs, pois é a coisa mais próxima de aperfeiçoar para idiomas, o suporte pronta para uso é fornecido para o inglês (coqui e tftts, vits), alemão e espanhol (apenas tensorflowtts); Ou seja, você não terá que fazer nada. Você pode adicionar idiomas sem modificar o código, desde que o conjunto de fonemas seja IPA (estressado ou não exposto), ARPA ou Globalphone (abra um problema e eu explicarei para você)

Construir instruções

Atualmente, apenas o Windows 10 X64 (embora eu tenha ouvido relatórios sobre isso em 8.1) é suportado.

Requisitos:

1. QT Criador
2. Compilador MSVC 2017 (V141)

Construção preparada (com todas as bibliotecas fornecidas):

1. Baixar dependências binárias pré -compiladas e inclui
2. Descompacte -o para que a pasta deps esteja no mesmo local que os arquivos de origem .Pro e principal.
3. Abra o projeto com o QT Creator, adicione seu compilador e compile

Observe que, para experimentar o seu novo executável brilhante, você precisará baixar um lançamento do programa, conforme descrito acima, e substitua o executável nessa versão pelo seu novo, para ter todas as DLLs no local.

TODO: Adicione instruções para compilar do zero.

Externos (e obrigado)

• Libtorch : https://pytorch.org/cppdocs/installing.html

• Tensorflow C API : https://www.tensorflow.org/install/lang_c

• CPPFlow (TF C API -> C ++ Wrapper): https://github.com/serizba/cppflow

• Audiofile (para exportação WAV): https://github.com/adamstark/audiofile

• Janela de estilo escuro sem moldura : https://github.com/jorgen-vikkinggod/qt-framless-window-garkstyle

• JSON for Modern C ++ : https://github.com/nlohmann/json

• R8Brain-Free-src (reamostragem): https://github.com/avaneev/r8brain-free-src

• rnnoise (versão cmake, saída denoising): https://github.com/almogh52/rnnoise-cmake

• Iluminação LED LOGITECH SDK (Integração do Mouse RGB): https://www.logitechg.com/en-us/innovation/developer-lab.html

• Qcustomplet : https://www.qcustomplet.com/index.php/introduction

• libnumbertext : https://github.com/numbertext/libnumberText

Contato

Você pode abrir um problema aqui ou ingressar no servidor Discord e discutir/perguntar qualquer coisa lá

Para mídia/licenciamento/quaisquer outras consultas formais, envie para este e -mail: [email protected]

Nota sobre licenciamento

Este programa em si é licenciado pelo MIT, mas para os modelos que você usa, os termos de licença deles se aplicam. Por exemplo, se você estiver no Vietnã e usando modelos TensorFlowTTs, terá que verificar aqui para alguns detalhes