speech aligner

alinhador de fala

Readme chinês:

Aligner de fala é uma ferramenta que gera anotações de alinhamento de tempo em nível de fonema de "Vocal Voice" e seu "texto da linguagem".

Exemplo

 # 调用 bin，输入语音列表和文本、输出对齐结果
cd egs/cn_phn
speech-aligner --config=conf/align.conf data/wav.scp data/text data/out.ali
# 查看输出对齐结果，包含: 文件名，音素时间起点(秒) 音素时间终点(秒) 音素
cat data/text data/out.ali
BAC009S0002W0122 而对楼市成交抑制作用最大的限购
BAC009S0002W0122
0.000 0.535 sil
0.535 0.540 $0
0.540 0.745 er_2
0.745 0.850 d
0.850 0.895 ui_4
0.895 1.305 l
1.305 1.435 ou_2
...
4.955 5.055 x
5.055 5.525 ian_4
5.525 5.745 g
5.745 5.930 ou_4
5.930 5.975 sil
.

Compilação

• Preparar:

  • cmake> = 3.1

  • Existe uma das seguintes bibliotecas de matemática da interface blas:

    • Sugestões: Mkl

      • Instale o CONDA e instale o MKL através do CONDA: conda install mkl (o MKL será instalado com o CONDA por padrão)
      • Ao compilar, verifique se conda é executável ( which conda tem saída)

    • atlas

      • Instalação do Ubuntu: sudo apt-get install libatlas3-base

      • Existem muitas distribuições Linux, e os caminhos da biblioteca de matemática são diferentes e mudam, para que você possa especificar o caminho através do seguinte comando:

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • O sistema OSX (Darwin) vem com estrutura acelerada, que pode ser ajustada

    • … Outras bibliotecas de matemática, você pode ver cmake/Modules/FindBLAS.cmake para aprender sobre as bibliotecas de matemática suportadas

• Compilação de cmake

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• Resultados da compilação

  • BIN/Aligner de fala: Um arquivo executável binário, chamadas típicas são mostradas em EGS/CN_PHN/RUN.SH, incluindo três parâmetros:
    • Configuração: suporta parâmetros --config=egs/cn_phn/conf/align.conf leitura por meio de arquivos de configuração e linhas de comando.
    • Entrada: Lista de áudio, lista de texto correspondente
    • Saída: anotação de alinhamento de tempo do fonema

Cenários e exemplos de aplicação

• Pesquisar:
  • Gerar dados de treinamento com notificação de tempo para TTS para TTS
    • EGS/CN_PHN
• projeto:
  • Alinhamento das letras
    • EGS/CN_LYRIC [TODO]
  • Alinhamento de legenda
    • EGS/CN_SUBTITLE [TODO]
• por diversão:
  • Besta fantasma
    • EGS/CN_GC [TODO]

renovar

• Adicionado suporte para entrada pinyin chinesa (com música), consulte EGS/CN_PHN/DATA/TEXT

Pendência

• Ambiente chinês: pontuação e processamento em inglês
• Adicione mais exemplos

sobre

• O projeto é baseado no famoso projeto de código aberto de Voice Kaldi , que segue o projeto original.
• Exemplo EGS/CN_PHN, a lista de fonemas usada é de outro projeto de código aberto do dicionário chinês Dacidian .

---

Readme inglês:

Aligner de fala, é uma ferramenta que gera alinhamento no nível do fonema entre a fala humana e sua transcrição

Exemplo de uso

 # call the bin，with speech and transcript as inputs
./bin/speech-aligner --config=egs/cn_phn/conf/align.conf egs/cn_phn/data/wav.scp egs/cn_phn/data/text egs/cn_phn/data/out.ali
# check the output alignment, include: filename, phoneme and its start/end time
cat egs/cn_phn/data/text egs/cn_phn/data/out.ali
BAC009S0002W0123
0.000 0.025 y
0.025 0.460 e_3
0.460 0.850 sil
0.850 0.985 ch
0.985 1.095 eng_2
...
2.655 2.735 zh
2.735 2.900 ong_1
2.900 2.960 d
2.960 3.665 ing_1
3.665 3.845 sil
.

Compilar

• Requisitos

  • cmake> = 3.1

  • Um dos matemáticos blas Lib:

    • MKL (recomendado)

      • Instale o CONDA e use -o para instalar MKL: conda install mkl (MKL é instalado com conda por padrão)
      • Quando cmake, conda deve estar em seu caminho

    • atlas

      • Ubuntu: sudo apt-get install libatlas3-base

      • Quando cmake, pode não encontrar seu atlas automaticamente, portanto, você precisa definir o caminho da matemática como abaixo:

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • Acelere a estrutura (não precisa fazer nada para "macOS/darwin")

    • ...

• cmake

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• Resultados

  • BIN/Aligner de fala: um arquivo executável binário, com argumentos:
    • Configuração: através do arquivo de configuração (recomendação, por exemplo: - -config = egs/cn_phn/conf/align.conf) ou linha de comando
    • Entradas: a lista WAV e a lista de transcrição de correlação (por exemplo, por exemplo, CN_PHN/DATA)
    • Saída: o alinhamento do resultado

Aplicações

• para pesquisa:
  • gerar dados de treinamento para TTS
    • EGS/CN_PHN: Gere alinhamento de fonema chinês
• para engenharia:
  • alinhe letra
    • EGS/CN_LYRIC [TODO]
  • Alinhe a legenda
    • EGS/CN_SUBTITLE [TODO]
• por diversão:
  • きちく
    • EGS/CN_GC [TODO]

Sobre

• Este projeto é baseado em um excelente projeto de discurso de código aberto Kaldi .
• Os fonemas usados ​​no ambiente: EGS/CN_PHN, vêm de um projeto de código aberto do dicionário chinês Dacidian .