speech aligner

alineador del habla

Readme chino:

Speech-Aligner es una herramienta que genera anotaciones de alineación de tiempo a nivel de fonema de "Vocal Voice" y su "texto del lenguaje".

Ejemplo

 # 调用 bin，输入语音列表和文本、输出对齐结果
cd egs/cn_phn
speech-aligner --config=conf/align.conf data/wav.scp data/text data/out.ali
# 查看输出对齐结果，包含: 文件名，音素时间起点(秒) 音素时间终点(秒) 音素
cat data/text data/out.ali
BAC009S0002W0122 而对楼市成交抑制作用最大的限购
BAC009S0002W0122
0.000 0.535 sil
0.535 0.540 $0
0.540 0.745 er_2
0.745 0.850 d
0.850 0.895 ui_4
0.895 1.305 l
1.305 1.435 ou_2
...
4.955 5.055 x
5.055 5.525 ian_4
5.525 5.745 g
5.745 5.930 ou_4
5.930 5.975 sil
.

Compilación

• Preparar:

  • cmake> = 3.1

  • Hay una de las siguientes bibliotecas de matemáticas de interfaz BLAS:

    • Sugerencias: MKL

      • Instale conda e instale MKL a través de Conda: conda install mkl (MKL se instalará con conda de forma predeterminada)
      • Al compilar, asegúrese de que conda sea ejecutable ( which conda tiene salida)

    • atlas

      • Instalación de Ubuntu: sudo apt-get install libatlas3-base

      • Hay muchas distribuciones de Linux, y las rutas de la biblioteca de matemáticas son diferentes y cambian, por lo que puede especificar la ruta a través del siguiente comando:

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • El sistema OSX (Darwin) viene con el marco Acelerate, que se puede ajustar

    • ... Otras bibliotecas de matemáticas, puede ver cmake/Modules/FindBLAS.cmake para aprender sobre las bibliotecas de matemáticas con apoyo

• compilación de cmake

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• Resultados de compilación

  • Bin/Speech-Aligner: un archivo ejecutable binario, las llamadas típicas se muestran en EGS/CN_PHN/Run.sh, incluidos tres parámetros:
    • Configuración: admite los parámetros --config=egs/cn_phn/conf/align.conf lectura a través de archivos de configuración y líneas de comando.
    • Entrada: lista de audio, lista de texto correspondiente
    • Salida: Anotación de alineación de tiempo del fonema

Escenarios y ejemplos de la aplicación

• Investigación:
  • Generar datos de entrenamiento de tiempo fonema notas para TTS
    • EGS/CN_PHN
• proyecto:
  • Alineación de letras
    • EGS/CN_LYRIC [TODO]
  • Alineación de subtítulos
    • EGS/CN_SUBTITLE [TODO]
• por diversión:
  • Bestia fantasma
    • EGS/CN_GC [TODO]

renovar

• Soporte agregado para la entrada china Pinyin (con Tune), consulte EGS/CN_PHN/Data/Text

Hacer

• Medio ambiente chino: puntuación y procesamiento de inglés
• Agregar más ejemplos

acerca de

• El proyecto se basa en el famoso proyecto de código abierto de Voice Kaldi , que sigue al proyecto original.
• Ejemplo EGS/CN_PHN, la lista de fonemas utilizados es de otro proyecto de código abierto del diccionario chino Dacidian .

---

Readme inglés:

Alineador del habla, es una herramienta que genera una alineación a nivel de fonema entre el discurso humano y su transcripción

Ejemplo de uso

 # call the bin，with speech and transcript as inputs
./bin/speech-aligner --config=egs/cn_phn/conf/align.conf egs/cn_phn/data/wav.scp egs/cn_phn/data/text egs/cn_phn/data/out.ali
# check the output alignment, include: filename, phoneme and its start/end time
cat egs/cn_phn/data/text egs/cn_phn/data/out.ali
BAC009S0002W0123
0.000 0.025 y
0.025 0.460 e_3
0.460 0.850 sil
0.850 0.985 ch
0.985 1.095 eng_2
...
2.655 2.735 zh
2.735 2.900 ong_1
2.900 2.960 d
2.960 3.665 ing_1
3.665 3.845 sil
.

Compilar

• Requisitos

  • cmake> = 3.1

  • uno de Blas Math lib:

    • MKL (recomendado)

      • Instale CondA y úselo para instalar MKL: conda install mkl (MKL está instalado con Conda de forma predeterminada)
      • Cuando Cmake, conda debe estar en su camino

    • atlas

      • Ubuntu: sudo apt-get install libatlas3-base

      • Cuando CMake, es posible que no encuentre su Atlas automáticamente, por lo tanto, debe establecer la ruta de Lib Math como a continuación:

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • Marco de acelerar (no es necesario hacer nada para "macOS/Darwin")

    • ...

• CMake

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• Resultados

  • bin/alineador del habla: un archivo ejecutable binario, con argumentos:
    • Configuración: a través del archivo de configuración (recomendación, por ejemplo: --config = egs/cn_phn/conf/align.conf) o línea de comando
    • Entradas: la lista WAV y la lista de transcripción de correlación (por ejemplo, EGS/CN_PHN/DATA)
    • Salida: la alineación de resultados

Aplicaciones

• Para la investigación:
  • Generar datos de capacitación para TTS
    • EGS/CN_PHN: Generar alineación de fonemas chinos
• Para la ingeniería:
  • alinear la letra
    • EGS/CN_LYRIC [TODO]
  • alinear subtítulo
    • EGS/CN_SUBTITLE [TODO]
• por diversión:
  • きちく
    • EGS/CN_GC [TODO]

Acerca de

• Este proyecto se basa en un gran proyecto de código abierto del discurso Kaldi .
• Los fonemas utilizados en el medio ambiente: EGS/CN_PHN, provienen de un proyecto de código abierto del diccionario chino Dacidian .