speech aligner

речь

Китайский Ридме:

Речь Alignerer-это инструмент, который генерирует аннотации выравнивания времени на уровне фонемы от «вокального голоса» и его «текста языка».

Пример

 # 调用 bin，输入语音列表和文本、输出对齐结果
cd egs/cn_phn
speech-aligner --config=conf/align.conf data/wav.scp data/text data/out.ali
# 查看输出对齐结果，包含: 文件名，音素时间起点(秒) 音素时间终点(秒) 音素
cat data/text data/out.ali
BAC009S0002W0122 而对楼市成交抑制作用最大的限购
BAC009S0002W0122
0.000 0.535 sil
0.535 0.540 $0
0.540 0.745 er_2
0.745 0.850 d
0.850 0.895 ui_4
0.895 1.305 l
1.305 1.435 ou_2
...
4.955 5.055 x
5.055 5.525 ian_4
5.525 5.745 g
5.745 5.930 ou_4
5.930 5.975 sil
.

Компиляция

• Подготовить:

  • Cmake> = 3.1

  • Есть одна из следующих библиотек интерфейса BLAS по математике:

    • Предложения: Mkl

      • Установите Conda и установите MKL через Conda: conda install mkl (MKL будет установлен с Conda по умолчанию)
      • При компиляции убедитесь, что conda выполняется ( which conda есть вывод)

    • атлас

      • Установка Ubuntu: sudo apt-get install libatlas3-base

      • Есть много распределений Linux, и пути математической библиотеки различны и изменяются, поэтому вы можете указать путь через следующую команду:

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • Система OSX (Darwin) поставляется с рамками ускорения, которые можно отрегулировать

    • … Другие математические библиотеки, вы можете просмотреть cmake/Modules/FindBLAS.cmake чтобы узнать о поддерживаемых математических библиотеках

• Cmake Compilation

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• Результаты компиляции

  • Bin/Speech-Aligner: двоичный исполняемый файл, типичные вызовы показаны в EGS/CN_PHN/RUN.SH, включая три параметра:
    • Конфигурация: поддерживает параметры чтения через файлы конфигурации --config=egs/cn_phn/conf/align.conf командные строки.
    • Ввод: Список аудио, соответствующий текстовый список
    • Вывод: аннотация выравнивания времени фонем

Сценарии применения и примеры

• Исследовать:
  • Генерировать фонемные данные обучения для TTS
    • EGS/CN_PHN
• проект:
  • Тексты песен
    • egs/cn_lyric [todo]
  • Выравнивание субтитров
    • egs/cn_subtitle [todo]
• для развлечения:
  • Призрачный зверь
    • egs/cn_gc [todo]

обновлять

• Добавлена ​​поддержка ввода китайского пиньина (с Tune), см. EGS/CN_PHN/DATA/TEXT

Тодо

• Китайская среда: пунктуация и обработка английского языка
• Добавьте больше примеров

о

• Проект основан на знаменитом проекте с открытым исходным кодом Voice Kaldi , который следует за оригинальным проектом.
• Пример EGS/CN_PHN, используемый список фонем, взят из другого китайского словаря с открытым исходным кодом Dacidian .

---

Английский readme:

речевая речь,-это инструмент, который генерирует выравнивание на уровне фонемы между человеческой речью и ее транскрипцией

Пример использования

 # call the bin，with speech and transcript as inputs
./bin/speech-aligner --config=egs/cn_phn/conf/align.conf egs/cn_phn/data/wav.scp egs/cn_phn/data/text egs/cn_phn/data/out.ali
# check the output alignment, include: filename, phoneme and its start/end time
cat egs/cn_phn/data/text egs/cn_phn/data/out.ali
BAC009S0002W0123
0.000 0.025 y
0.025 0.460 e_3
0.460 0.850 sil
0.850 0.985 ch
0.985 1.095 eng_2
...
2.655 2.735 zh
2.735 2.900 ong_1
2.900 2.960 d
2.960 3.665 ing_1
3.665 3.845 sil
.

Компиляция

• Требования

  • Cmake> = 3.1

  • Один из Blas Math Lib:

    • MKL (рекомендуется)

      • Установите Conda и используйте его для установки MKL: conda install mkl (MKL установлен с Conda по умолчанию)
      • При Cmake, conda должна быть на вашем пути

    • атлас

      • Ubuntu: sudo apt-get install libatlas3-base

      • При Cmake он может не найти ваш атлас автоматически, поэтому вам нужно установить математический путь, как ниже:

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • Ускорить структуру (нужно ничего не делать для "macos/darwin")

    • ...

• Cmake

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• Результаты

  • Bin/Speech-Aligner: двоичный исполняемый файл с аргументами:
    • Конфигурация: через файл конфигурации (рекомендация, например: -config = egs/cn_phn/conf/align.conf) или командная строка
    • Входные данные: список WAV и список транскрипции корреляции (например, EGS/CN_PHN/DATA)
    • Вывод: выравнивание результата

Приложения

• Для исследования:
  • генерировать данные обучения для TTS
    • egs/cn_phn: генерировать китайскую выравнивание фонем
• Для инженерии:
  • Выровнять лирику
    • egs/cn_lyric [todo]
  • Выровнять подзаголовок
    • egs/cn_subtitle [todo]
• для развлечения:
  • きちく
    • egs/cn_gc [todo]

О

• Этот проект основан на отличном проекте с открытым исходным кодом Kaldi .
• Фонемы, используемые в окружающей среде: egs/cn_phn, происходят из китайского словаря с открытым исходным кодом Dacidian .