speech aligner

ucapan-aligner

REACEME Cina:

Pidato-Aligner adalah alat yang menghasilkan anotasi penyelarasan waktu tingkat fonem dari "suara vokal" dan "teks bahasa".

Contoh

 # 调用 bin，输入语音列表和文本、输出对齐结果
cd egs/cn_phn
speech-aligner --config=conf/align.conf data/wav.scp data/text data/out.ali
# 查看输出对齐结果，包含: 文件名，音素时间起点(秒) 音素时间终点(秒) 音素
cat data/text data/out.ali
BAC009S0002W0122 而对楼市成交抑制作用最大的限购
BAC009S0002W0122
0.000 0.535 sil
0.535 0.540 $0
0.540 0.745 er_2
0.745 0.850 d
0.850 0.895 ui_4
0.895 1.305 l
1.305 1.435 ou_2
...
4.955 5.055 x
5.055 5.525 ian_4
5.525 5.745 g
5.745 5.930 ou_4
5.930 5.975 sil
.

Kompilasi

• Mempersiapkan:

  • cmake> = 3.1

  • Ada salah satu dari perpustakaan matematika antarmuka BLAS berikut:

    • Saran: MKL

      • Instal Conda dan Instal MKL Melalui Conda: conda install mkl (MKL akan diinstal dengan Conda secara default)
      • Saat menyusun, pastikan bahwa conda dapat dieksekusi ( which conda memiliki output)

    • atlas

      • Instalasi Ubuntu: sudo apt-get install libatlas3-base

      • Ada banyak distribusi Linux, dan jalur perpustakaan matematika berbeda dan berubah, sehingga Anda dapat menentukan jalur melalui perintah berikut:

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • Sistem OSX (Darwin) dilengkapi dengan kerangka kerja Accelerate, yang dapat disesuaikan

    • … Perpustakaan Matematika Lainnya, Anda dapat melihat cmake/Modules/FindBLAS.cmake untuk mempelajari tentang perpustakaan matematika yang didukung

• Kompilasi CMake

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• Hasil kompilasi

  • Bin/Pidato-Aligner: File yang dapat dieksekusi biner, panggilan khas ditampilkan dalam EGS/CN_PHN/run.sh, termasuk tiga parameter:
    • Konfigurasi: Mendukung parameter bacaan melalui file konfigurasi dan baris perintah --config=egs/cn_phn/conf/align.conf
    • Input: Daftar Audio, Daftar Teks yang sesuai
    • Output: Anotasi Penyelarasan Waktu Fonem

Skenario dan contoh aplikasi

• Riset:
  • Menghasilkan data pelatihan yang dimaksudkan waktu fonem untuk TTS
    • EGS/CN_PHN
• proyek:
  • Lirik Alignment
    • EGS/CN_LYRIC [TODO]
  • Subtitle Alignment
    • EGS/CN_SUBTITLE [TODO]
• untuk bersenang -senang:
  • Binatang hantu
    • EGS/CN_GC [TODO]

memperbarui

• Dukungan tambahan untuk input pinyin Cina (dengan nada), lihat EGS/CN_PHN/Data/Teks

Todo

• Lingkungan Cina: Tanda Baca dan Pemrosesan Bahasa Inggris
• Tambahkan lebih banyak contoh

tentang

• Proyek ini didasarkan pada proyek open source terkenal Voice Kaldi , yang mengikuti proyek asli.
• Contoh EGS/CN_PHN, Daftar Fonem yang digunakan adalah dari Proyek Open Source Kamus Tiongkok lainnya Dacidian .

---

Bahasa Inggris Readme:

Pidato-Aligner, adalah alat yang menghasilkan penyelarasan tingkat fonem antara ucapan manusia dan transkripnya

Contoh Penggunaan

 # call the bin，with speech and transcript as inputs
./bin/speech-aligner --config=egs/cn_phn/conf/align.conf egs/cn_phn/data/wav.scp egs/cn_phn/data/text egs/cn_phn/data/out.ali
# check the output alignment, include: filename, phoneme and its start/end time
cat egs/cn_phn/data/text egs/cn_phn/data/out.ali
BAC009S0002W0123
0.000 0.025 y
0.025 0.460 e_3
0.460 0.850 sil
0.850 0.985 ch
0.985 1.095 eng_2
...
2.655 2.735 zh
2.735 2.900 ong_1
2.900 2.960 d
2.960 3.665 ing_1
3.665 3.845 sil
.

Menyusun

• Persyaratan

  • cmake> = 3.1

  • Salah satu dari Blas Math Lib:

    • MKL (Direkomendasikan)

      • Instal Conda, dan gunakan untuk menginstal MKL: conda install mkl (MKL diinstal dengan Conda secara default)
      • Saat cmake, conda harus berada di jalan Anda

    • atlas

      • Ubuntu: sudo apt-get install libatlas3-base

      • Saat cmake, mungkin tidak menemukan atlas Anda secara otomatis, sehingga Anda perlu mengatur jalur matematika seperti di bawah ini:

      • cmake -DBLAS_VENDORS=ATLAS -DBLAS_ATLAS_LIB_DIRS=[/path/to/atlas/lib ..

    • Kerangka kerja percepatan (tidak perlu melakukan apa pun untuk "macOS/darwin")

    • ...

• cmake

  git clone .../speech-aligner.git
  cd speech-aligner
  mkdir build && cd build
  cmake ..
  make -j

• Hasil

  • bin/ucapan-aligner: file biner yang dapat dieksekusi, dengan argumen:
    • Konfigurasi: Melalui file konfigurasi (rekomendasi, misalnya: --config = EGS/CN_PHN/conf/align.conf) atau baris perintah
    • Input: Daftar WAV dan Daftar Transkripsi Korelasi (misalnya EGS/CN_PHN/Data)
    • Output: Hasil Alignment

Aplikasi

• untuk penelitian:
  • menghasilkan data pelatihan untuk TTS
    • EGS/CN_PHN: menghasilkan perataan fonem Cina
• untuk rekayasa:
  • Align Lyric
    • EGS/CN_LYRIC [TODO]
  • Sejumlah subtitle
    • EGS/CN_SUBTITLE [TODO]
• untuk bersenang -senang:
  • きちく
    • EGS/CN_GC [TODO]

Tentang

• Proyek ini didasarkan pada proyek open-source pidato yang bagus Kaldi .
• Fonem yang digunakan di lingkungan: EGS/CN_PHN, berasal dari proyek open-source Kamus Cina Dacidian .