be_nlp_speech_resources ดาวน์โหลด - be_nlp_speech_resources ซอร์สโค้ดดาวน์โหลดดาวน์โหลด

be_nlp_speech_resources

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

Belarusian NLP และทรัพยากรการประมวลผลคำพูด

ที่เก็บนี้มีลิงก์ไปยังภาษาธรรมชาติและการประมวลผลคำพูดและชุดข้อมูล

ได้รับแรงบันดาลใจจากโครงการที่คล้ายกันกับทรัพยากรการประมวลผลคำพูดของยูเครน: EGORSMKV/การพูดคุย-UK-UK

Todos:

เพิ่มคำอธิบายโดยละเอียดในรายการแต่ละรายการ
ประเมินโมเดลเกี่ยวกับมาตรฐานและบันทึกประสิทธิภาพของพวกเขา

- คำพูดเป็นข้อความ

- การดำเนินการ

WAV2VEC2 ได้รับการฝึกฝนเกี่ยวกับเสียงทั่วไป 8 + โมเดลภาษา Kenlm ที่ผ่านการฝึกอบรมเกี่ยวกับเสียงทั่วไป 8:
- รุ่น: ales/wav2vec2-cv-be
- ตัวอย่าง: Ales/WAV2VEC2-CV-BE-LM
- รหัส: Navalnica/WAV2VEC2-Belarusian
กระซิบ:
- รุ่น OpenAI/Whisper ดั้งเดิม
- Whisper Models ปรับแต่งในชุดข้อมูล Voice 11 Belarusian Common Voice 11:
  - กระซิบเล็ก:
    - แบบจำลอง: Ales/Whisper-Small-Belarusian
    - ทดสอบ wer บน Commonvoice11: 6.79
    - ตัวอย่าง: Ales/Whisper-Small-Belarusian-Demo
    - รหัส: Navalnica/Whisper-finetuning-be
  - ฐานกระซิบ:
    - แบบจำลอง: Ales/Whisper-base-belarusian
    - รหัส: Navalnica/Whisper-finetuning-be
Nvidia Nemo รุ่น:
- nvidia/stt_be_conformer_ctc_large
  - [HuggingFace Metric ที่รายงานด้วยตนเอง] การทดสอบ WER บน Commonvoice10: 4.8
- nvidia/stt_be_conformer_transducer_large
  - [HuggingFace Metric ที่รายงานด้วยตนเอง] การทดสอบ WER บน Commonvoice10: 3.8
- nvidia/stt_be_fastconformer_hybrid_large_pc
  - [HuggingFace Metric ที่รายงานด้วยตนเอง] การทดสอบ WER บน Commonvoice12: 2.72
  - [HuggingFace Metric ที่รายงานด้วยตนเอง] ทดสอบ WER P&C Commonvoice12: 3.87
ESPNET:
- ESPNET/BELARUSIAN_COMMONVOICE_BLSTM

- เกณฑ์มาตรฐาน

การเปรียบเทียบแบบจำลองจัดกลุ่มตามชุดข้อมูล สิ่งที่ต้องทำ

- ชุดข้อมูล

เสียงทั่วไป ชุดข้อมูลการรู้จำเสียงพูด
ชุดข้อมูลจาก knihi.com TODO: ชุดข้อมูลประเภทอะไร?
Google/Fleurs
SSRLAB: TODO ชุดข้อมูลการรู้จำเสียงพูด

- ข้อความเป็นคำพูด

- การดำเนินการ

การใช้งาน Coquiai
- jhlfrfufyfn/bel-tts Glowtts + Hifigan
  - รหัส
  - แบบอย่าง
  - การสาธิตเกี่ยวกับ HuggingFace
  - สาธิตบนหน้าเว็บที่กำหนดเอง ซอร์สโค้ดสำหรับหน้าสาธิต: ที่นี่
- Alex73/Belarusian-TTS การใช้งาน Coquiai โดย Yurii Paniv (@robinhad)
  repo & models ดั้งเดิมถูกลบ - เฉพาะส้อมพร้อมใช้งานแล้ว

NLP

การติดแท็ก

Koichiyasuoka/Roberta-Small-Belarusian-upos
stanfordnlp/stanza-be
Poritski/yabc_tagger Pos-tagger ตามกฎและ lemmatizer
เขียนใน Perl ใช้ Poritski/YABC เป็นฐานไวยากรณ์ (?)
Volchek/Beltagg รุ่นที่ได้รับการปรับปรุงของ PORITSKI/YABC_TAGGER กฎ POS-TAGGER และ LEMMATIZER
ข้ามแพลตฟอร์มเขียนใน C ++
ปัญหาที่รู้จัก:
- ต้องการข้อมูลอินพุตที่จะได้รับการควบคุมใน Windows-1251 ไม่รองรับ UTF-8
- Tagset ไม่เข้ากันได้อย่างสมบูรณ์กับฐานแท็กและฐานไวยากรณ์ของ Bnkorpus
- ฐานไวยากรณ์ที่ใช้ไม่เต็มพอ Belarus/Grammardb เป็นแหล่งกระบวนทัศน์ที่ดีกว่า แต่ยังไม่ได้รวมเข้าด้วยกัน
- สคริปต์การคำนวณตารางต่อท้ายไม่ได้รับการพอร์ตจาก Perl ถึง C ++
- รหัสใช้ boost libarary