mongolian nlp

Repo ini akan berisi daftar sumber daya yang berguna untuk NLP Mongolia. Jangan ragu untuk berkontribusi.

Kumpulan data

• DATASET ~ 8 jam Dataset TTS Mongolia: Mntts Dibuat dari Universitas Mongolia Dalam, Cina
  • Entri Aplikasi
  • Kode Sumber Model TTS
  • Kertas
• DATASET ljspeech seperti dataset suara jantan TTS dibuat dari Alkitab Mongolia
  • Digunakan dalam Tugstugi/Pytorch-DC-TTS
  • Gunakan dl_and_preprop_dataset.py untuk mengunduh file audio
• DATASET ljspeech seperti Kalmyk (West Mongolian) Voice TTS Dataset Dibuat dari Kalmyk Bible (2 jam)
• DATASET 300 jam Kalmyk Sintetis STT Dataset Dibuat oleh Model Konversi Suara
  • Setiap wav memiliki teks berbeda yang dibuat dari buku Kalmyk
  • Sumber suara adalah TTS wanita Alkitab Kalmyk
  • Suara target berasal dari dataset VCTK
  • Contoh wav: https://twitter.com/tugstugi/status/1409111296897912835
• DATASET eduge berita klasifikasi dataset disediakan oleh Bolorsoft LLC
  • Digunakan untuk melatih EDUGE.MN Production News Classifier
  • 75K Berita dengan 9 Kategori: урлаг соёл технологи , эдийн засаг эрүүл мэнд хууль , улс төр ө б бчutu, боловсрол байгал орчин спорт өонandi, сонandi, соовandi,
• DATASET 11-11.MN Dataset Pengaduan Badan Pemerintah
  • 80K dengan 5 kategori: санал хүсэлт , гомдол , шүүмжлэл талархал өргөдөл
• DATASET Corpus Berita Online
  • 700 juta kata
• DATASET Digital Archive of Mongolian Newspapers 1990-1995 dari British Library
• Dataset Mongolia Perayapan Umum
• opendata.burtgel.gov.mn
  • DATASET 220K Nama Pribadi Mongolia
  • DATASET 90K Klan Mongolia/Nama Keluarga
  • DATASET 192K Nama Perusahaan Mongolia
• DATASET Nama Provinsi Mongolia (AIMAGS DAN SUMS)
• DATASET 195 Negara (dengan ibu kota) Nama dalam bahasa Mongolia
• DATASET 250 Kata -kata Mongolia Terbanyak dari Berita Mongolia, Buku, dan Artikel Wikipedia. (Total 670m kata / 2m kata unik).
  • Kata -kata ini dapat digunakan juga sebagai kata -kata berhenti.
• DATASET 500 Singkatan Mongolia
• DATASET Dataset Ner Mongolia Dibuat dari Politik dan Berita Olahraga Mongolia
  • Kalimat 10k Dianotasi oleh Tugstugi dan Enod Menggunakan Doccano
  • 4 Kategori LOCATION (6453/1753), PERSON (2839/1698), ORGANIZATION (4453/1970) dan MISC (3716/2617)
• DATASET Mongolian POS Dataset dari Universitas Nasional Mongolia
  • 100 ribu kata
  • Tagset POS yang digunakan
• DATASET Dataset OCR Sintetis Tradisional Mongolia Dibuat dari Lirik Lagu dan Kamus Lagu Mongolia
  • Gambar 80K
  • Tanpa augmentasi data, untuk menambah data menggunakan pustaka eksternal seperti albumentation.
• DATASET Dataset OCR Mongolia Tradisional
  • 164631 Sampel, 200 orang
• DATASET Tulisan Tangan Mongolian Cyrillic Charaes Database dari Universitas Sains dan Teknologi Mongolia
  • 28x28 Grey Scale, 350K gambar
  • deskripsi dataset
• DATASET WordNet Mongolian dari Universitas Nasional Mongolia
  • 26875 Kata, 2979 Glosses, 23665 Synset, 213 Contoh
• DATASET Morfologi Infleksional Mongolia dari Unimorph 4.0
  • 2085 Lemmas dan 14592 Infleksi (+ Segmentasi Morfem)
• DATASET Morfologi Derivasional Mongolia dari Morphynet
  • 1410 Lemmas, 1629 Derivasi, dan 229 sufiks derivasi.
• DATASET Multilingual Lisan Kata Multilingual Kata Kata Data Dataset
  • 2200 Kata Kunci Mongolia, 44000 file audio
  • Contoh Kata Kunci: аав , байна , бэлдэж , дүрслэх , ламын , олов , сонирхож , тний, ханас, ххлиар, чигэээнйнйнанаentar, хуулиар хаанаас чиглэсэн : эээээancing dari ээээээancingээ dariэээээancing dari эээээancing dari ээээээancing dari ээээээancing dari эээээээээээ: түүний , хллиilan,
• DATASET Kalmyk Text Corpus Kecil
  • koran, puisi dll.

Teks-ke Mongolia

• PYTORCH Tugstugi/Pytorch-DC-TTS
  • DEMO Demo Online Demo
  • DATASET ljspeech seperti dataset suara pria dibuat dari Alkitab Mongolia
• TF Tugstugi/Tacotron-2 Garpu Rayhane-Mamah/Tacotron-2 diadaptasi untuk dataset Alkitab Mongolia
  • DEMO Demo Online Demo
  • Adaptasi DEMO demo Demo online Colab untuk mantan presiden Mongolia Elbegdorj. Model Tacotron yang dilatih dengan dataset Alkitab Mongolia 5 jam disesuaikan dengan dataset 10 menit yang dibuat dari pidato Elbegdorj.
• PYTORCH Chimege TTS Demo
  • 1x perempuan
  • Nvidia/tacotron2 + nvidia/waveglow
• DEMO Hmm TTS Demo Online Universitas Nasional Mongolia
  • 1x Suara Pria dan 2x Wanita
• DEMO Hmm lagi? TTS Demo Online dari “мон спийч й ти” хх хх хх хх хх хх хх хх хх хх
  • Server demo saat ini turun
  • 1x jantan dan 1x betina
  • Sampel suara wanita
• SAMPLES Tacotron2 TTS Demo Sampel Ikon.mn
  • 1x betina (35 jam)
  • Nvidia/tacotron2 + nvidia/waveglow
• DEMO demo online berbasis demo hmm dari universitas mongolia bagian dalam
  • 1x perempuan
• DEMO MTL-Tacotron TTS Sampel Demo dari Universitas Mongolia Dalam & Universitas Nasional Singapura
  • 1x perempuan
• TF TTSLR/MONTTS Kode Pelatihan TTS Mongolia Dalam
  • SAMPLES sampel ucapan
  • DATASET SAMPLES Monspeech dari Universitas Mongolia Dalam
  • Dataset dan model pretrain tidak tersedia
• TF Walker-Hyf/Mntts Dataset TTS Mongolia dan Kode Pelatihan
  • SAMPLES sampel ucapan
  • DATASET Mntts dari Universitas Mongolia Dalam
  • Tautan Unduh Pretrained Model
  • Dataset dan model pretrained tersedia :)
• PRODUCT Pembaca Layar NVDA/HTS dikembangkan oleh Innovation Development Center for the Blind
  • 1x perempuan (National University of Mongolia Voice)
• PYTORCH/DEMO Kalmyk TTS Demo Kalmyk adalah bahasa mongolik yang digunakan di Rusia
  • Dataset dibuat dari Kalmyk Bible (2 jam)
  • Nvidia/tacotron2 + nvidia/waveglow
• PYTORCH/DEMO Kalmyk TTS Demo dari Silero Kalmyk adalah bahasa mongolik yang digunakan di Rusia
  • Snakers4/silero-model

Model Bahasa Mongolia

• MODEL 5-gram biner LM yang dihasilkan oleh Kenlm pada Corpus Kotor 670m.
  • dapat digunakan baik dengan mozilla/deepspeech: ./generate_trie alphabet.txt mn_5gram.binary trie
  • atau di Tugstugi/Mongolian-Speech-diakui
• TF / PYTORCH Tugstugi / Mongolian-Bert Pretrained Mongolian Bert Model
  • Dilatih oleh Tugstugi, Enod dan Sharavsambuu
  • Nabar mensponsori 5X TPU.
• PYTORCH Bayartsogt-ya/Albert-Mongolia Pretrained Mongolian Albert
• Eksperimen PYTORCH RoberTritz/NLP Ulmfit
• PYTORCH huggingface.co/bayartsogt/mongolian-gpt2 model GPT-2 Mongolia
• PYTORCH huggingface.co/bayartsogt/mongolian-roberta-base model mongolian rangkapta mongolian

Pengenalan Pidato Mongolia

• PYTORCH Tugstugi/Mongolian-Speech-diakui
  • DEMO Chimege Pidato Recognition
  • Dataset berpemilik digunakan
• PRODUCT Input Suara Mongolia Cina dan Tradisional dari Aicloud.com
  • tautan langsung ke file apk
  • tampaknya hanya bekerja untuk kasus sederhana (atau hanya berfungsi untuk dialek Mongolia selatan ...)
  • Sistem yang sama tetapi untuk Windows (menurut seseorang, Anda harus mendaftar dengan kartu identitas Cina untuk menggunakannya)
• DEMO Pengakuan Pidato Universitas Mongolia Dalam
  • tampaknya tidak fungsional
• PRODUCT Huawei Cloud ASR mendukung bahasa minoritas seperti Mongolia, Tibet, dan Uyghur.
• PRODUCT Google Cloud Speech-to-Text
  • 20% WER pada 3000 Audio Private Test Dataset
• PYTORCH wav2vec2 xlsr finetuned on Mongolian Common Voice
  • DEMO Demo Online Demo
  • 50% WER
• PYTORCH wav2vec2 xlsr dilatih pada dataset kalmyk
  • Pretrain pada 500 jam rekaman TV Kalmyk dan 1000 jam dataset pengenalan suara Mongolia
  • Finetuned pada 300 jam dataset Kalmyk STT sintetis yang dibuat oleh konversi suara
  • 50% tidak pada set tes pribadi yang dibuat dari rekaman TV Kalmyk, pada rekaman suara bersih, itu harus jauh lebih rendah
  • DEMO https://huggingface.co/tugstugi/wav2vec2-large-xlsr-53-kalmyk
• TF coqui.ai pengakuan ucapan Mongolia dilatih tentang Commonvoice Mongolia
  • 90,08% WER

Naskah Mongolia

• DEMO Cyrillic to Mongolian Script Converter Demo dari Universitas Mongolia Dalam
• DEMO Mongolian Script OCR Demo Universitas Mongolia Dalam
• PYTORCH Tugstugi/Bichig2cyrillic Mongolian Script untuk (dan kembali) Cyrillic Converter
  • DEMO Cyrillic ke Demo Online Colab Mongolia
• PYTORCH Tugstugi/Image2Bichig OCR Mongolia Tradisional Menggunakan CRNN
  • Demo demo DEMO
  • DATASET Dataset OCR Sintetis Mongolia Tradisional

Klasifikasi Teks Mongolia

• TF2 Sharavsambuu/Mongolian-Text-Klasifikasi
• SKLEARN / DEMO Simple SVM Colab Notebook mengklasifikasikan dataset eduge dengan akurasi sekitar 91%.
  • Model kalimat dari Tugstugi/Mongolian-Bert digunakan sebagai tokenizer teks.

Mongolian bernama Entity Recognition

• DATASET Dataset Ner Mongolia Dibuat dari Politik dan Berita Olahraga Mongolia
  • Untuk info lebih lanjut lihat Dataset
• PYTORCH Enod/Mongolian-Bert-GNE Bert Mongolian Ner
  • Menggunakan Tugstugi/Mongolia-Bert Model Mongolia Pra-Latih Bert
• DEMO demo National University of Mongolia

Misc

• PYTORCH Tugstugi/Forced_aligner Mongolian Forced Alignment Tool Menggunakan Rayhane-Mamah/Tacotron-2 dan Readbeyond/Aeneas
  • DEMO Demo Online Demo
• TF2 Transliterasi Colab Colab Notebook Sharavsambuu/Cyrillic-Mongolian-Transliterasi
• DATASET 1M Tautan Unduh Mn-> En
  • Sharavsambuu/English-Mongolian-NMT-Dataset-Agustasi
• DICTIONARY Kamus Digitalisasi Mongolia dari Pusat Asia Timur Laut Universitas Tohoku di Jepang
  • Untuk penggunaan, lihat Digitalisasi Bahasa Mongolia: Pengantar Polyglot “Kamus Online dan Pencarian Teks Lengkap Bahasa Mongolia dan Manchu Tertulis”
  • Ini juga termasuk pengucapan IPA untuk kata -kata Mongolia