mongolian nlp

Этот репо будет содержать список полезных ресурсов для монгольского НЛП. Не стесняйтесь вносить свой вклад.

Наборы данных

• DATASET ~ 8 часов монгольского набора данных TTS: MNTTS, созданные из Университета Внутренней Монголии, Китай
  • Запись приложения
  • Исходный код модели TTS
  • Бумага
• DATASET LJSPEECH, как набор данных Male Voice TTS, созданный из монгольской Библии
  • используется в Tugstugi/Pytorch-DC-TTS
  • Используйте DL_AND_PREPROP_DATASET.PY, чтобы загрузить аудиофайлы
• DATASET LJSPEECH, такой как Kalmyk (West Mongolian) Женский набор данных TTS, созданный из Библии Калмика (2 часа)
• DATASET 300 часов калмик синтетический набор данных STT, созданный моделью преобразования голоса
  • У каждого WAV есть другой текст, созданный из книг Kalmyk
  • Источник голоса - это библейская библейская TTS Kalmyk
  • Целевые голоса взяты из набора данных VCTK
  • Пример WAV: https://twitter.com/tugstugi/status/1409111296897912835
• Набор DATASET классификации новостей Eduge
  • используется для обучения классификатора новостей Eduge.mn Production
  • 75K News с 9 категориями технологи урлаг соёл байгал орчин эдийн засаг , эрүүл мэнд , хууль , улс төр , спорт , боловсрол
• DATASET 11-11.MN Набор данных о жалобах государственного агентства
  • 80K с 5 категориями: санал хүсэлт , гомдол , шүүмжлэл , талархал и өргөдөл
• DATASET онлайн новости корпус
  • 700 миллионов слов
• DATASET Цифровой архив монгольских газет 1990-1995 гг. Британской библиотеки
• Распространенный набор данных монгольского
• opendata.burtgel.gov.mn
  • DATASET 220K Монгольские личные имена
  • DATASET 90K Монгольский клан/фамилии
  • DATASET 192K Монгольские названия компаний
• DATASET монгольских провинций (aimags и sums) имена
• DATASET 195 Страна (с столицами) Названия на монгольском языке
• DATASET 250 Монгольские наиболее частые слова из монгольских новостей, книг и статей Википедии. (Всего 670 М слов / 2 млн. Уникальных слов).
  • Эти слова могут быть использованы также в качестве остановских слов.
• DATASET 500 Монгольских сокращений
• DATASET данных монгольского набора данных, созданный из монгольской политики и спортивных новостей
  • 10K предложения аннотированы Tugstugi и Enod с использованием doccano
  • 4 Категории LOCATION (6453/1753), PERSON (2839/1698), ORGANIZATION (4453/1970) и MISC (3716/2617)
• Набор DATASET Mongolian POS национального университета Монголии
  • 100 тыс. Слова
  • Используемые POS -теги
• DATASET традиционный монгольский набор данных синтетического OCR, созданный из монгольских песен и словаря
  • 80 тыс. Изображения
  • Без какого -либо увеличения данных для увеличения данных используйте внешние библиотеки, такие как ilbumentations.
• DATASET традиционный набор данных монгольского OCR
  • 164631 выборка, 200 человек
• DATASET Рукописная база данных монгольских кириллических символов Монгольского университета науки и технологий
  • 28x28 серая шкала, изображения 350K
  • Описание набора данных
• DATASET Монгольский слов Национального университета Монголии
  • 26875 слов, 2979 глянец, 23665 Synsets, 213 примеров
• Монгольская инфекционная морфология DATASET из Unimorph 4.0
  • 2085 леммы и 14592 перегиб (+ сегментация морфем)
• Монгольская деривационная морфология DATASET из морфина
  • 1410 леммы, 1629 г. Деривации и 229 деривационных суффиксов.
• Набор DATASET многоязычный набор данных многоязычного ключевого слова
  • 2200 монгольских ключевых слов, 44000 аудиофайлов
  • Пример ключевые слова: аав , байна , бэлдэж , дүрслэх , ламын , олов хаанаас хуулиар чиглэсэн сонирхож түүний
• DATASET Small Kalmyk Text Corpus
  • Газета, поэзия и т. Д.

Монгольский текст в речь

• PYTORCH Tugstugi/Pytorch-DC-TTS
  • DEMO -колаба онлайн демо
  • DATASET ljspeech как мужской набор данных голоса, созданный из монгольской Библии
• TF Tugstugi/Tacotron-2 вилка Rayhane-Mamah/Tacotron-2, адаптированная для монгольского набора библейских данных
  • DEMO -колаба онлайн демо
  • DEMO адаптация Colab Online Demo для бывшего президента Монгольского Эльбегдоржа. Такотронская модель, обученная 5 -часовой монгольской библейской наборе данных, была прекрасно настроена с 10 -минутным набором данных, созданным из речи Эльбегдорж.
• PYTORCH Chimege Demo
  • 1x женщина
  • NVIDIA/TACOTRON2 + NVIDIA/WAVEGLOW
• DEMO HMM TTS онлайн демо Демо -версии Национального университета Монголии
  • 1x мужчина и 2 -кратные женские голоса
• DEMO Еще один хм? TTS онлайн демо от «Мона Спи»
  • Демо -сервер в настоящее время упал
  • 1x мужской и 1x женский
  • Женские образцы голоса
• SAMPLES Tacotron2 TTS Демонстрационные образцы ikon.mn
  • 1x женщина (35 ч)
  • NVIDIA/TACOTRON2 + NVIDIA/WAVEGLOW
• DEMO HMM на базе TTS онлайн демо Внутреннего Монгольского университета
  • 1x женщина
• DEMO MTL-Tacotron TTS Демо-образцы Внутреннего монгольского университета и Национального университета Сингапура
  • 1x женщина
• TF TTSLR/Монттс Внутренний монгольский код обучения TTS
  • Образцы речевых SAMPLES
  • DATASET SAMPLES Monspeech Внутреннего Университета Монголии
  • Наборы данных и предварительные модели недоступны
• TF Walker-HYF/MNTTS Внутренний набор данных TTS и код обучения
  • Образцы речевых SAMPLES
  • DATASET MNTTS Внутреннего Университета Монголии
  • Ссылка для скачивания Pretrained Model
  • Наборы данных и предварительные модели доступны :)
• PRODUCT NVDA/HTS Screen Reader, разработанный Центром инноваций для слепых
  • 1x женщина (Голос Национального университета Монголии)
• PYTORCH/DEMO Demo Kalmyk TTS Демо, Калмик - монголичный язык, на котором говорят в России
  • Набор данных, созданный из Библии Калмика (2 часа)
  • NVIDIA/TACOTRON2 + NVIDIA/WAVEGLOW
• PYTORCH/DEMO Kalmyk TTS Демо из Силеро Кальмака - монголичный язык, на котором говорят в России
  • Snakers4/Silero-Models

Монгольский язык модель

• MODEL 5-граммового двоичного LM, сгенерированного Kenlm на 670-метровом словом «Грязный корпус».
  • Его можно использовать либо с Mozilla/DeeppSpeech: ./generate_trie alphabet.txt mn_5gram.binary trie
  • или в TugStugi/Mongolian-Speech-распознание
• TF / PYTORCH TUGSTUGI / MONGOLIAN-BERT Предварительно проведенные монгольские модели Берт
  • обучен Tugstugi, Enod и Sharavsambuu
  • Набар спонсировал 5x TPU.
• PYTORCH Bayartsogt-ya/Albert-Mongolian, предварительно проведенный монгольским Альбертом
• PYTORCH Robertritz/NLP Ulmfit Эксперименты
• PYTORCH guggingface.co/bayartsogt/mongolian-gpt2 Монгольская модель GPT-2
• PYTORCH guggingface.co/bayartsogt/mongolian-roberta-base Монгольский базовый монголь Роберта

Монгольское распознавание речи

• PYTORCH Tugstugi/Mongolian-Speek распознание
  • DEMO распознавание речи
  • Используется запатентованный набор данных
• PRODUCT китайский и традиционный монгольский голосовой ввод от Aicloud.com
  • Прямая ссылка на файл APK
  • кажется, работает только для простых случаев (или работает только для южных монгольских диалектов ...)
  • Та же система, но для Windows (по словам кого -то, вам нужно зарегистрироваться на китайском удостоверении личности, чтобы использовать его)
• DEMO Признание речи Внутреннего монгольского университета
  • кажется не функциональным
• PRODUCT Huawei Cloud ASR поддерживает языки меньшинства, такие как монгольский, тибетский и уйгур.
• PRODUCT Google Cloud Speech-Text
  • 20% WER на 3000 Audio Private Test Dataet
• PYTORCH WAV2VEC2 XLSR CENETUNED на монгольском общем голосе
  • DEMO -колаба онлайн демо
  • 50%
• PYTORCH WAV2VEC2 XLSR, обученный набору данных Kalmyk
  • Предварительно проведенный в 500 -часовом наборе данных о проведении телеканалов Kalmyk и 1000 часов монгольского распознавания речи
  • Создан на 300 -часовом наборе данных Calmyk STT, созданном при преобразовании голоса
  • 50% были на частном тестовом наборе, созданном из записей Kalmyk TV, на чистых голосовых записях, он должен иметь гораздо более низкий
  • DEMO https://huggingface.co/tugstugi/wav2vec2-large-xlsr-53-kalmyk
• TF Coqui.ai Монгольское распознавание речи, обученное монгольским Commonvoice
  • 90,08%

Монгольский сценарий

• DEMO кириллика в монгольский сценарий демонстратор Внутреннего монгольского университета
• DEMO -монгольский сценарий OCR Демо Внутреннего Монгольского университета
• PYTORCH Tugstugi/Bichig2cyrillic Mongolian Script в (и обратно) кириллический конвертер
  • DEMO кириллика для монгольской колаба онлайн демо
• PYTORCH Tugstugi/Image2bichig Trantary Mongolian OCR с использованием CRNN
  • DEMO -OCR Colab Online Demo
  • DATASET традиционный набор данных монгольского синтетического OCR

Монгольская текстовая классификация

• TF2 Sharavsambuu/Mongolian-Text-Classiation
• SKLEARN / DEMO Simple SVM Colab Notebook, классифицирующий набор данных Eduge с точностью около 91%.
  • Модель предложения от Tugstugi/Mongolian-Bert используется в качестве текстового токенизатора.

Монгольский назван признание сущности

• DATASET данных монгольского набора данных, созданный из монгольской политики и спортивных новостей
  • Для получения дополнительной информации см. Наборы данных
• PYTORCH Enod/Mongolian-Bert-Pner Bert Bert Mongolian ner
  • Использует Tugstugi/Mongolian-Bert Mongolian, предварительно обученные моделям BERT
• DEMO -версии Национального университета Монголии

Разное

• PYTORCH Tugstugi/WruceD_Aligner Mongolian Intool выравнивания с использованием Rayhane-Mamah/Tacotron-2 и ReadBeyond/Aeneas
  • DEMO -колаба онлайн демо
• TF2 Кириллическая транспортная книжка COLAB Sharavsambuu/Cyrillic-Mongolian-Translitation
• DATASET 1M обратно трансляция MN-> EN DATATENT DATATER Ссылка
  • Sharavsambuu/English-Mongolian-NMT-Dataset-Augmentation
• DICTIONARY монгольских оцифрованных словари из Центра Северо -Восточной Азии Университета Тохоку в Японии
  • Для использования см. Оцифровывание монгольского языка: введение в полиглот «онлайн-словаря и полнотекстовый поиск на монгольских языках и письменном манча»
  • Он включает в себя также произношения IPA для монгольских слов