mongolian nlp

Este repositório conterá uma lista de recursos úteis para a PNL da Mongólia. Sinta -se à vontade para contribuir.

Conjuntos de dados

• DATASET ~ 8 horas DATASET TTS MONGOLIAN: MNTTS Criado na Universidade Interior da Mongólia, China
  • Entrada de aplicativos
  • Código fonte do modelo TTS
  • Papel
• DATASET LJSpeech como o conjunto de dados masculino de voz TTS criada a partir da Bíblia mongol
  • Usado em Tugstugi/Pytorch-DC-TTS
  • Use dl_and_preprop_dataset.py para baixar os arquivos de áudio
• DATASET LJSpeech como Kalmyk (West Mongolian) Female Voice TTS DataSet criado a partir da Bíblia Kalmyk (2 horas)
• DATASET 300 horas Kalmyk STT STT DATASET criado por um modelo de conversão de voz
  • Cada wav tem um texto diferente criado a partir de livros de Kalmyk
  • A voz da fonte é a Bíblia Kalmyk TTS
  • As vozes de destino são do conjunto de dados VCTK
  • Um exemplo WAV: https://twitter.com/tugstugi/status/1409111296897912835
• DATASET Eduge News Classification DataSet fornecido pela Bolorsoft LLC
  • Usado para treinar o classificador de notícias de produção do eduge.mn
  • 75K news with 9 categories: урлаг соёл , эдийн засаг , эрүүл мэнд , хууль , улс төр , спорт , технологи , боловсрол and байгал орчин
• DATASET 11-11.MN DataSet de reclamação da agência governamental
  • 80k com 5 categorias: снанаiliar шүүмжлэл , гомдол , санал хүсэлт , талархал e өргөдөл
• DATASET Online News Corpus
  • 700 milhões de palavras
• DATASET Digital Archive of Mongolian Newspapers 1990-1995 da biblioteca britânica
• Conjunto de dados de rastreamento comum da Mongólia
• opendata.burtgel.gov.mn
  • DATASET 220K Nomes pessoais da Mongólia
  • DATASET 90K Nomes de clãs/família da Mongólia
  • DATASET 192K Nomes da empresa mongoliana
• Províncias da DATASET (AIMAGS e SUMS) nomes
• DATASET 195 país (com capitais) nomes em mongóis
• DATASET 250 Palavras mais frequentes da Mongólia de notícias da Mongólia, livros e artigos da Wikipedia. (Total de 670m palavras / 2M palavras únicas).
  • Essas palavras também podem ser usadas como palavras de parada.
• DATASET 500 abreviações da Mongólia
• DATASET Mongolian Ner DataSet criado a partir de políticas mongolas e notícias esportivas
  • Frases de 10k anotadas por Tugstugi e ENOD usando Doccano
  • 4 Categorias LOCATION (6453/1753), PERSON (2839/1698), ORGANIZATION (4453/1970) e MISC (3716/2617)
• DataSet Mongolian POS DATASET da Universidade Nacional da Mongólia
  • 100k palavras
  • usados ​​tagsets POS
• DATASET tradicional Mongolian Synthetic OCR DataSet criado a partir de letras de músicas mongol e dicionário
  • 80k imagens
  • Sem nenhum aumento de dados, para aumentar os dados, use bibliotecas externas, como albumentos.
• DATASET
  • 164631 Amostra, 200 pessoas
• DATASET Mongolian Cirillic Caractere
  • 28x28 escala de cinza, imagens 350k
  • Descrição do conjunto de dados
• DATASET Mongolian WordNet da Universidade Nacional da Mongólia
  • 26875 palavras, 2979 Glosses, 23665 Synsets, 213 exemplos
• DATASET Mongolian Inflectional Morfology da Unimorph 4.0
  • 2085 Lemas e 14592 Inflexões (+ segmentações de morfemas)
• DATASET Mongolian Derivational Morfology de Morphynet
  • 1410 Lemas, 1629 derivações e 229 sufixos derivacionais.
• DATASET Palavras faladas multilíngues
  • 2200 palavras -chave mongóis, 44000 arquivos de áudio
  • Exemplo чиглэсэн palavras -chave: a дүрслэх сонирхож байна , ээээж, дjэх, ламын , оло, хаанаас олов , т хуулиар түүний аав бэлдэж хиïүээээgua
• DATASET Small Kalmyk Text Corpus
  • jornal, poesia etc.

Texto para fala da Mongólia

• PYTORCH Tugstugi/Pytorch-DC-TTS
  • Demonstração de DEMO online
  • DATASET LJSpeech como o conjunto de dados de voz masculino criado a partir da Bíblia da Mongólia
• TF Tugstugi/Tacotron-2 Fork de Rayhane-Mamah/Tacotron-2 adaptado para o conjunto de dados da Bíblia Mongólia
  • Demonstração de DEMO online
  • DEMO palestrante adaptação colab de demonstração on -line para o ex -presidente da Mongólia Elbegdorj. O modelo tacotron treinado com o conjunto de dados da Bíblia Mongólia de 5 horas foi ajustado com um conjunto de dados de 10 minutos criado a partir do discurso de um Elbegdorj.
• PYTORCH Chimege TTS Demo
  • 1x fêmea
  • Nvidia/tacotron2 + nvidia/waveglow
• DEMO Hmm TTS online Demo da Universidade Nacional da Mongólia
  • 1x Vozes masculinas e 2x femininas
• DEMO Ainda outro hmm? Demoção on -line de “мон сийч й ти хх хх ййчийч
  • O servidor de demonstração está atualmente baixo
  • 1x masculino e 1x fêmea
  • amostras de voz feminina
• SAMPLES TACOTRON2 TTS Amostras de ikon.mn
  • 1x fêmea (35h)
  • Nvidia/tacotron2 + nvidia/waveglow
• DEMO Hmm baseado em TTS online Demo da Universidade Mongólia Inner
  • 1x fêmea
• DEMO MTL-Tacotron TTS Amostras da Universidade Mongólia Interior e Universidade Nacional de Cingapura
  • 1x fêmea
• TF TTSLR/MONTTS Código de Treinamento TTS da Mongólia Interior
  • SAMPLES de amostras de fala
  • DATASET SAMPLES Monspeech da Universidade Interior da Mongólia
  • dados do conjunto de dados e modelos pré -ridados não estão disponíveis
• TF walker-hyf/mntts interna Mongolian TTS DataSet e Código de Treinamento
  • SAMPLES de amostras de fala
  • DATASET Mntts da Universidade da Mongólia Interior
  • Link para download de Pretrained Model
  • DataSet e modelos pré -teriados estão disponíveis :)
• PRODUCT NVDA/HTS Screen Reader desenvolvido pelo Centro de Desenvolvimento de Inovação para Cegos
  • 1x Feminino (Voz Nacional da Universidade da Mongólia)
• PYTORCH/DEMO Kalmyk TTS Demo Kalmyk é uma língua mongólica falada na Rússia
  • conjunto de dados criado a partir da Bíblia Kalmyk (2 horas)
  • Nvidia/tacotron2 + nvidia/waveglow
• PYTORCH/DEMO Kalmyk TTS Demo de Silero Kalmyk é uma língua mongólica falada na Rússia
  • Snakers4/Silero-Models

Modelo de Língua Mongólia

• MODEL Binário de 5 gramas LM gerado por Kenlm em um corpus sujo de 670m.
  • Pode ser usado com Mozilla/DeepSpeech : ./generate_trie alphabet.txt mn_5gram.binary trie
  • ou em Tugstugi/Mongolian-fala-reconhecimento
• TF / PYTORCH Tugstugi / Mongolian-Bert Modelos Mongólios pré-treinados
  • Treinado por Tugstugi, Enod e Sharavsambuu
  • Nabar patrocinou 5x TPUs.
• PYTORCH Bayartsogt-ya/Albert-Mongol-Mongolian Albert
• PYTORCH Robertritz/NLP Ulmfit Experiências
• PYTORCH huggingface.co/bayartsogt/mongolian-gpt2 Modelo GPT-2 mongoliano
• PYTORCH huggingface.co/bayartsogt/mongolian-roberta-basgolian Roberta Base Modelo

Reconhecimento da fala da Mongólia

• PYTORCH Tugstugi/Mongolian-fala-reconhecimento
  • Reconhecimento de discurso de DEMO Chimege
  • Um conjunto de dados proprietário é usado
• PRODUCT Chinese e tradicional entrada da voz da Mongólia do Aicloud.com
  • Link direto para o arquivo APK
  • parece estar funcionando apenas para casos simples (ou funciona apenas para os dialetos da Mongólia do Sul ...)
  • Mesmo sistema, mas para o Windows (de acordo com alguém, você deve se registrar com um cartão de identidade chinês para usá -lo)
• DEMO Reconhecimento de fala da Universidade Mongólia Interior
  • parece não ser funcional
• PRODUCT A Huawei Cloud ASR suporta idiomas minoritários como mongol, tibetano e uyghur.
• PRODUCT Google Cloud Spean-to-Text
  • 20% estavam em um conjunto de dados de teste privado de 3000 áudio
• PYTORCH wav2vec2 xlsr finetuned na voz comum da mongol
  • Demonstração de DEMO online
  • 50% WER
• PYTORCH wav2vec2 xlsr treinado no conjunto de dados Kalmyk
  • Pré -tenhado em 500 horas de gravações de TV Kalmyk e 1000 horas de conjunto de reconhecimento de discurso mongol
  • FinetUned em 300 horas de conjunto de dados sintéticos de Kalmyk STT criado pela conversão de voz
  • 50% estavam em um conjunto de testes privados criado a partir de registros de TV Kalmyk, em gravações de voz limpas, deve ter muito mais baixo
  • DEMO https://huggingface.co/tugstugi/wav2vec2-large-xlsr-53-kalmyk
• TF Coqui.ai Reconhecimento de fala da Mongólia treinado em Commonvoice Mongolian
  • 90,08% WER

Script mongol

• DEMO cirílico para o conversor de scripts da Mongólia Demo da Universidade Mongólia Interior
• DEMO Mongólia Script OCR Demo da Universidade Mongólia Interior
• PYTORCH Tugstugi/Bichig2cyrillic Mongolian Script para (e traseiro) conversor cirílico
  • DEMO cirílico para a demonstração on -line da Mongolian Colab
• PYTORCH Tugstugi/image2bichig OCR tradicional da Mongol usando CRNN
  • DEMO OCR COLAB Online Demo
  • DATASET

Classificação de texto da Mongólia

• TF2 sharavsambuu/mongol-text-classificação
• SKLEARN / DEMO Simple SVM Colab Notebook Classificando o conjunto de dados do Eduge com cerca de 91% de precisão.
  • O modelo de peça de sentença de Tugstugi/Mongol-Bert é usado como tokenizador de texto.

Mongólia nomeado reconhecimento de entidade

• DATASET Mongolian Ner DataSet criado a partir de políticas mongolas e notícias esportivas
  • Para mais informações, consulte os conjuntos de dados
• PYTORCH ENOD/MONGOLIAN-BERT-GER BERT MONGOLIAN NER
  • usa Tugstugi/Mongol-Bert Mongolian pré-treinado modelos Bert
• DEMO da Demo da Universidade Nacional da Mongólia

Misc

• PYTORCH Tugstugi/forced_aligner Mongolian Force Alinhamento Ferramenta usando Rayhane-Mamah/Tacotron-2 e Readbeyond/Aeneas
  • Demonstração de DEMO online
• TF2 Transliteração Cirílica Cobertão Colab Sharavsambuu/Cirílico-Mongolian-Transliteration
• DATASET 1M de volta ao conjunto de dados do Mn-> En.
  • Sharavsambuu/English-Mongolian-NMT-DataSet-Agmentation
• DICTIONARY Dicionários Mongólios do Centro do Nordeste asiático da Universidade de Tohoku no Japão
  • Para uso, consulte Digiting the Mongolian Language: Uma Introdução ao Poliglota “Dicionários Online e Pesquisa de Texto Full de Línguas Mongólios e Manchu Escrito”
  • Inclui também pronúncias de IPA para palavras mongóticas