mongolian nlp

Este repositorio contendrá una lista de recursos útiles para la PNL mongol. Siéntete libre de contribuir.

Conjuntos de datos

• Conjunto DATASET ~ 8 horas TTS Mongolian TTS DataSet: MNTTS creados a partir de la Universidad Interior de Mongolia, China
  • Entrada de la aplicación
  • Código fuente del modelo TTS
  • Papel
• DATASET ljspeech como el conjunto de datos de voz de voz masculina creado a partir de la Biblia mongol
  • Usado en Tugstugi/Pytorch-DC-TTS
  • Use dl_and_preprop_dataset.py para descargar los archivos de audio
• Conjunto DATASET LJSpeech como Kalmyk (West Mongolian) Femenino de datos de voz TTS creado a partir de la Biblia Kalmyk (2 horas)
• DATASET 300 horas Kalmyk STT STT DataSet creado por un modelo de conversión de voz
  • Cada wav tiene un texto diferente creado a partir de libros de Kalmyk
  • Source Voice es el Kalmyk Biblia femenino TTS
  • Las voces de destino son del conjunto de datos VCTK
  • Un ejemplo de wav: https://twitter.com/tugstugi/status/1409111296897912835
• Conjunto de datos de clasificación de noticias del conjunto DATASET proporcionado por Bolorsoft LLC
  • Solía ​​capacitar al edute.mn Production NEWS Classifier
  • 75k noticias спорт 9 categorías улс төр урлаг соёл хууль технологи эрүүл мэнд эдийн засаг боловсрол байгал орчин
• DATASET 11-11.MN Data de datos de quejas de la agencia gubernamental
  • 80k con 5 categorías: санал хүсэлт , гомдол , шүүмжлэл , талархал y өргөдөл
• Corpus de noticias en línea DATASET
  • 700 millones de palabras
• DATASET Archivo digital de periódicos mongolos 1990-1995 de la Biblioteca Británica
• Conjunto de datos mongol de rastreo común
• opendata.burtgel.gov.mn
  • DATASET 220k nombres personales mongolos
  • DATASET 90k clan/apellidos mongolos
  • DATASET 192K Nombres de la empresa mongolina
• DATASET Mongolian Provincias (AIMAGS y sumas) Nombres
• DATASET 195 país (con ciudades capitales) nombres en mongolos
• DATASET 250 Mongolian más frecuentes de las noticias de Mongolian, libros y artículos de Wikipedia. (Total de 670m palabras / 2m palabras únicas).
  • Estas palabras podrían usarse también como las palabras de parada.
• DATASET 500 Abreviaturas mongolas
• Conjunto de DATASET ner mongol creado a partir de la política mongol y las noticias deportivas
  • 10k oraciones anotadas por Tugstugi y Enod usando Doccano
  • 4 Categorías LOCATION (6453/1753), PERSON (2839/1698), ORGANIZATION (4453/1970) y MISC (3716/2617)
• Conjunto DATASET Mongolian POS de la Universidad Nacional de Mongolia
  • 100k palabras
  • Tagsets de POS usados
• DATASET tradicional mongolos sintéticos OCR DataSet creado a partir de letras y diccionario de canciones de Mongolian
  • Imágenes de 80k
  • Sin ningún aumento de datos, para aumentar los datos utiliza bibliotecas externas como albumentaciones.
• Conjunto DATASET de Mongolian OCR tradicional
  • 164631 muestra, 200 personas
• Base DATASET de caracteres cirílicos escritos a mano de la Universidad de Ciencia y Tecnología de Mongolia
  • 28x28 escala de grises, 350k imágenes
  • Descripción del conjunto de datos
• DATASET Mongolian Wordnet de la Universidad Nacional de Mongolia
  • 26875 palabras, 2979 glosas, 23665 sinsets, 213 ejemplos
• DATASET Morfología inflexional mongol de Unimorph 4.0
  • 2085 lemas y 14592 inflexiones (+ segmentaciones de morfema)
• DATASET Morfología derivada mongol de Morphynet
  • 1410 lemas, 1629 derivaciones y 229 sufijos de derivación.
• DATASET Multilingüe Palabras habladas Multilingües Seguimiento de palabras clave de detección de datos de detección de datos
  • 2200 palabras clave mongolas, 44000 archivos de audio
  • Ejemplo de palabras clave: аав , байна , бэлдэж , дүрслэх , ламын , олов , сонирхож , түүний , хаанаас , хуулиар , чиглэсэн
• DATASET Small Kalmyk Text Corpus
  • periódico, poesía, etc.

Mongolia de texto a voz

• PYTORCH tugstugi/pytorch-dc-tts
  • DEMO colab demo en línea
  • DATASET LJSpeech como el conjunto de datos de voz masculino creado a partir de la Biblia mongoles
• TF Tugstugi/Tacotron-2 Fork de Rayhane-Mamah/Tacotron-2 adaptado para el conjunto de datos bíblico de Mongolia
  • DEMO colab demo en línea
  • Adaptación de oradores DEMO Colab en línea Demo para el ex presidente mongol Elbegdorj. El modelo Tacotron entrenado con el conjunto de datos bíblico mongol de 5 horas se sintonizó con un conjunto de datos de 10 minutos creado a partir de un discurso de Elbegdorj.
• PYTORCH Chimege TTS Demo
  • 1x femenina
  • Nvidia/tacotron2 + nvidia/glow
• DEMO hmm tts demostración en línea de la Universidad Nacional de Mongolia
  • 1x voces masculinas y 2x femeninas
• DEMO ¿Otro hmm más? TTS Demo en línea de “мн сийч й тй хх хх.
  • El servidor de demostración está actualmente inactivo
  • 1x hombre y 1x femenino
  • muestras de voz femenina
• SAMPLES tacotron2 tts demo muestras de ikon.mn
  • 1x hembra (35h)
  • Nvidia/tacotron2 + nvidia/glow
• DEMO Hmm basado en TTS en línea de la Universidad Mongolia Interior
  • 1x femenina
• DEMO MTL-Tacotron TTS muestras de demostración de la Universidad Mongolia Interior y la Universidad Nacional de Singapur
  • 1x femenina
• TF TTSLR/MONTTS Código de entrenamiento de TTS interno Mongolia
  • SAMPLES de discurso muestras
  • DATASET SAMPLES Monspeech de la Universidad Interior de Mongolia
  • El conjunto de datos y los modelos previos a la aparición no están disponibles
• TF Walker-HYF/MNTTS DataS TTS TTS y código de entrenamiento
  • SAMPLES de discurso muestras
  • DATASET Mntts de la Universidad Interior de Mongolia
  • Enlace de descarga Pretrained Model
  • El conjunto de datos y los modelos previos a la aparición están disponibles :)
• PRODUCT Lector de pantalla NVDA/HTS Desarrollado por Innovation Development Center for the Blind
  • 1x femenino (voz de la Universidad Nacional de Mongolia)
• PYTORCH/DEMO Kalmyk TTS Demo Kalmyk es un idioma mongólico que se habla en Rusia
  • conjunto de datos creado a partir de la Biblia Kalmyk (2 horas)
  • Nvidia/tacotron2 + nvidia/glow
• PYTORCH/DEMO Kalmyk TTS La demostración de Silero Kalmyk es un idioma mongólico que se habla en Rusia
  • SNAKERS4/SILERO MODELLES

Modelo de idioma mongol

• LM binario MODEL de 5 gramos generado por Kenlm en un corpus Dirty Word Dirty de 670 m.
  • Se puede usar con Mozilla/DeepSpeech: ./generate_trie alphabet.txt mn_5gram.binary trie
  • o en Tugstugi/Mongolian-Disevech-Recrecnition
• TF / PYTORCH Tugstugi / Mongolian-Bert Pretraned Mongolian Bert Bert
  • Entrenado por Tugstugi, Enod y Sharavsambuu
  • Nabar patrocinó 5x TPUS.
• PYTORCH Bayartsogt-Ya/Albert-Mongolian Pretraned Mongolian Albert
• Experimentos PYTORCH Robertritz/NLP Ulmfit
• PYTORCH Huggingface.co/BayartSogt/Mongolian-GPT2 Mongolian GPT-2 Modelo
• PYTORCH huggingface.co/bayartsogt/mongolian-Roberta-base Mongolian Roberta Base Base

Reconocimiento de voz de Mongolia

• PYTORCH Tugstugi/reconocimiento de discurso mongol
  • Reconocimiento de voz DEMO Chimege
  • Se utiliza un conjunto de datos patentado
• PRODUCT de entrada de voz china y mongol tradicional de aicloud.com
  • Enlace directo al archivo APK
  • Parece estar funcionando solo para casos simples (o funciona solo para dialectos del sur de Mongolia ...)
  • mismo sistema pero para Windows (según alguien, debe registrarse en una tarjeta de identidad china para usarla)
• DEMO Reconocimiento de voz de la Universidad Mongolia Interior
  • parece no ser funcional
• PRODUCT Huawei Cloud ASR admite idiomas minoritarios como mongoles, tibetanos y uigures.
• PRODUCT Google Cloud Speech-to-Text
  • 20% estaba en un conjunto de datos de prueba privado de audio de 3000
• PYTORCH wav2vec2 xlsr Finetuned sobre voz común mongol
  • DEMO colab demo en línea
  • 50% era
• PYTORCH WAV2VEC2 XLSR entrenado en el conjunto de datos Kalmyk
  • Entranado en 500 horas grabaciones de TV Kalmyk y 1000 horas de datos de reconocimiento de voz de Mongolia
  • Fineting en 300 horas Kalmyk STT DataSet Kalmyk creado por conversión de voz
  • 50% estaba en un conjunto de pruebas privadas creadas a partir de grabaciones de TV Kalmyk, en grabaciones de voz limpia, debería tener mucho más bajo WER
  • DEMO https://huggingface.co/tugstugi/wav2vec2-large-xlsr-53-kalmyk
• TF Coqui.ai Reconocimiento de voz mongol capacitado en Mongolian CommonVoice
  • 90.08% era

Guión mongol

• DEMO Cyrillic a Mongolian Script Converter Demo de la Universidad Mongolia Interior
• DEMO Mongolian Script OCR Demo of the Inner Mongolian University
• PYTORCH Tugstugi/Bichig2Cyrillic Mongolian Script para (y de regreso) convertidor cirílico
  • Demostración DEMO en línea de colab en mongolos en línea
• PYTORCH Tugstugi/Image2Bichig OCR tradicional mongol usando CRNN
  • DEMO OCR Colab Demo en línea
  • Conjunto de datos OCR sintético mongol de DATASET tradicional

Clasificación de texto mongol

• TF2 Sharavsambuu/Mongolian-Text-classification
• SKLEARN / DEMO Simple SVM Colab Notebook clasificando el conjunto de datos Eduge con alrededor del 91% de precisión.
  • El modelo de orina de Tugstugi/Mongolian-Bert se usa como tokenizador de texto.

Reconocimiento de entidades con nombre mongol

• Conjunto de DATASET ner mongol creado a partir de la política mongol y las noticias deportivas
  • Para más información, consulte los conjuntos de datos
• PYTORCH Enod/Mongolian-Bert-Ger Bert Mongolian Ner
  • Utiliza modelos Bert pretrontrados en mongolos Tugstugi/Mongolian-Bert
• Demostración DEMO de la Universidad Nacional de Mongolia

Maga

• Herramienta de alineación forzada Mongolian PYTORCH Tugstugi/Forced_Aligner utilizando Rayhane-Mamah/Tacotron-2 y ReadBeyond/Eneas
  • DEMO colab demo en línea
• TF2 Cirílico Transliteración Colab Lotebook Sharavsambuu/Cyrillic-Mongolian-Transliteration
• DATASET 1M Back Translated Mn-> EN Forma DataSet Descargar enlace
  • Sharavsambuu/English-Mongolian-NMT-Dataset-Augmentation
• DICTIONARY Diccionarios digitalizados mongoles del Centro para el Noreste Asiático de la Universidad Tohoku en Japón
  • Para el uso, ver Digitalización del idioma mongol: una introducción al Polyglot "Diccionarios en línea y búsqueda de texto completo de idiomas mongoles y Manchu escrito"
  • Incluye también pronuncaciones de IPA para palabras mongolas