Vaaku2Vec

Vaaku2vec

Modelado de idiomas de última generación y clasificación de texto en idioma malayalam

Resultados

Entrenamos un modelo de idioma malayalam en el vertedero de artículos de Wikipedia de octubre de 2018. El vertedero de Wikipedia tenía 55k+ artículos. La dificultad en la capacitación de un modelo de lenguaje malayalam es la tokenización de texto , ya que el malayalam es un lenguaje altamente infeccional y aglutinativo. En el modelo actual, estamos utilizando nltk tokenizer (intentaremos una mejor alternativa en el futuro) y el tamaño de vocabulario es de 30k. El modelo de idioma se utilizó para capacitar a un clasificador que clasifica una noticia en 5 categorías (India, Kerala, Deportes, Negocios, Entretenimiento). Nuestro clasificador salió con una precisión del 92% en la tarea de clasificación.

Lanzamientos

• Procedimiento de los artículos de Wikipedia divididos en la prueba y el tren.
• Script y pesos para el modelo de idioma malayalam.
• Clasificador de texto malayalam con pesos previos a la aparición.
• Código de inferencia para el clasificador de texto.

Descargas

• Modelo de idioma malayalam previamente

• Clasificador de noticias Malayalam previamente : para ejecutar solo la predicción, use esto.

• Datadump en bruto de Malayalam Wikipedia Artículos: artículos de Malayalam

Requisitos

Instalación de dependencias

python3.6> =

Si está utilizando VirtualEnvWrapper, use los siguientes pasos:

1. git clone https://github.com/adamshamsudeen/Vaaku2Vec.git
2. mkvirtualenv -p python3.6 venv
3. workon venv
4. cd Vaaku2Vec
5. pip install -r requirements.txt

Uso

Modelo de lenguaje de capacitación con datos preprocesados:

1. Descargue la carpeta del modelo de lenguaje previo al metro, contiene la prueba preprocesada y el CSV de trenes. Si desea preprocesar y volver a entrenar el LM utilizando el último volcado de artículos de volcado utilizando los scripts proporcionados aquí.
2. Crear tokens:
   python lm/create_toks.py <path_to_processed_wiki_dump>
   Por ejemplo: python lm/create_toks.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
3. Cree un token para mapeo de identificación:
   python lm/tok2id.py <path_to_processed_wiki_dump>
   Por ejemplo: python lm/tok2id.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
4. Modelo de lenguaje de tren:
   python lm/pretrain_lm.py <path_to_processed_wiki_dump> 0 --lr 1e-3 --cl 40
eg: python lm/pretrain_lm.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/ 0 --lr 1e-3 --cl 40
lr es la tasa de aprendizaje y cl es el no de épocas.

Entrenamiento del clasificador:

1. Use train_classifier.ipynb para entrenar un clasificador de texto Malayalam.
2. No hemos publicado el conjunto de datos de noticias, planteamos una solicitud si desea experimentar con lo mismo.

Prueba del clasificador:

1. Para probar el clasificador capacitado en Manorama News, descargue el Pretrained Malyalam Text Classifier previamente mencionado en las descargas.
2. Use prediction.ipynb y pruebe su entrada.

Probamos manualmente el modelo en noticias de otro documento de noticias líder y el modelo funcionó bastante bien.

Word2Vec:

1. También entrenamos un modelo Word2Vec usando Gensim con el volcado de Wikipedia.
2. También puede usar el modelo Word2Vec para entrenar un clasificador de texto. Clasificador de noticias
3. Puede ver la demostración de Word2Vec en el siguiente enlace.

Manifestación

HACER

• Modelado de idiomas malayalam basado en artículos de Wikipedia.
• Libere pesos de modelos de idiomas capacitados.
• Script clasificador de texto de Malayalam.
• Benchmark con mlmorph para la tokenización.
• Benchmark con pares de bytes que codifica la tokenización
• UI para entrenar y probar el clasificador.
• Chatbot básico utilizando esta implementación.

Gracias

1. Un agradecimiento especial a Sebastian Ruder y Jeremy Howard y otros contribuyentes a Fastai y Ultmfit.
2. Diseño de base de logotipo
3. RaeSa por diseñar el logotipo.

Contenido

1. Kamal K Raj
2. Adam Shamsudeen