Vaaku2Vec

Vaaku2vec

Modelagem de idiomas de última geração e classificação de texto na linguagem malaiala

Resultados

Treinamos um modelo de idioma malaiala no artigo do artigo da Wikipedia de outubro de 2018. O dump da Wikipedia tinha 55k+ artigos. O dificuldade em treinar um modelo de idioma malaiala é a tokenização de texto , uma vez que o malaiala é uma linguagem altamente inflexional e aglutinativa. No modelo atual, estamos usando nltk tokenizer (tentaremos melhor alternativa no futuro) e o tamanho do vocabulário é 30k. O modelo de idioma foi usado para treinar um classificador que classifica uma notícia em 5 categorias (Índia, Kerala, Esportes, Negócios, Entretenimento). Nosso classificador saiu com uma precisão de 92% na tarefa de classificação.

Lançamentos

• Proceded Wikipedia Dump of Artigos divididos em teste e trem.
• Script e pesos para o modelo de linguagem malaiala.
• Classificador de texto malaiala com pesos pré -teremam.
• Código de inferência para classificador de texto.

Downloads

• Modelo de linguagem malaiala pré -teria

• Classificador de notícias Malayalam pré -treinado - para executar apenas a previsão, use isso.

• Datadump de Malayalam Wikipedia Artigos: Artigos de Malayalam

Requisitos

Instalando dependências

python3.6> =

Se você estiver usando o VirtualEnvWrapper, use as seguintes etapas:

1. git clone https://github.com/adamshamsudeen/Vaaku2Vec.git
2. mkvirtualenv -p python3.6 venv
3. workon venv
4. cd Vaaku2Vec
5. pip install -r requirements.txt

Uso

Modelo de linguagem de treinamento com dados pré -processados:

1. Faça o download da pasta de modelos de idiomas pré -treinada, ele contém o teste pré -processado e treinar CSV. Se você deseja pré -processar e treinar o LM usando o dump mais recente do Artigo do despejo usando os scripts fornecidos aqui.
2. Crie tokens:
   python lm/create_toks.py <path_to_processed_wiki_dump>
   por exemplo: python lm/create_toks.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
3. Crie um token para o mapeamento de identificação:
   python lm/tok2id.py <path_to_processed_wiki_dump>
   por exemplo: python lm/tok2id.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
4. Modelo de idioma de trem:
   python lm/pretrain_lm.py <path_to_processed_wiki_dump> 0 --lr 1e-3 --cl 40
eg: python lm/pretrain_lm.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/ 0 --lr 1e-3 --cl 40
lr é a taxa de aprendizado e cl é o número de épocas.

Treinando o classificador:

1. Use train_classifier.ipynb para treinar um classificador de texto malaiala.
2. Não lançamos o conjunto de dados de notícias, aumentamos uma solicitação se você deseja experimentar o mesmo.

Testando o classificador:

1. Para testar o classificador treinado no Manorama News, faça o download do Pretrained Malyalam Text Classifier mencionado nos downloads.
2. Use prediction.ipynb e teste sua entrada.

Testamos manualmente o modelo de notícias de outro jornal líder e o modelo teve um desempenho muito bom.

Word2vec:

1. Também treinamos um modelo Word2vec usando Gensim com o dump da Wikipedia.
2. Você também pode usar o modelo Word2Vec para treinar um classificador de texto. Classificador de notícias
3. Você pode ver a demonstração do Word2vec no link abaixo.

Demonstração

PENDÊNCIA

• Modelagem de idiomas malaiala com base nos artigos da Wikipedia.
• Libere pesos de modelos de linguagem treinados.
• Script de classificador de texto malaiala.
• Referência com MLMorph para tokenização.
• Referência com codificação de pares de bytes para tokenização
• UI para treinar e testar o classificador.
• Chatbot básico usando esta implementação.

Obrigado

1. Agradecimentos especiais a Sebastian Ruder e Jeremy Howard e outros colaboradores de Fastai e Ultmfit.
2. Design de base do logotipo
3. Raeesa para projetar o logotipo.

Contribuadores

1. Kamal K Raj
2. Adam Shamsudeen