Vaaku2Vec

Vaaku2vec

Modélisation de la langue et classification du texte de la technologie dans la langue malayalam

Résultats

Nous avons formé un modèle de langue malayalam sur le dépotoir d'article de Wikipedia d'octobre 2018. Le Dumpedia Wikipedia avait 55k + articles. La difficulté à former un modèle de langue malayalam est la tokenisation textuelle , car le malayalam est un langage hautement inflexible et agglutinant. Dans le modèle actuel, nous utilisons nltk tokenizer (essaierons une meilleure alternative à l'avenir) et la taille du vocabulaire est de 30k. Le modèle de langue a été utilisé pour former un classificateur qui classe une nouvelle dans 5 catégories (Inde, Kerala, Sports, Business, Entertainment). Notre classificateur est sorti avec une précision de 92% dans la tâche de classification.

Sorties

• Processed Wikipedia Dayt of Articles Divisé en test et en train.
• Script et poids pour le modèle de langue malayalam.
• Classificateur de texte malayalam avec des poids pré-entraînés.
• Code d'inférence pour le classificateur de texte.

Téléchargements

• Modèle de langue malayalam pré-entraîné

• Classificateur d'informations malayalam pré-entraîné - Pour exécuter uniquement la prédiction, utilisez-le.

• Datadump brut de malayalam wikipedia Articles: Articles malayalam

Exigences

Installation des dépendances

Python3.6> =

Si vous utilisez VirtualEnvWrapper, utilisez les étapes suivantes:

1. git clone https://github.com/adamshamsudeen/Vaaku2Vec.git
2. mkvirtualenv -p python3.6 venv
3. workon venv
4. cd Vaaku2Vec
5. pip install -r requirements.txt

Usage

Modèle de langue de formation avec des données prétraitées:

1. Téléchargez le dossier du modèle de langue pré-étendue, il contient le test prétraité et le train CSV. Si vous souhaitez vous préoccuper et recycler le LM à l'aide du dernier vidage d'article de vidage à l'aide des scripts fournis ici.
2. Créer des jetons:
   python lm/create_toks.py <path_to_processed_wiki_dump>
   par exemple: python lm/create_toks.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
3. Créez un jeton à cartographie ID:
   python lm/tok2id.py <path_to_processed_wiki_dump>
   par exemple: python lm/tok2id.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
4. Modèle de langue du train:
   python lm/pretrain_lm.py <path_to_processed_wiki_dump> 0 --lr 1e-3 --cl 40
eg: python lm/pretrain_lm.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/ 0 --lr 1e-3 --cl 40
lr est le taux d'apprentissage et cl est le NO des époques.

Formation du classificateur:

1. Utilisez train_classifier.ipynb pour entraîner un classificateur de texte malayalam.
2. Nous n'avons pas publié l'ensemble de données d'actualités, soulevons une demande si vous souhaitez expérimenter avec la même chose.

Test du classificateur:

1. Pour tester le classificateur formé sur Manorama News, téléchargez le Pretrained Malyalam Text Classifier mentionné dans les téléchargements.
2. Utilisez prediction.ipynb et testez votre entrée.

Nous avons testé manuellement le modèle sur les actualités des autres journaux de premier plan et le modèle a assez bien fonctionné.

Word2vec:

1. Nous avons également formé un modèle Word2Vec en utilisant Gensim avec le Dump Wikipedia.
2. Vous pouvez également utiliser le modèle Word2Vec pour former un classificateur de texte. Classificateur de nouvelles
3. Vous pouvez voir la démo Word2Vec dans le lien ci-dessous.

Démo

FAIRE

• Modélisation du langage malayalam basé sur des articles Wikipedia.
• Libérez les poids des modèles de langue formés.
• Script de classificateur de texte malayalam.
• Benchmark avec mlmorph pour la tokenisation.
• Benchmark avec paire d'octets Encoding pour la tokenisation
• UI pour former et tester le classificateur.
• Chatbot de base en utilisant cette implémentation.

Merci

1. Un merci spécial à Sebastian Ruder et Jeremy Howard et à d'autres contributeurs à Fastai et Ultmfit.
2. Conception de base de logo
3. Raeesa pour concevoir le logo.

Contiguteurs

1. Kamal K Raj
2. Adam Shamsudeen