Vaaku2Vec

Vaaku2Vec

Hochmoderne Sprachmodellierung und Textklassifizierung in Malayalam-Sprache

Ergebnisse

Wir haben ein Malayalam -Sprachmodell für den Wikipedia -Artikel -Dump von Oktober 2018 ausgebildet. Die Wikipedia -Dump hatte 55.000+ Artikel. Die schwierige Ausbildung eines Malayalam -Sprachmodells ist Text -Tokenisierung , da Malayalam eine stark wonbektrische und agglutinative Sprache ist. Im aktuellen Modell verwenden wir nltk tokenizer (werden in Zukunft eine bessere Alternative versuchen) und die Vokabellengröße beträgt 30.000. Das Sprachmodell wurde verwendet, um einen Klassifizierer auszubilden, der eine Nachricht in 5 Kategorien eingibt (Indien, Kerala, Sport, Geschäft, Unterhaltung). Unser Klassifizierer hat eine Genauigkeit von 92% in der Klassifizierungsaufgabe veröffentlicht.

Veröffentlichungen

• Proccessed Wikipedia Dump von Artikeln, die in Test und Zug aufgeteilt sind.
• Skript und Gewichte für Malayalam -Sprachmodell.
• Malayalam Textklassifizierer mit vorbereiteten Gewichten.
• Inferenzcode für Textklassifizierer.

Downloads

• Vorbereitete Malayalam -Sprachmodell

• Vorbereitete Malayalam -Nachrichtenklassifizierin - Verwenden Sie dies nur die Vorhersage, um dies zu verwenden.

• Rohdatadump von Malayalam Wikipedia Artikeln: Malayalam Artikel

Anforderungen

Abhängigkeiten installieren

python3.6> =

Wenn Sie virtualenvwrapper verwenden, verwenden Sie die folgenden Schritte:

1. git clone https://github.com/adamshamsudeen/Vaaku2Vec.git
2. mkvirtualenv -p python3.6 venv
3. workon venv
4. cd Vaaku2Vec
5. pip install -r requirements.txt

Verwendung

Trainingssprachmodell mit vorverarbeiteten Daten:

1. Laden Sie den vorgefertigten Sprachmodellordner herunter und enthält den vorverarbeiteten Test und den Zug CSV. Wenn Sie die LM mit dem neuesten Dump -Artikel -Dump über die hier bereitgestellten Skripte vorbereiten und übertragen möchten.
2. Token erstellen:
   python lm/create_toks.py <path_to_processed_wiki_dump>
   EG: python lm/create_toks.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
3. Erstellen Sie ein Token für ID -Zuordnung:
   python lm/tok2id.py <path_to_processed_wiki_dump>
   EG: python lm/tok2id.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
4. Zugsprachmodell:
   python lm/pretrain_lm.py <path_to_processed_wiki_dump> 0 --lr 1e-3 --cl 40
eg: python lm/pretrain_lm.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/ 0 --lr 1e-3 --cl 40
lr ist die Lernrate und cl ist die Anzahl der Epochen.

Training des Klassifikators:

1. Verwenden Sie train_classifier.ipynb , um einen Malayalam -Textklassifizierer zu trainieren.
2. Wir haben den Nachrichtendatensatz nicht veröffentlicht und eine Anfrage gestellt, wenn Sie mit demselben experimentieren möchten.

Testen des Klassifikators:

1. Um den in Manorama News ausgebildeten Klassifikator zu testen, laden Sie den in den Downloads erwähnten Pretrained Malyalam Text Classifier herunter.
2. Verwenden Sie prediction.ipynb und testen Sie Ihre Eingabe.

Wir haben das Modell manuell in Nachrichten von anderen führenden Nachrichtenpapieren getestet, und das Modell hat ziemlich gut gespielt.

Word2VEC:

1. Wir haben auch ein Word2VEC -Modell mit Gensim mit der Wikipedia -Müllkippe trainiert.
2. Sie können auch Word2VEC -Modell verwenden, um einen Textklassifikator zu trainieren. Nachrichtenklassifizierer
3. Sie können die Word2VEC -Demo im folgenden Link sehen.

Demo

Todo

• Malayalam -Sprachmodellierung basierend auf Wikipedia -Artikeln.
• Geben Sie trainierte Sprachmodelle Gewichte frei.
• Malayalam Text -Klassifikator -Skript.
• Benchmark mit MLMORPH für Tokenisierung.
• Benchmark mit Bytepaar -Codierung für Tokenisierung
• UI zu trainieren und Klassifikator zu testen.
• Grundlegende Chatbot mit dieser Implementierung.

Danke

1. Besonderer Dank geht an Sebastian Ruder, Jeremy Howard und andere Mitwirkende von Fastai und Ultmfit.
2. Logo -Basisdesign
3. Raeesa für die Gestaltung des Logos.

Contibutors

1. Kamal K Raj
2. Adam Shamsudeen