Vaaku2Vec

vaaku2vec

最先進的語言建模和馬拉雅拉姆語言的文本分類

結果

我們從2018年10月的Wikipedia文章轉儲中培訓了馬拉雅拉姆語的語言模型。 WikipediaDump有55K+文章。在訓練馬拉雅拉姆語的語言模型中，難度是文本像徵化，因為馬拉雅拉姆語是一種高度變化和凝結的語言。在當前模型中，我們正在使用nltk tokenizer （將來會嘗試更好的替代方案），而詞彙大小為30k。該語言模型用於培訓分類器，該分類器將新聞分為5個類別（印度，喀拉拉邦，體育，商業，娛樂）。我們的分類器在分類任務中以92％的高度準確性提出。

發行

• 挖掘的Wikipedia文章垃圾場分為測試和火車。
• 馬拉雅拉姆語語言模型的腳本和權重。
• 馬拉雅拉姆語文本分類器具有預計的重量。
• 文本分類器的推理代碼。

下載

• 預審前的馬拉雅拉姆語模型

• 預算的馬拉雅拉姆語新聞分類器- 僅運行預測，請使用此。

• Malayalam Wikipedia文章的RAW DATADUMP：Malayalam文章

要求

安裝依賴項

Python3.6> =

如果您使用的是VirtualenvWrapper，請使用以下步驟：

1. git clone https://github.com/adamshamsudeen/Vaaku2Vec.git
2. mkvirtualenv -p python3.6 venv
3. workon venv
4. cd Vaaku2Vec
5. pip install -r requirements.txt

用法

使用預處理數據的培訓語言模型：

1. 下載驗證的語言模型文件夾，其中包含預處理測試和訓練CSV。如果您想使用此處提供的腳本使用最新的轉儲文章轉儲預處理和重新訓練LM。
2. 創建令牌：
   python lm/create_toks.py <path_to_processed_wiki_dump>
   例如： python lm/create_toks.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
3. 創建一個令牌到ID映射：
   python lm/tok2id.py <path_to_processed_wiki_dump>
   例如： python lm/tok2id.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
4. 火車語言模型：
   python lm/pretrain_lm.py <path_to_processed_wiki_dump> 0 --lr 1e-3 --cl 40
eg: python lm/pretrain_lm.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/ 0 --lr 1e-3 --cl 40
lr是學習率， cl是時代的NO。

培訓分類器：

1. 使用train_classifier.ipynb訓練馬拉雅拉姆語文本分類器。
2. 我們尚未發布新聞數據集，如果您想嘗試相同的話，請提出請求。

測試分類器：

1. 要測試接受Manorama新聞培訓的分類器，請下載下載中提到Pretrained Malyalam Text Classifier 。
2. 使用prediction.ipynb並測試您的輸入。

我們在其他領先的新聞報紙的新聞上手動測試了該模型，並且該模型的表現非常出色。

Word2Vec：

1. 我們還使用Gensim和Wikipedia垃圾場訓練了Word2Vec型號。
2. 您也可以使用Word2Vec模型來訓練文本分類器。新聞分類器
3. 您可以在下面的鏈接中看到Word2Vec演示。

演示

托多

• 基於Wikipedia文章的Malayalam語言建模。
• 釋放訓練有素的語言模型權重。
• Malayalam文本分類器腳本。
• 用MLMORPH進行令牌化的基準。
• 帶有字節對編碼的基準測試
• UI訓練和測試分類器。
• 基本聊天機器人使用此實現。

謝謝

1. 特別感謝Sebastian Ruder和Jeremy Howard以及Fastai和Ultmfit的其他貢獻者。
2. 徽標基礎設計
3. Raeesa設計徽標。

CONTIBUTOR

1. Kamal K Raj
2. 亞當·沙姆森（Adam Shamsudeen）