Vaaku2Vec

vaaku2vec

最先进的语言建模和马拉雅拉姆语言的文本分类

结果

我们从2018年10月的Wikipedia文章转储中培训了马拉雅拉姆语的语言模型。WikipediaDump有55K+文章。在训练马拉雅拉姆语的语言模型中，难度是文本象征化，因为马拉雅拉姆语是一种高度变化和凝结的语言。在当前模型中，我们正在使用nltk tokenizer （将来会尝试更好的替代方案），而词汇大小为30k。该语言模型用于培训分类器，该分类器将新闻分为5个类别（印度，喀拉拉邦，体育，商业，娱乐）。我们的分类器在分类任务中以92％的高度准确性提出。

发行

• 挖掘的Wikipedia文章垃圾场分为测试和火车。
• 马拉雅拉姆语语言模型的脚本和权重。
• 马拉雅拉姆语文本分类器具有预计的重量。
• 文本分类器的推理代码。

下载

• 预审前的马拉雅拉姆语模型

• 预算的马拉雅拉姆语新闻分类器- 仅运行预测，请使用此。

• Malayalam Wikipedia文章的RAW DATADUMP：Malayalam文章

要求

安装依赖项

Python3.6> =

如果您使用的是VirtualenvWrapper，请使用以下步骤：

1. git clone https://github.com/adamshamsudeen/Vaaku2Vec.git
2. mkvirtualenv -p python3.6 venv
3. workon venv
4. cd Vaaku2Vec
5. pip install -r requirements.txt

用法

使用预处理数据的培训语言模型：

1. 下载验证的语言模型文件夹，其中包含预处理测试和训练CSV。如果您想使用此处提供的脚本使用最新的转储文章转储预处理和重新训练LM。
2. 创建令牌：
   python lm/create_toks.py <path_to_processed_wiki_dump>
   例如： python lm/create_toks.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
3. 创建一个令牌到ID映射：
   python lm/tok2id.py <path_to_processed_wiki_dump>
   例如： python lm/tok2id.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
4. 火车语言模型：
   python lm/pretrain_lm.py <path_to_processed_wiki_dump> 0 --lr 1e-3 --cl 40
eg: python lm/pretrain_lm.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/ 0 --lr 1e-3 --cl 40
lr是学习率， cl是时代的NO。

培训分类器：

1. 使用train_classifier.ipynb训练马拉雅拉姆语文本分类器。
2. 我们尚未发布新闻数据集，如果您想尝试相同的话，请提出请求。

测试分类器：

1. 要测试接受Manorama新闻培训的分类器，请下载下载中提到Pretrained Malyalam Text Classifier 。
2. 使用prediction.ipynb并测试您的输入。

我们在其他领先的新闻报纸的新闻上手动测试了该模型，并且该模型的表现非常出色。

Word2Vec：

1. 我们还使用Gensim和Wikipedia垃圾场训练了Word2Vec型号。
2. 您也可以使用Word2Vec模型来训练文本分类器。新闻分类器
3. 您可以在下面的链接中看到Word2Vec演示。

演示

托多

• 基于Wikipedia文章的Malayalam语言建模。
• 释放训练有素的语言模型权重。
• Malayalam文本分类器脚本。
• 用MLMORPH进行令牌化的基准。
• 带有字节对编码的基准测试
• UI训练和测试分类器。
• 基本聊天机器人使用此实现。

谢谢

1. 特别感谢Sebastian Ruder和Jeremy Howard以及Fastai和Ultmfit的其他贡献者。
2. 徽标基础设计
3. Raeesa设计徽标。

CONTIBUTOR

1. Kamal K Raj
2. 亚当·沙姆森（Adam Shamsudeen）