topic modeling toolkit

主题建模工具包 - Python库

该图书馆旨在通过提供易于使用的CLI来自动化主题建模与研究相关的活动。

CLI提供了与以下操作相关的操作的命令

• 数据预处理和数据集计算
• 模型培训（带有参数网格搜索），评估和比较
• 图形建设
• 计算P（C | T）分布之间的KL差异
• 数据集/模型/KL-DISTAS报告

该项目的源代码已用于开发Konstantinos Lampridis的“政治谱系意识模型”论文项目中的新颖性模型。

如果您想重现论文中报告的实验结果，也应使用该代码。

该论文是阿姆斯特丹大学人工智能MSC计划的一部分。

您可以在此处下载并阅读完整的论文。

测试
包裹

概述

该库是BigArtm（Artm Python接口）库周围的更高级别的API，并通过命令行有意地公开了它。

库的主要特征：

• 灵活的预处理管道
• 用进化算法优化分类方案
• 快速模型推断，并行/多核算执行
• 持续模型和实验结果
• 可视化

安装

主题建模工具包取决于Bigartm C ++库。因此，首先您应该首先构建并安装

通过按照此处的说明或使用

提供了“ build_artm.sh”脚本。例如，对于Python3，您可以使用以下内容

$ git克隆https://github.com/boromir674/topic-modeling-toolkit.git
$ chmod +x主题模型 -  toolkit/build_artm.sh
$＃在 /usr /local中构建和安装bigartm库，并创建Python3 Wheel
$ topic modeling-toolkit/build_artm.sh
$ ls bigartm/build/python/bigartm*.whl

现在，您应该在路径中具有“ bigartm”可执行文件，并且可以在'bigartm/build/python/'中找到一个已建造的python轮子

您应该在环境中安装轮子，例如用命令

Python -M PIP安装bigartm/build/python/path-python-wheel

您可以使用以下命令安装软件包

当软件包在PYPI上托管时，应安装它

$ CD主题模型 -  toolkit
$ pip安装。

如果以上失败再次尝试，请包括手动安装依赖项

$ CD主题模型 -  toolkit
$ pip install -r要求.txt
$ pip安装。

用法

示例示例如下。

 $ current_dir = $（echo $ pwd）
$ export collections_dir = $ current_dir/dataSets-dir
$ mkdir $ collections_dir

$变换帖子pipeline.cfg my-dataset
$ train my-dataset train.cfg plsa-model-保存
$ make-graphs-Model-Labels“ PLSA模型” -Allmetrics--No-Legend
$ xdg-open $ collections_dir/plsa-model/graphs/plsa*prpl*

引用

1. Vorontsov，K。和Potapenko，A。（2015年）。主题模型的加性正规化。机器学习，101（1）：303–323。