topic modeling toolkit

主題建模工具包 - Python庫

該圖書館旨在通過提供易於使用的CLI來自動化主題建模與研究相關的活動。

CLI提供了與以下操作相關的操作的命令

• 數據預處理和數據集計算
• 模型培訓（帶有參數網格搜索），評估和比較
• 圖形建設
• 計算P（C | T）分佈之間的KL差異
• 數據集/模型/KL-DISTAS報告

該項目的源代碼已用於開發Konstantinos Lampridis的“政治譜系意識模型”論文項目中的新穎性模型。

如果您想重現論文中報告的實驗結果，也應使用該代碼。

該論文是阿姆斯特丹大學人工智能MSC計劃的一部分。

您可以在此處下載並閱讀完整的論文。

測試
包裹

概述

該庫是BigArtm（Artm Python接口）庫周圍的更高級別的API，並通過命令行有意地公開了它。

庫的主要特徵：

• 靈活的預處理管道
• 用進化算法優化分類方案
• 快速模型推斷，並行/多核算執行
• 持續模型和實驗結果
• 可視化

安裝

主題建模工具包取決於Bigartm C ++庫。因此，首先您應該首先構建並安裝

通過按照此處的說明或使用

提供了“ build_artm.sh”腳本。例如，對於Python3，您可以使用以下內容

$ git克隆https://github.com/boromir674/topic-modeling-toolkit.git
$ chmod +x主題模型 -  toolkit/build_artm.sh
$＃在 /usr /local中構建和安裝bigartm庫，並創建Python3 Wheel
$ topic modeling-toolkit/build_artm.sh
$ ls bigartm/build/python/bigartm*.whl

現在，您應該在路徑中具有“ bigartm”可執行文件，並且可以在'bigartm/build/python/'中找到一個已建造的python輪子

您應該在環境中安裝輪子，例如用命令

Python -M PIP安裝bigartm/build/python/path-python-wheel

您可以使用以下命令安裝軟件包

當軟件包在PYPI上託管時，應安裝它

$ CD主題模型 -  toolkit
$ pip安裝。

如果以上失敗再次嘗試，請包括手動安裝依賴項

$ CD主題模型 -  toolkit
$ pip install -r要求.txt
$ pip安裝。

用法

示例示例如下。

 $ current_dir = $（echo $ pwd）
$ export collections_dir = $ current_dir/dataSets-dir
$ mkdir $ collections_dir

$變換帖子pipeline.cfg my-dataset
$ train my-dataset train.cfg plsa-model-保存
$ make-graphs-Model-Labels“ PLSA模型” -Allmetrics--No-Legend
$ xdg-open $ collections_dir/plsa-model/graphs/plsa*prpl*

引用

1. Vorontsov，K。和Potapenko，A。 （2015年）。主題模型的加性正規化。機器學習，101（1）：303–323。