topic modeling toolkit

トピックモデリングツールキット-Pythonライブラリ

このライブラリは、使いやすいCLIを提供することにより、トピックモデリングの研究関連活動を自動化することを目的としています。

CLIは、次のことに関連する操作のコマンドを提供します

• データの前処理とデータセットコンピューティング
• モデルトレーニング（パラメーターグリッド検索）、評価、比較
• グラフビルディング
• P（C | T）分布間のKl-Divergenceを計算します
• データセット/モデル/kl-distancesレポート

このプロジェクトのソースコードは、Konstantinos Lampridisによる「Political Spectrum Aware Topime Model」論文プロジェクトでノベルティモデルを開発するために使用されています。

コードは、論文で報告されている実験結果を再現する場合にも使用する必要があります。

論文は、アムステルダム大学の人工知能MSCプログラムの一部でした。

ここで完全な論文をダウンロードして読むことができます。

テスト
パッケージ

概要

このライブラリは、BigARTM（ARTM Pythonインターフェイス）ライブラリ周辺のより高いレベルのAPIとして機能し、コマンドラインを通じて納得できます。

ライブラリの重要な機能：

• 柔軟な前処理パイプライン
• 進化的アルゴリズムによる分類スキームの最適化
• 並列/マルチコア実行による高速モデル推論
• モデルと実験結果の持続
• 視覚化

インストール

トピックモデリングツールキットは、BIGARTM C ++ライブラリに依存します。したがって、最初に構築してインストールする必要があります

ここでの指示に従うか、使用することによって

提供された「build_artm.sh」スクリプト。たとえば、Python3の場合、以下を使用できます

$ git clone https://github.com/boromir674/topic-modeling-toolkit.git
$ chmod +x topic-modeling-toolkit/build_artm.sh
$＃ /usr /localにbigartmライブラリをビルドしてインストールし、python3ホイールを作成します
$ topic-modeling-toolkit/build_artm.sh
$ ls bigartm/build/python/bigartm*.whl

これで、パスに「bigartm」実行可能ファイルがある必要があり、「bigartm/build/python/」でビルドPythonホイールを見つけることができます。

たとえば、コマンドを使用して、環境にホイールをインストールする必要があります

python -m pipインストールbigartm/build/python/path-python-wheel

次のコマンドでパッケージをインストールできます

パッケージがPYPIでホストされるとき、それはインストールする必要があります

$ CD TOPIC-MODELING-TOOLKIT
$ pipインストール。

上記が失敗した場合は、依存関係の手動インストールを含めて再試行してください

$ CD TOPIC-MODELING-TOOLKIT
$ pip install -r compoestion.txt
$ pipインストール。

使用法

サンプルの例は以下にあります。

 $ current_dir = $（echo $ pwd）
$ export collections_dir = $ current_dir/datasets-dir
$ mkdir $ collections_dir

$ transform pipeline.cfg my-dataset
$ my-dataset train.cfg plsa-model  -  save
$ make-graphs  -  model-labels "plsa-model"  -  allmetrics  -  no-legend
$ xdg-open $ collectss_dir/plsa-model/graphs/plsa*prpl*

引用

1. Vorontsov、K。およびPotapenko、A。（2015）。トピックモデルの加算的正則化。機械学習、101（1）：303–323。