topic modeling toolkit

Tooling Toolkit - Biblioteca Python

Esta biblioteca visa automatizar atividades relacionadas à pesquisa de modelagem de tópicos, fornecendo uma CLI fácil de usar.

A CLI fornece comandos para operações relacionadas a:

• Pré -processamento de dados e computação de conjunto de dados
• Treinamento de modelo (com a pesquisa de grade de parâmetros), avaliando e comparando
• Construção de gráficos
• Computação de KL Divergência entre P (C | T) Distribuições
• DataSets/Models/KL Distances Relatórios

O código -fonte deste projeto foi usado para desenvolver o modelo de novidade no projeto de tese "Modelo de tópico de espectro político", de Konstantinos Lampridis.

O código também deve ser usado caso você queira reproduzir os resultados experimentais relatados na tese.

A tese fazia parte do Programa de MSC de Inteligência Artificial da Universidade de Amsterdã.

Você pode baixar e ler a tese completa aqui.

testes
pacote

Visão geral

Esta biblioteca serve como uma API de nível superior em torno da biblioteca BicartartM (interface do ARTM Python) e a expõe de forma convencional através da linha de comando.

Principais recursos da biblioteca:

• Oleodutos de pré -processamento flexíveis
• Otimização do esquema de classificação com um algoritmo evolutivo
• Inferência rápida do modelo com execução paralela/multicore
• Persistente de modelos e resultados experimentais
• Visualização

Instalação

O kit de ferramentas de modelagem de tópicos depende da biblioteca Bicartm C ++. Portanto, primeiro você deve primeiro construí -lo e instalá -lo

ou seguindo as instruções aqui ou usando

o script 'Build_artm.sh' fornecido. Por exemplo, para Python3, você pode usar o seguinte

 $ git clone https://github.com/boromir674/topic-modeling-toolkit.git
$ chmod +x tópico-modeling-toolkit/build_artm.sh
$ # Construa e instale a biblioteca Bicartm em /usr /local e criar roda python3
$ tópico-modeling-toolkit/build_artm.sh
$ ls bicartartm/build/python/bicartm*.Whl

Agora você deve ter o executável 'bicartm' no caminho e pode encontrar uma roda de python construída em 'bicartartm/build/python/'

Você deve instalar a roda em seu ambiente, por exemplo, com comando

 python -m pip install bicartartm/build/python/path-python wheel

Você pode instalar o pacote com o seguinte comando

Quando o pacote é hospedado no Pypi, ele deve ser instalado

 $ cd tópico modeling-toolkit
$ pip install.

Se o exposto falhar, tente novamente, incluindo a instalação manual de dependências

 $ cd tópico modeling-toolkit
$ pip install -r requisitos.txt
$ pip install.

Uso

Um exemplo de amostra está abaixo.

 $ current_dir = $ (echo $ pwd)
$ export collections_dir = $ current_dir/DataSets-DIR
$ mkdir $ collections_dir

$ transform posta postagens pipela.cfg my-dataset
$ TRIN MY-DATASET TRIN.CFG PLSA-MODEL-SAVE
$ Make-Graphs-Model-labels "PLSA-Model" --lmetrics-não-legend
$ xdg-open $ collections_dir/plsa-model/gráficos/plsa*prpl*

Citação

1. Vorontsov, K. e Potapenko, A. (2015). Regularização aditiva de modelos de tópicos. Machine Learning, 101 (1): 303–323.