topic modeling toolkit

Инструментарий моделирования темы - библиотека Python

Эта библиотека направлена ​​на автоматизацию деятельности, связанных с исследованиями, связанными с темами, предоставляя простой в использовании CLI.

CLI предоставляет команды для операций, связанных с:

• Предварительная обработка данных и вычисления наборов данных
• Обучение модели (с параметром сетки), оценка и сравнения
• График здание
• Вычисление KL-дивергенции между P (C | T) распределениями
• Наборы данных/модели/KL-дистанции отчетности

Исходный код этого проекта был использован для разработки модели новизны в тезисе «Политический спектр модели тематической темы», проведенного Константиносом Lampridis.

Код также должен использоваться в случае, если вы захотите воспроизвести экспериментальные результаты, представленные в тезисе.

Тезис был частью программы MSC искусственного интеллекта Амстердамского университета.

Вы можете скачать и прочитать полный тезис здесь.

тесты
упаковка

Обзор

Эта библиотека служит API более высокого уровня вокруг библиотеки Bigartm (Artm Python Interface) и убедительно раскрывает его через командную строку.

Ключевые функции библиотеки:

• Гибкие трубопроводы предварительной обработки
• Оптимизация схемы классификации с помощью эволюционного алгоритма
• Быстрый вывод модели с параллельным/многоядерным исполнением
• Сохранение моделей и экспериментальных результатов
• Визуализация

Установка

Инструментарий моделирования темы зависит от библиотеки Bigartm C ++. Поэтому сначала вы должны сначала построить и установить его

Либо следуя инструкциям здесь, либо с помощью

Сценарий 'build_artm.sh' предоставлен. Например, для Python3 вы можете использовать следующее

 $ git clone https://github.com/boromir674/topic-modeling-toolkit.git
$ chmod +x topic-modeling-toolkit/build_artm.sh
$ # Строите и установите библиотеку Bigartm в /usr /local и создайте колесо Python3
$ Тема-моделинг-toolkit/build_artm.sh
$ ls bigartm/build/python/bigartm*.whl

Теперь у вас должен быть исполняемый файл «Bigartm» на пути, и вы можете найти застроенное колесо Python в 'Bigartm/Build/Python/'

Вы должны установить колесо в вашей среде, например, с помощью команды

 Python -m Pip установить Bigartm/Build/Python/Path-Python-Wheel

Вы можете установить пакет со следующей командой

Когда пакет будет размещен на PYPI, он должен быть установлен

 $ CD Тема-моделинг-Toolkit
$ pip установка.

Если вышеупомянутое сбой попробуйте еще раз, включая ручную установку зависимостей

 $ CD Тема-моделинг-Toolkit
$ pip install -r redtion.txt
$ pip установка.

Использование

Пример примера ниже.

 $ current_dir = $ (echo $ pwd)
$ export collections_dir = $ current_dir/datazets-dir
$ mkdir $ collections_dir

$ Transform Posts Pipeline.cfg my-dataset
$ Train My-Dataset Train.cfg plsa-model-save
$ make-graphs-модель-марки "plsa-model"-Allmetrics-нет лигинга
$ xdg-open $ collections_dir/plsa-model/graphs/plsa*prpl*

Цитирование

1. Воронтсов К. и Потапенко А. (2015). Аддитивная регуляризация тематических моделей. Машинное обучение, 101 (1): 303–323.