TopClus

Topclus

Исходный код, используемый для обнаружения тем, посредством латентной космической кластеризации предварительно предварительно проведенных языковых моделей , опубликованных в WWW 2022.

Требования

По крайней мере, один графический процессор требуется для запуска кода.

Перед запуском необходимо сначала установить необходимые пакеты, набрав следующие команды (рекомендуется использовать виртуальную среду):

 pip3 install -r requirements.txt

Вам также нужно загрузить следующие ресурсы в NLTK:

 import nltk
nltk.download('stopwords')
nltk.download('averaged_perceptron_tagger')
nltk.download('universal_tagset')

Обзор

TopClus - это неконтролируемый метод обнаружения темы, который совместно моделирует слова, документы и темы в скрытом сферическом пространстве, полученном из предварительно проведенных репрезентаций языковых моделей.

Запуск темы открытия

Сценарий входа - src/trainer.py , и значения аргументов командной строки будут отображаться при печати

 python src/trainer.py -h

Результаты обнаружения темы будут записаны на results_${dataset} .

Мы предоставляем два примера сценария nyt.sh и yelp.sh для запуска темы Discovery на New York Times и Corpora ELP Review, используемых в газете, соответственно. Вам нужно сначала извлечь текстовые файлы из файлов .tar.gz Tarball в соответствии с datasets/nyt и datasets/yelp .

Вы можете ожидать получить результаты, такие как следующие (идентификаторы темы случайны):

 On New York Times:
Topic 20: months,weeks,days,decades,years,hours,decade,seconds,moments,minutes
Topic 28: weapons,missiles,missile,nuclear,grenades,explosions,explosives,launcher,bombs,bombing
Topic 30: healthcare,medical,medicine,physicians,patients,health,hospitals,bandages,medication,physician
Topic 41: economic,commercially,economy,business,industrial,industry,market,consumer,trade,commerce
Topic 46: senate,senator,congressional,legislators,legislatures,ministry,legislature,minister,ministerial,parliament
Topic 72: government,administration,governments,administrations,mayor,gubernatorial,mayoral,mayors,public,governor
Topic 77: aircraft,airline,airplane,airlines,voyage,airplanes,aviation,planes,spacecraft,flights
Topic 88: baseman,outfielder,baseball,innings,pitchers,softball,inning,basketball,shortstop,pitcher

 On Yelp Review:
Topic 1: steamed,roasted,fried,shredded,seasoned,sliced,frozen,baked,canned,glazed
Topic 15: nice,cozy,elegant,polite,charming,relaxing,enjoyable,pleasant,helpful,luxurious
Topic 16: spicy,fresh,creamy,stale,bland,salty,fluffy,greasy,moist,cold
Topic 17: flavor,texture,flavors,taste,quality,smells,tastes,flavour,scent,ingredients
Topic 20: japanese,german,australian,moroccan,russian,greece,italian,greek,asian,
Topic 40: drinks,beers,beer,wine,beverages,alcohol,beverage,vodka,champagne,wines
Topic 55: horrible,terrible,shitty,awful,dreadful,worst,worse,disgusting,filthy,rotten
Topic 75: strawberry,berry,onion,peppers,tomato,onions,potatoes,vegetable,mustard,garlic

Запуск кластеризации документов

Закрытый документ будет сохранен в results_${dataset}/latent_doc_emb.pt которые могут использоваться в качестве функций для кластеризационных алгоритмов (например, K-среды).

Если у вас есть метки документов на основе истины, вы можете получить результаты оценки кластеризации документов, передавая файл метки документа и сохраненный файл встроенного латентного документа в функцию cluster_eval в src/utils.py . Например:

 from src.utils import TopClusUtils
utils = TopClusUtils()
utils.cluster_eval(label_path="datasets/nyt/label_topic.txt", emb_path="results_nyt/latent_doc_emb.pt")

Запуск новых наборов данных

Чтобы выполнить код в новом наборе данных, вам нужно

1. Создайте каталог с именем your_dataset под datasets .
2. Подготовьте текстовый корпус texts.txt (один документ на строку) в соответствии с your_dataset в качестве целевого корпуса для обнаружения темы.
3. Запустите src/trainer.py с соответствующими аргументами командной строки (значения по умолчанию обычно являются хорошими начальными точками).

Цитаты

Пожалуйста, цитируйте следующую статью, если вы найдете код полезным для исследования.

 @inproceedings{meng2022topic,
  title={Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations},
  author={Meng, Yu and Zhang, Yunyi and Huang, Jiaxin and Zhang, Yu and Han, Jiawei},
  booktitle={The Web Conference},
  year={2022},
}