topic modeling toolkit

Topic Modeling Toolkit - Perpustakaan Python

Perpustakaan ini bertujuan untuk mengotomatiskan aktivitas yang terkait dengan pemodelan topik yang terkait dengan penelitian, dengan memberikan CLI yang mudah digunakan.

CLI menyediakan perintah untuk operasi yang terkait dengan:

• Data Preprocessing dan Dataset Computing
• Pelatihan model (dengan parameter grid-pencarian), mengevaluasi dan membandingkan
• Bangunan grafik
• Komputasi KL-Divergence antara distribusi P (C | T)
• Dataset/Model/Pelaporan KL-Distances

Kode sumber proyek ini telah digunakan untuk mengembangkan model baru dalam proyek tesis "model topik spektrum politik" oleh Konstantinos lampridis.

Kode ini juga harus digunakan jika Anda ingin mereproduksi hasil eksperimen yang dilaporkan dalam tesis.

Tesis ini adalah bagian dari program MSC Kecerdasan Buatan Universitas Amsterdam.

Anda dapat mengunduh dan membaca tesis lengkap di sini.

tes
kemasan

Ringkasan

Perpustakaan ini berfungsi sebagai API tingkat yang lebih tinggi di sekitar perpustakaan BigArtm (Artm Python Interface) dan memaparkannya secara konvensional melalui baris perintah.

Fitur Utama Perpustakaan:

• Saluran pipa preprocessing fleksibel
• Optimalisasi skema klasifikasi dengan algoritma evolusioner
• Inferensi model cepat dengan eksekusi paralel/multicore
• Model yang bertahan dan hasil eksperimen
• Visualisasi

Instalasi

Perangkat pemodelan topik tergantung pada perpustakaan BigArtm C ++. Oleh karena itu pertama -tama Anda harus membangun dan menginstalnya terlebih dahulu

baik dengan mengikuti instruksi di sini atau dengan menggunakan

Skrip 'build_artm.sh' disediakan. Misalnya, untuk python3 Anda dapat menggunakan yang berikut ini

 $ git clone https://github.com/boromir674/topic-modeling-toolkit.git
$ chmod +x Topic-Modeling-Toolkit/build_artm.sh
$ # Bangun dan instal BigArtm Library In /USR /Local dan Buat Roda Python3
$ Topic-Modeling-Toolkit/build_artm.sh
$ ls bigartm/build/python/bigartm*.whl

Sekarang Anda harus memiliki 'BigArtm' yang dapat dieksekusi di jalur dan Anda dapat menemukan roda ular santun di 'BigArtm/build/Python/'

Anda harus memasang roda di lingkungan Anda, misalnya dengan perintah

 Python -M Pip Instal BigArtm/Build/Python/Path-Python-Wheel

Anda dapat menginstal paket dengan perintah berikut

Saat paket di -host di PYPI, itu harus diinstal

 $ CD Topic-Modeling-Toolkit
Instal $ Pip.

Jika gagal di atas coba lagi termasuk pemasangan dependensi manual

 $ CD Topic-Modeling-Toolkit
$ pip instal -r persyaratan.txt
Instal $ Pip.

Penggunaan

Contoh contoh di bawah ini.

 $ current_dir = $ (echo $ pwd)
$ Ekspor Collections_dir = $ current_dir/datasets-Dir
$ mkdir $ collections_dir

$ Transform Post Pipeline.cfg My-Dataset
$ kereta My-Dataset Train.cfg PLSA-Model-Save
$ make-graphs--model-label "PLSA-model" --AllMetrics ---no-legend
$ xdg-open $ collections_dir/plsa-model/grafik/PLSA*prpl*

Kutipan

1. Vorontsov, K. dan Potapenko, A. (2015). Aditif regularisasi model topik. Pembelajaran Mesin, 101 (1): 303–323.