text segmentation

Текстовая сегментация как контролируемая учебная задача

Этот репозиторий содержит код и дополнительные материалы, которые необходимы для обучения и оценки модели, как описано в сегментации текста бумаги как контролируемая учебная задача

Удостоит, требует ресурсов

Wiki-727K, наборы данных Wiki-50:

https://www.dropbox.com/sh/k3jh0fjbyr0gw0a/aadzad9sdtrbnvs1qlcjy5cza?dl=0

Word2VEC:

https://drive.google.com/a/audioburst.com/uc?export=download&confirm=zrin&id=0b7xkcwpi5kdynlnuttlss21pqmm

Заполните соответствующие пути в ConfigGenerator.py и выполните сценарий (репозиторий GIT включает набор данных CHOI)

Создание среды:

 conda create -n textseg python=2.7 numpy scipy gensim ipython 
source activate textseg
pip install http://download.pytorch.org/whl/cu80/torch-0.3.0-cp27-cp27mu-linux_x86_64.whl 
pip install tqdm pathlib2 segeval tensorboard_logger flask flask_wtf nltk
pip install pandas xlrd xlsxwriter termcolor

Как запустить учебный процесс?

 python run.py --help

Пример:

 python run.py --cuda --model max_sentence_embedding --wiki 

Как оценить обученную модель (на наборе данных Wiki-727/Choi)?

 python test_accuracy.py  --help

Пример:

 python test_accuracy.py --cuda --model <path_to_model> --wiki

Как создать новый набор данных Википедии:

 python wiki_processor.py --input <input> --temp <temp_files_folder> --output <output_folder> --train <ratio> --test <ratio>

Ввод - это полный путь к дампе Википедии, температура - это путь к папке временных файлов, а вывод - это путь к недавно сгенерированному набору данных Википедии.

В википедию дамп можно скачать с следующего URL:

https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2