text segmentation

Segmentação de texto como uma tarefa de aprendizado supervisionado

Este repositório contém código e materiais suplementares necessários para treinar e avaliar um modelo conforme descrito na segmentação de texto em papel como uma tarefa de aprendizado supervisionada

Downalod exigiu recursos

conjuntos de dados wiki-727k, wiki-50:

https://www.dropbox.com/sh/k3jh0fjbyr0gw0a/aadzad9sdtrbnvs1qlcjy5cza?dl=0

Word2vec:

https://drive.google.com/a/audioburst.com/uc?export=download&confirm=zrin&id=0b7xkcwpi5kdynlnuttlss21pqmm

Preencha os caminhos relevantes no configgenerator.py e execute o script (o repositório Git inclui o conjunto de dados CHOI)

Criando um ambiente:

 conda create -n textseg python=2.7 numpy scipy gensim ipython 
source activate textseg
pip install http://download.pytorch.org/whl/cu80/torch-0.3.0-cp27-cp27mu-linux_x86_64.whl 
pip install tqdm pathlib2 segeval tensorboard_logger flask flask_wtf nltk
pip install pandas xlrd xlsxwriter termcolor

Como executar o processo de treinamento?

 python run.py --help

Exemplo:

 python run.py --cuda --model max_sentence_embedding --wiki 

Como avaliar o modelo treinado (no conjunto de dados Wiki-727/Choi)?

 python test_accuracy.py  --help

Exemplo:

 python test_accuracy.py --cuda --model <path_to_model> --wiki

Como criar um novo conjunto de dados da Wikipedia:

 python wiki_processor.py --input <input> --temp <temp_files_folder> --output <output_folder> --train <ratio> --test <ratio>

A entrada é o caminho completo para o dump da Wikipedia, a temp é o caminho para a pasta de arquivos temporários e a saída é o caminho para o conjunto de dados da Wikipedia recém -gerada.

O dump da Wikipedia pode ser baixado do seguinte URL:

https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2