text segmentation

Segmentación de texto como una tarea de aprendizaje supervisada

Este repositorio contiene código y materiales complementarios que se requieren para capacitar y evaluar un modelo descrito en la segmentación de texto en papel como una tarea de aprendizaje supervisada

Recursos requeridos de descenso

Wiki-727k, conjuntos de datos Wiki-50:

https://www.dropbox.com/sh/k3jh0fjbyr0gw0a/aadzad9sdtrbnvs1qlcjy5cza?dl=0

Word2Vec:

https://drive.google.com/a/audioburst.com/uc?export=download&confirm=zrin&id=0b7xkcwpi5kdynlnuttlss21pqmm

Llene rutas relevantes en configGenerator.py y ejecute el script (el repositorio de git incluye el conjunto de datos Choi)

Creando un entorno:

 conda create -n textseg python=2.7 numpy scipy gensim ipython 
source activate textseg
pip install http://download.pytorch.org/whl/cu80/torch-0.3.0-cp27-cp27mu-linux_x86_64.whl 
pip install tqdm pathlib2 segeval tensorboard_logger flask flask_wtf nltk
pip install pandas xlrd xlsxwriter termcolor

¿Cómo ejecutar el proceso de entrenamiento?

 python run.py --help

Ejemplo:

 python run.py --cuda --model max_sentence_embedding --wiki 

¿Cómo evaluar el modelo capacitado (en el conjunto de datos Wiki-727/Choi)?

 python test_accuracy.py  --help

Ejemplo:

 python test_accuracy.py --cuda --model <path_to_model> --wiki

Cómo crear un nuevo conjunto de datos de Wikipedia:

 python wiki_processor.py --input <input> --temp <temp_files_folder> --output <output_folder> --train <ratio> --test <ratio>

La entrada es la ruta completa al volcado de Wikipedia, la temperatura es la ruta a la carpeta de archivos temporales y la salida es la ruta al conjunto de datos de Wikipedia recientemente generado.

El volcado de Wikipedia se puede descargar desde la siguiente URL:

https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2