pyrouge

pyrouge

Pyrouge es un envoltorio de Python para el paquete de evaluación de resumen Rouge. Hacer que Rouge funcione puede requerir bastante tiempo. Pyrouge está diseñado para facilitar la obtención de puntajes Rouge al convertir automáticamente sus resúmenes en un formato que entiende Rouge y generar automáticamente el archivo de configuración de Rouge.

Ejemplos de uso

Tengo resúmenes en formato de texto plano y quiero obtener los puntajes de Rouge

Puede evaluar sus resúmenes de texto planos como este:

 de Pyrouge Import Rouge155

r = Rouge155 ()
r.system_dir = 'ruta/a/system_summies'
r.model_dir = 'ruta/a/model_summies'
R.System_Filename_Pattern = 'Some_name. ( D+). Txt'
r.model_filename_pattern = 'some_name. [AZ].#id#.txt'

salida = r.convert_and_evaluate ()
Imprimir (salida)
output_dict = r.output_to_dict (salida)

Para evaluar los resúmenes, Rouge necesita saber dónde están sus resúmenes y los resúmenes estándar de oro y cómo igualarlos. En el lenguaje de Rouge, sus resúmenes son resúmenes de "sistema" y los resúmenes estándar de oro son resúmenes de "modelo". Los resúmenes deben estar en carpetas separadas, cuyas rutas están configuradas con las variables system_dir y model_dir . Todos los resúmenes deben contener una oración por línea.

Para hacer coincidir automáticamente un resumen del sistema con los resúmenes del modelo correspondientes, Pyrouge utiliza expresiones regulares. Por ejemplo, supongamos que los resúmenes de su sistema se nombran con una combinación de un nombre fijo y una identificación numérica variable como esta:

some_name.001.txt

some_name.002.txt

some_name.003.txt

...

y los resúmenes del modelo como este, con letras mayúsculas que identifican múltiples resúmenes del modelo para un documento determinado:

some_name.a.001.txt

some_name.b.001.txt

some_name.c.001.txt

some_name.a.002.txt

some_name.b.002.txt

...

El grupo en el system_filename_pattern le dice a Pyrouge qué parte del nombre de archivo es la ID, en este caso (d+) . Debe usar soportes redondos para indicar un grupo, o Pyruge no podrá distinguir la identificación del resto del nombre de archivo. Pyrouge luego usa esa identificación para encontrar todos los resúmenes de modelos coincidentes. El #ID# de poseedor especial le dice a Pyrouge dónde debe esperar la ID en el model_filename_pattern . La parte [AZ] coincide con múltiples resúmenes del modelo para esa identificación.

Con la configuración realizada, invocar convert_and_evaluate() le otorga las puntuaciones Rouge como una cadena. Si desea procesar más los puntajes, puede analizar la salida en un dict con output_to_dict(output) .

Solo quiero preprocesar mis resúmenes y luego ejecutar Rouge por mi cuenta

Para convertir los resúmenes de texto plano en un formato Rouge entiende, haz:

 de Pyrouge Import Rouge155

Rouge155.Convert_Summies_To_rouge_Format (System_input_dir, System_output_dir)
Rouge155.Convert_Summies_To_rouge_Format (model_input_dir, model_output_dir)

Esto convertirá todos los resúmenes en system_input_dir y model_input_dir , y los guardará en sus respectivos directorios de salida.

Para generar el archivo de configuración que Rouge utiliza para que coincida con los resúmenes del sistema y del modelo, haga:

 de Pyrouge Import Rouge155

Rouge155.write_config_static (
    system_dir, system_filename_pattern,
    model_dir, model_filename_pattern,
    config_file_path)

Los primeros cuatro argumentos se explican anteriormente. config_file_path especifica dónde guardar el archivo de configuración.

Usando Pyrouge desde la línea de comandos

Si prefiere la línea de comando a Python y el módulo Pyrouge, puede usar los siguientes scripts, que se instalan automáticamente y deben ser ejecutables desde cualquier lugar de su sistema:

• PYROUGE_EVALUATE_PLAIN_TEXT_FILES obtiene puntajes Rouge para sus resúmenes de texto sin formato. Ejemplo:

 PYROUGE_EVALUATE_PLAIN_TEXT_FILES -S Systems_Plain/ -sfp "Some_name. ( d+). Txt" -m modelos_lain/ -mfp some_name. [AZ].#id#.txt

• Pyrouge_evaluate_rouge_format_files obtiene puntajes Rouge para resúmenes ya convertidos en formato Rouge. Uso de ejemplo para los datos sample-test/SL2003 que viene con Rouge:

 PYROUGE_EVALUATE_ROUGE_FORMAT_FILES -S SISTES -SFP "SL.P.10.R.11.SL062003 -( D+). HTML" -M Modelos -MFP SL.P.10.R. [AZ] .SL062003-#ID#.HTML

Tenga en cuenta que el patrón del nombre de archivo del sistema está encerrado en comillas porque contiene caracteres especiales.

• Pyrouge_convert_lain_text_to_rouge_format Convierte los archivos de texto en un formato Rouge. Si sus archivos de texto sin formato no contienen una oración por línea, este script también puede dividir oraciones, siempre que tenga NLTK y su divisor de oraciones punkt instalado. Ejemplo:

 Pyrouge_Convert_Plain_Text_To_rouge_Format -I Models_Plain/ -O Models_rouge

• PYROUGE_WRITE_CONFIG_FILE crea un archivo de configuración que puede usar para ejecutar Rouge por su cuenta. Ejemplo:

 PYROUGE_WRITE_CONFIG_FILE -S -SFP "SL.P.10.R.11.SL062003 -( D+). HTML" -M Modelos -MFP SL.P.10.R. [AZ] .SL062003-#ID#.HTML -C SL2003_CONFIG.XML

Ejecutar cualquiera de estos con la opción -h mostrará un mensaje de uso que explica las diversas opciones de línea de comandos.

Instalación

La instrucción sobre la instalación de Rouge se puede encontrar aquí.

Dependiendo de su sistema, es posible que deba ejecutar los siguientes comandos como root.

Para instalar Pyrouge, ejecute:

 PIP install Pyrouge

Si tiene problemas para instalar Pyrouge en Windows, consulte esta guía de Franck Dernoncourt.

Suponiendo un Rouge de trabajo-1.5.5. Instalación, le cuente a Pyrouge la ruta Rouge con este comando:

 Pyrouge_set_rouge_path /absolute/path/to/rouge-1.5.5/directory

Si guardar la ruta Rouge usando este script no funciona en su sistema, también puede proporcionar la ruta Rouge en tiempo de ejecución:

 r = Rouge155 ('/absoluto/rath/to/rouge-1.5.5/directorio')

Para probar si todo está instalado correctamente, ejecute:

 Python -M Pyrouge.test

Si todo funciona, deberías ver algo como:

 Realizó 10 pruebas en 18.055s

DE ACUERDO

Si quieres desinstalar Pyrouge:

 Pip desinstala Pyrouge