Pyrouge是Rouge摘要评估软件包的Python包装纸。让胭脂上班可能需要大量时间。 Pyrouge旨在通过自动将摘要转换为格式胭脂理解并自动生成Rouge配置文件来更轻松地获得Rouge分数。
您可以这样评估纯文本摘要:
从pyrouge导入Rouge155 r = rouge155() r.system_dir ='路径/到/system_summaries' r.model_dir ='路径/to/model_summaries' r.system_filename_pattern ='some_name。( d+)。txt' r.model_filename_pattern ='some_name。[az]。#id#.txt' 输出= r.convert_and_evaluate() 打印(输出) output_dict = r.output_to_dict(输出)
为了评估摘要,Rouge需要知道您的摘要和黄金标准摘要在哪里以及如何匹配它们。用胭脂的说法,您的摘要是“系统”摘要,黄金标准摘要是“模型”摘要。这些摘要应在单独的文件夹中,其路径是使用system_dir和model_dir变量设置的。所有摘要应包含每行句子。
要自动将系统摘要与相应的模型摘要匹配,Pyouge使用正则表达式。例如,让我们假设您的系统摘要以固定名称和类似的变量数字ID的组合命名:
和这样的模型摘要,大写字母识别给定文档的多个模型摘要:
system_filename_pattern中的组告诉Pyrouge文件名是ID的哪一部分 - 在这种情况下(d+) 。您必须使用圆括号来指示一个组,否则Pyrouge将无法将ID与文件名的其余部分区分开。然后,Pyrouge使用该ID来查找所有匹配的模型摘要。特别占位#ID#告诉Pyrouge在model_filename_pattern中应该在哪里期待ID。 [AZ]部分匹配该ID的多个模型摘要。
完成配置后,调用convert_and_evaluate()使您的胭脂得分为字符串。如果要进一步处理分数,则可以将输出分解为使用output_to_dict(output)的dict。
要将纯文本摘要转换为“胭脂”理解的格式,请做:
从pyrouge导入Rouge155 rouge155.convert_summaries_to_rouge_format(system_input_dir,system_output_dir) rouge155.convert_summaries_to_rouge_format(model_input_dir,model_output_dir)
这将转换system_input_dir和model_input_dir中的所有摘要,并将它们保存到各自的输出目录中。
要生成Rouge用来匹配系统和模型摘要的配置文件,请执行:
从pyrouge导入Rouge155
rouge155.write_config_static(
system_dir,system_filename_pattern,
model_dir,model_filename_pattern,
config_file_path)
上面解释了前四个论点。 config_file_path指定在哪里保存配置文件。
如果您希望命令行比Python和Pyrouge模块,则可以使用以下脚本,这些脚本是自动安装的,应从系统上的任何地方运行:
pyrouge_evaluate_plain_text_files -s systems_plain/ -sfp“ some_name。( d+)。
sample-test/SL2003数据的示例用法:pyrouge_evaluate_rouge_format_files -s Systems -SSystem
请注意,系统文件名模式包含在引号中,因为它包含特殊字符。
pyrouge_convert_plain_text_to_to_rouge_format -i models_plain/ -o models_rouge
pyrouge_write_config_file -s Systems -SFP“ SL.P.10.R.11.SL062003-( d+).html” -M Models -MFP SL.P.10.R。[AZ] .SL062003-
使用-h选项运行这些中的任何一个将显示一个用法消息,解释各种命令行选项。
可以在此处找到有关安装胭脂的说明。
根据您的系统,您可能必须将以下命令作为root运行。
要安装pyouge,请运行:
PIP安装Pyouge
如果您在Windows上安装Pyrouge时遇到麻烦,请检查Franck Dernoncourt的本指南。
假设有工作的胭脂1.5.5。安装,用此命令告诉pyrouge rouge路径:
pyrouge_set_rouge_path/absolute/path/to/rouge-1.5.5/directory
如果使用此脚本保存胭脂路径在您的系统上不起作用,您还可以在运行时提供胭脂路径:
r = rouge155('/absolute/path/to/rouge-1.5.5/目录')
要测试是否正确安装了所有内容,请运行:
Python -M pyrouge.test
如果一切正常,您应该看到类似的东西:
在18.055S进行了10次测试 好的
如果您想卸载pyrouge:
pip卸载pyrouge