pyrouge
1.0.0
Pyrouge هو غلاف Python لحزمة تقييم Rouge. يمكن أن يتطلب الحصول على Rouge إلى العمل الكثير من الوقت. تم تصميم Pyrouge لجعل درجات Rouge أسهل عن طريق تحويل ملخصاتك تلقائيًا إلى تنسيق يفهم Rouge ، وإنشاء ملف تكوين Rouge تلقائيًا.
يمكنك تقييم ملخصات النص العادي مثل هذا:
من Pyrouge Import Rouge155 r = rouge155 () r.system_dir = 'path/to/system_summaries' r.model_dir = 'path/to/model_summaries' r.system_filename_pattern = 'some_name. ( d+). txt' r.model_filename_pattern = 'some_name. [az].#id#.txt' الإخراج = r.convert_and_evaluate () طباعة (الإخراج) output_dict = r.output_to_dict (الإخراج)
من أجل تقييم الملخصات ، يحتاج Rouge إلى معرفة مكان ملخصاتك وملخصات Gold Standard ، وكيفية مطابقتها. في لغة Rouge ، تعد ملخصاتك ملخصات "نظام" وملخصات Gold Standard هي ملخصات "نموذج". يجب أن تكون الملخصات في مجلدات منفصلة ، يتم تعيين مساراتها مع متغيرات system_dir و model_dir . يجب أن تحتوي جميع الملخصات على جملة واحدة لكل سطر.
لمطابقة ملخص النظام تلقائيًا مع ملخصات النموذج المقابلة ، يستخدم Pyrouge تعبيرات منتظمة. على سبيل المثال ، لنفترض أن ملخصات النظام الخاصة بك تسمي مع مزيج من اسم ثابت ومعرف رقمي متغير مثل هذا:
وملخصات النموذج مثل هذا ، مع تحديد الأحرف الكبيرة لملخصات نموذج متعددة لوثيقة معينة:
تخبر المجموعة في system_filename_pattern بيروج أي جزء من اسم الملف هو المعرف - في هذه الحالة (d+) . يجب عليك استخدام أقواس مستديرة للإشارة إلى مجموعة ، وإلا فلن تتمكن Pyrouge من تحديد الهوية من بقية اسم الملف. ثم يستخدم Pyrouge هذا المعرف للعثور على جميع ملخصات طراز المطابقة. يخبر العنصر النائب الخاص #ID# Pyrouge حيث يجب أن يتوقع المعرف في model_filename_pattern . يطابق الجزء [AZ] ملخصات نموذج متعددة لهذا المعرف.
مع الانتهاء من التكوين ، فإن استدعاء convert_and_evaluate() يحصل على درجات Rouge كسلسلة. إذا كنت ترغب في معالجة الدرجات ، فيمكنك تحليل الإخراج في DICT باستخدام output_to_dict(output) .
لتحويل ملخصات النص العادي إلى تنسيق يفهم روج ، افعل:
من Pyrouge Import Rouge155 Rouge155.convert_summaries_to_rouge_format (system_input_dir ، system_output_dir) Rouge155.convert_summaries_to_rouge_format (model_input_dir ، model_output_dir)
سيؤدي ذلك إلى تحويل جميع الملخصات في system_input_dir و model_input_dir ، وحفظها إلى أدلة الإخراج الخاصة بكل منها.
لإنشاء ملف التكوين الذي يستخدمه Rouge لمطابقة ملخصات النظام ونماذج ، قم:
من Pyrouge Import Rouge155
Rouge155.write_config_static (
System_dir ، system_filename_pattern ،
model_dir ، model_filename_pattern ،
config_file_path)
تم شرح الحجج الأربعة الأولى أعلاه. config_file_path يحدد مكان حفظ ملف التكوين.
إذا كنت تفضل سطر الأوامر إلى Python ووحدة Pyroge ، فيمكنك استخدام البرامج النصية التالية ، والتي يتم تثبيتها تلقائيًا ويجب تشغيلها من أي مكان على نظامك:
pyrouge_evaluate_plain_text_files -s systems_plain/ -sfp "some_name. ( d+). txt" -M models_plain/ -mfp some_name. [az].#id#.txt
sample-test/SL2003 التي تأتي مع Rouge:pyrouge_evalate_rouge_format_files -s systems -sfp "sl.p.10.r.11.sl062003 -( d+).
لاحظ أن نمط اسم ملف النظام محاط بعلامات اقتباس لأنه يحتوي على أحرف خاصة.
pyroge_convert_plain_text_to_rouge_format -i models_plain/ -o models_rouge
pyrouge_write_config_file -s systems -sfp "sl.p.10.r.11.sl062003 -( d+).
سيعرض تشغيل أي من هذه الخيارات مع خيار -h رسالة استخدام تشرح خيارات سطر الأوامر المختلفة.
يمكن العثور على تعليمات عند تثبيت Rouge هنا.
اعتمادًا على نظامك ، قد تضطر إلى تشغيل الأوامر التالية كجذر.
لتثبيت البيروج ، قم بتشغيل:
PIP تثبيت pyrouge
إذا كنت تواجه مشكلة في تثبيت Pyrouge على Windows ، فيرجى التحقق من هذا الدليل بواسطة Franck Dernoncourt.
على افتراض ROUGE-1.5.5. التثبيت ، أخبر Pyrouge مسار Rouge مع هذا الأمر:
pyroge_set_rouge_path /absolute/path/to/rouge-1.5.5/directory
إذا كان حفظ مسار Rouge باستخدام هذا البرنامج النصي لا يعمل على نظامك ، فيمكنك أيضًا توفير مسار Rouge في وقت التشغيل:
r = rouge155 ('/absiolute/path/to/rouge-1.5.5/directory')
لاختبار ما إذا تم تثبيت كل شيء بشكل صحيح ، قم بتشغيله:
Python -M pyroge.test
إذا كان كل شيء يعمل ، فيجب أن ترى شيئًا مثل:
ركض 10 اختبارات في 18.055s نعم
إذا كنت تريد إلغاء تثبيت Pyrouge:
PIP إلغاء تثبيت Pyrouge
