pyrouge

Pyrouge

Pyrouge adalah pembungkus Python untuk paket evaluasi ringkasan Rouge. MEMBUAT ROUGE untuk bekerja bisa membutuhkan sedikit waktu. Pyrouge dirancang untuk membuat skor pemerah pipi lebih mudah dengan secara otomatis mengubah ringkasan Anda menjadi format pemahaman, dan secara otomatis menghasilkan file konfigurasi Rouge.

Contoh penggunaan

Saya memiliki ringkasan dalam format teks biasa dan ingin mendapatkan skor Rouge

Anda dapat mengevaluasi ringkasan teks biasa seperti ini:

 Dari Pyrouge Import Rouge155

r = rouge155 ()
r.system_dir = 'path/to/system_summaries'
r.model_dir = 'path/to/model_summaries'
r.system_filename_pattern = 'some_name. ( d+). txt'
r.model_filename_pattern = 'some_name. [az].#id#.txt'

output = r.convert_and_evaluate ()
cetak (output)
output_dict = r.output_to_dict (output)

Untuk mengevaluasi ringkasan, Rouge perlu tahu di mana ringkasan Anda dan ringkasan standar emas, dan bagaimana mencocokkannya. Dalam bahasa Rouge, ringkasan Anda adalah ringkasan 'sistem' dan ringkasan standar emas adalah ringkasan 'model'. Ringkasan harus dalam folder terpisah, yang jalurnya diatur dengan variabel system_dir dan model_dir . Semua ringkasan harus berisi satu kalimat per baris.

Untuk secara otomatis mencocokkan ringkasan sistem dengan ringkasan model yang sesuai, Pyrouge menggunakan ekspresi reguler. Misalnya, mari kita asumsikan ringkasan sistem Anda dinamai dengan kombinasi nama tetap dan ID numerik variabel seperti ini:

some_name.001.txt

some_name.002.txt

some_name.003.txt

...

dan ringkasan model seperti ini, dengan huruf besar yang mengidentifikasi beberapa ringkasan model untuk dokumen yang diberikan:

some_name.a.001.txt

some_name.b.001.txt

some_name.c.001.txt

some_name.a.002.txt

some_name.b.002.txt

...

Grup dalam system_filename_pattern memberi tahu Pyrouge, bagian dari nama file mana yang merupakan ID - dalam hal ini (d+) . Anda harus menggunakan kurung bundar untuk menunjukkan grup, atau Pyrouge tidak akan dapat membedakan ID dari sisa nama file. Pyrouge kemudian menggunakan ID itu untuk menemukan semua ringkasan model yang cocok. Placeholder khusus #ID# memberi tahu Pyrouge di mana ia harus mengharapkan ID di model_filename_pattern . Bagian [AZ] cocok dengan beberapa ringkasan model untuk ID itu.

Dengan konfigurasi selesai, memanggil convert_and_evaluate() memberi Anda skor Rouge sebagai string. Jika Anda ingin memproses skor lebih lanjut, Anda dapat menguraikan output ke dalam dikt dengan output_to_dict(output) .

Saya hanya ingin melakukan preprocess ringkasan saya dan kemudian menjalankan Rouge sendiri

Untuk mengubah ringkasan teks biasa menjadi format pemahaman, lakukan: lakukan:

 Dari Pyrouge Import Rouge155

Rouge155.convert_summary_to_rouge_format (system_input_dir, system_output_dir)
Rouge155.convert_summary_to_rouge_format (model_input_dir, model_output_dir)

Ini akan mengonversi semua ringkasan di system_input_dir dan model_input_dir , dan menyimpannya ke direktori output masing -masing.

Untuk menghasilkan file konfigurasi yang digunakan Rouge untuk mencocokkan ringkasan sistem dan model, lakukan:

 Dari Pyrouge Import Rouge155

Rouge155.write_config_static (
    System_dir, system_filename_pattern,
    model_dir, model_filename_pattern,
    config_file_path)

Empat argumen pertama dijelaskan di atas. config_file_path Menentukan tempat untuk menyimpan file konfigurasi.

Menggunakan Pyrouge dari baris perintah

Jika Anda lebih suka baris perintah daripada Python dan modul Pyrouge, Anda dapat menggunakan skrip berikut, yang secara otomatis diinstal dan harus dijalankan dari mana saja di sistem Anda:

• pyrouge_evaluate_plain_text_files memberi Anda skor Rouge untuk ringkasan teks biasa Anda. Contoh:

 pyrouge_evaluate_plain_text_files -s Systems_plain/ -sfp "some_name. ( d+). txt" -m model_plain/ -mfp some_name. [az].#id#.txt

• pyrouge_evaluate_rouge_format_files memberi Anda skor Rouge untuk ringkasan yang sudah dikonversi menjadi format Rouge. Contoh Penggunaan untuk Data sample-test/SL2003 yang hadir dengan Rouge:

 pyrouge_evaluate_rouge_format_files -s sistem -sfp "sl.p.10.r.11.sl062003 -( d+). html" -m model -mfp sl.p.10.r. [az] .sl062003-#id#.html

Perhatikan bahwa pola nama file sistem terlampir dalam tanda kutip karena berisi karakter khusus.

• pyrouge_convert_plain_text_to_rouge_format mengubah file teks biasa menjadi format rouge memahami. Jika file teks biasa Anda tidak berisi satu kalimat per baris, skrip ini juga dapat membagi kalimat, asalkan Anda memiliki NLTK dan splitter kalimat punkt yang diinstal. Contoh:

 pyrouge_convert_plain_text_to_rouge_format -i model_plain/ -o model_rouge

• Pyrouge_write_config_file membuat file konfigurasi yang dapat Anda gunakan untuk menjalankan Rouge sendiri. Contoh:

 pyrouge_write_config_file -s Systems -sfp "sl.p.10.r.11.sl062003 -( d+). HTML" -M Model -MFP Sl.P.10.R. [AZ] .SL062003-#ID#.HTML -C SL2003_.

Menjalankan semua ini dengan opsi -h akan menampilkan pesan penggunaan yang menjelaskan berbagai opsi baris perintah.

Instalasi

Instruksi untuk menginstal Rouge dapat ditemukan di sini.

Bergantung pada sistem Anda, Anda mungkin harus menjalankan perintah berikut sebagai root.

Untuk menginstal Pyrouge, jalankan:

 Pip Instal Pyrouge

Jika Anda kesulitan menginstal Pyrouge di Windows, silakan periksa panduan ini oleh Franck Dernoncourt.

Dengan asumsi Rouge-1.5.5 yang berfungsi. instalasi, beri tahu Pyrouge The Rouge Path dengan perintah ini:

 pyrouge_set_rouge_path /bsolute/path/to/rouge-1.5.5/directory

Jika menyimpan jalur Rouge menggunakan skrip ini tidak berfungsi pada sistem Anda, Anda juga dapat menyediakan jalur Rouge saat runtime:

 r = rouge155 ('/absolute/path/to/rouge-1.5.5/direktori')

Untuk menguji apakah semuanya diinstal dengan benar, jalankan:

 Python -M Pyrouge.test

Jika semuanya berhasil, Anda harus melihat sesuatu seperti:

 Menjalankan 10 tes di 18.055s

OKE

Jika Anda ingin menghapus Pyrouge:

 Pip uninstall Pyrouge