TextGenerationEvaluationMetrics

การวัดความหลากหลายและคุณภาพร่วมกันในรูปแบบการสร้างข้อความ

นี่คือการใช้งานตัวชี้วัดสำหรับการวัดความหลากหลายและคุณภาพซึ่งมีการแนะนำในบทความนี้ นอกจากนี้มีการวัดอื่น ๆ

สำหรับ Bleu และ Self Bleu การใช้งาน Hyperformance นี้ใช้

ตัวอย่างการใช้งาน

ระยะทางหลายชุด

นี่คือตัวอย่างในการคำนวณระยะทาง MS-Jaccard อินพุตของตัวชี้วัดเหล่านี้เป็นรายการประโยคที่มีโทเค็น

 from multiset_distances import MultisetDistances

ref1 = [ 'It' , 'is' , 'a' , 'guide' , 'to' , 'action' , 'that' , 'ensures' , 'that' , 'the' , 'military' , 'will' , 'forever' , 'heed' , 'Party' , 'commands' ]
ref2 = [ 'It' , 'is' , 'the' , 'guiding' , 'principle' , 'which' , 'guarantees' , 'the' , 'military' , 'forces' , 'always' , 'being' , 'under' , 'the' , 'command' , 'of' , 'the' , 'Party' ]
ref3 = [ 'It' , 'is' , 'the' , 'practical' , 'guide' , 'for' , 'the' , 'army' , 'always' , 'to' , 'heed' , 'the' , 'directions' , 'of' , 'the' , 'party' ]
sen1 = [ 'It' , 'is' , 'a' , 'guide' , 'to' , 'action' , 'which' , 'ensures' , 'that' , 'the' , 'military' , 'always' , 'obeys' , 'the' , 'commands' , 'of' , 'the' , 'party' ]
sen2 = [ 'he' , 'read' , 'the' , 'book' , 'because' , 'he' , 'was' , 'interested' , 'in' , 'world' , 'history' ]

references = [ ref1 , ref2 , ref3 ]
sentences = [ sen1 , sen2 ]

msd = MultisetDistances ( references = references )
msj_distance = msd . get_jaccard_score ( sentences = sentences )

ค่าของ msj_distance คือ {3: 0.17, 4: 0.13, 5: 0.09} ซึ่งแสดง MS-Jaccard สำหรับ 3 กรัม, 4-garm และ 5 กรัมตามลำดับ

ระยะทางตามเบิร์ต

นี่คือตัวอย่างในการคำนวณระยะทาง FBD และ EMBD อินพุตของตัวชี้วัดเหล่านี้เป็นรายการของสตริงและ Bert Tokenizer ใช้ในรหัส

 from bert_distances import FBD , EMBD
references = [ "that is very good" , "it is great" ]
sentences1 = [ "this is nice" , "that is good" ]
sentences2 = [ "it is bad" , "this is very bad" ]

fbd = FBD ( references = references , model_name = "bert-base-uncased" , bert_model_dir = "/tmp/Bert/" )
fbd_distance_sentences1 = fbd . get_score ( sentences = sentences1 )
fbd_distance_sentences2 = fbd . get_score ( sentences = sentences2 )
# fbd_distance_sentences1 = 17.8, fbd_distance_sentences2 = 22.0

embd = EMBD ( references = references , model_name = "bert-base-uncased" , bert_model_dir = "/tmp/Bert/" )
embd_distance_sentences1 = embd . get_score ( sentences = sentences1 )
embd_distance_sentences2 = embd . get_score ( sentences = sentences2 )
# embd_distance_sentences1 = 10.9, embd_distance_sentences2 = 20.4

ทรัพยากร

• กระดาษ
• โปสเตอร์
• วิดีโอการนำเสนอ
• เลื่อน

การอ้างอิง

โปรดอ้างอิงกระดาษของเราหากช่วยในการวิจัยของคุณ

@misc{montahaei2019jointly,
    title={Jointly Measuring Diversity and Quality in Text Generation Models},
    author={Ehsan Montahaei and Danial Alihosseini and Mahdieh Soleymani Baghshah},
    year={2019},
    eprint={1904.03971},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}