หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Wice: การอ้างสิทธิ์ในโลกแห่งความเป็นจริงสำหรับการเรียกร้องในวิกิพีเดีย

ที่เก็บนี้มีชุดข้อมูลและรหัสสำหรับ Paper Wice: entailment ในโลกแห่งความเป็นจริงสำหรับการเรียกร้องใน Wikipedia (EMNLP 2023)

ผู้เขียน: Ryo Kamoi, Tanya Goyal, Juan Diego Rodriguez, Greg Durrett 

 @inproceedings { kamoi-etal-2023-wice ,
    title = " {W}i{CE}: Real-World Entailment for Claims in {W}ikipedia " ,
    author = " Kamoi, Ryo  and
      Goyal, Tanya  and
      Rodriguez, Juan  and
      Durrett, Greg " ,
    editor = " Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika " ,
    booktitle = " Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing " ,
    month = dec,
    year = " 2023 " ,
    address = " Singapore " ,
    publisher = " Association for Computational Linguistics " ,
    url = " https://aclanthology.org/2023.emnlp-main.470 " ,
    pages = " 7561--7583 " ,
}
  • ไดเรกทอรีข้อมูลรวมชุดข้อมูล Wice
  • ไดเรกทอรี CODE_AND_RESOURCES รวมถึงรหัสและโมเดลเอาต์พุตของการทดลองในกระดาษ โปรดดู code_and_resources/readme.md สำหรับรายละเอียด

สารบัญ

  • ชุดข้อมูล Wice
    • การจดจำและการดึง
    • โทเค็นที่ไม่ได้รับการสนับสนุน
  • การเรียกร้อง
  • วิธีประเมินแบบจำลองของคุณใน Wice?
    • ชุดข้อมูลการค้นคืนของ Oracle
  • ใบอนุญาต

ชุดข้อมูล Wice

Wice เป็นชุดข้อมูลที่เป็นข้อความที่มีเนื้อละเอียดที่สร้างขึ้นจากการอ้างสิทธิ์ตามธรรมชาติและคู่หลักฐานที่สกัดจาก Wikipedia ได้รับประโยคในวิกิพีเดียและบทความที่เกี่ยวข้องที่อ้างถึงเราใส่คำอธิบายประกอบฉลาก entailment รายการประโยคในบทความที่อ้างถึงซึ่งสนับสนุนประโยคการเรียกร้องและโทเค็นในการเรียกร้องที่ไม่ได้รับการสนับสนุนจากบทความ ( s).

ชุดข้อมูลนี้สามารถใช้ในการประเมินความหลากหลายของงาน แต่ได้รับการออกแบบมาเป็นหลักสำหรับงานสามงาน: การจำแนกประเภทการเรียกร้องการดึงประโยคหลักฐานและการตรวจจับโทเค็นที่ไม่ได้รับการสนับสนุน

การจดจำและการดึง

ข้อมูล/entailment_retrieval รวมชุดข้อมูล Wice สำหรับงาน entailment และการดึงข้อมูล ข้อมูล/entailment_retrieval/การเรียกร้องรวมข้อมูลที่มีการเรียกร้องดั้งเดิมและข้อมูล/entailment_retrieval/subclaim รวมข้อมูลที่มีการเรียกร้องที่ย่อยสลาย

ไดเรกทอรีย่อยแต่ละไฟล์รวมไฟล์ JSONL สำหรับชุดรถไฟ dev และชุดทดสอบ นี่คือตัวอย่างของข้อมูลในไฟล์ JSONL: 

{
    "label" : " partially_supported " ,
    "supporting_sentences" : [[ 5 , 15 ], [ 15 , 17 ]],
    "claim" : " Arnold is currently the publisher and editorial director of Media Play News, one of five Hollywood trades and the only one dedicated to the home entertainment sector. " ,
    "evidence" : [ list of evidence sentences ],
    "meta" : { "id" : " dev02986 " , "claim_title" : " Roger Hedgecock " , "claim_section" : " Other endeavors. " , "claim_context" : [ paragraph ]}
}
  • label : ฉลาก entailment ใน { supported partially_supported _supported, not_supported }
  • supporting_sentences : รายการดัชนีของประโยคสนับสนุน ชุดประโยคสนับสนุนทั้งหมดที่ให้ไว้นั้นถูกต้อง (ในตัวอย่างข้างต้นทั้ง [5, 15] และ [5, 17] เป็นคำอธิบายประกอบเป็นชุดที่ถูกต้องของประโยคสนับสนุนที่มีข้อมูลเดียวกัน)
  • claim : ประโยคจากวิกิพีเดีย
  • evidence : รายการประโยคในเว็บไซต์ที่อ้างถึง
  • meta
    • claim_title : ชื่อของหน้า Wikipedia ที่มี claim
    • claim_section : ส่วนที่มี claim
    • claim_context : ประโยคก่อน claim

โทเค็นที่ไม่ได้รับการสนับสนุน

ข้อมูล/non_supported_tokens รวมชุดข้อมูล Wice สำหรับงานตรวจจับโทเค็นที่ไม่ได้รับการสนับสนุน เราให้คำอธิบายประกอบสำหรับการเรียกร้องย่อยที่มีคำอธิบาย partially_supported _supported เรากรองจุดข้อมูลที่มีข้อตกลงระหว่าง Annotator ต่ำ (โปรดดูเอกสารสำหรับรายละเอียด) 

{
    "claim" : " Irene Hervey appeared in over fifty films and numerous television series. " ,
    "claim_tokens" : [ " Irene " , " Hervey " , " appeared " , " in " , " over " , " fifty " , " films " , " and " , " numerous " , " television " , " series " , " . " ],
    "non_supported_spans" : [ false , false , false , false , true , true , false , false , false , false , false , false ],
    "evidence" : [ list of evidence sentences ],
    "meta" : { "id" : " test00561-1 " , "claim_title" : " Irene Hervey " , "claim_section" : " Abstract. " , "claim_context" : " Irene Hervey was an American film, stage, and television actress. " }
}
  • claim_tokens : รายการโทเค็นในการเรียกร้อง
  • non_supported_spans : รายการบูลที่สอดคล้องกับ claim_tokens ( true เป็นโทเค็นที่ไม่ได้รับการสนับสนุน)

การเรียกร้อง

ไดเรกทอรี Ceame_split รวมถึงการแจ้งเตือนสำหรับการเรียกร้องการแยกซึ่งเป็นวิธีการย่อยสลายการเรียกร้องโดยใช้ GPT-3 เราใช้พรอมต์ที่แตกต่างกันสำหรับชุดข้อมูลที่แตกต่างกันในการทดลองในงานนี้ดังนั้นเราจึงให้พร้อมท์สำหรับ Wice, Vitaminc, Paws และ Frank (Xsum)

วิธีประเมินแบบจำลองของคุณใน Wice?

เมื่อคุณประเมินรูปแบบการจำแนกประเภทการเข้าร่วมใน Wice เว้นแต่ว่าแบบจำลองของคุณจะสามารถจัดการกับบริบทการป้อนข้อมูลที่ยาวนานมากคุณต้องดึงประโยคหลักฐานจากบทความหลักฐานเป็นขั้นตอนแรก โปรดดูเอกสารของเราสำหรับวิธีการที่เป็นไปได้สำหรับการประเมินแบบจำลองที่มีความยาวอินพุต จำกัด บน Wice

หากคุณประเมินแบบจำลองการดึงหลักฐานคุณสามารถใช้ข้อมูลในข้อมูล/entailment_retrieval

ชุดข้อมูลการค้นคืนของ Oracle

หากคุณกำลังมองหาชุดข้อมูล NLI อย่างง่ายที่มีหลักฐานสั้น ๆ ที่ไม่ต้องการโมเดลการดึงข้อมูลใด ๆ (เช่น SNLI, MNLI และ ANLI) คุณสามารถใช้ชุดข้อมูลการดึง Oracle ของเรา ชุดข้อมูลการดึง Oracle จำลองสถานการณ์ที่คุณมีรูปแบบการดึงหลักฐานที่สมบูรณ์แบบ เมื่อคุณรายงานผลลัพธ์เกี่ยวกับข้อมูลการดึงข้อมูล Oracle นี้คุณต้องพูดถึงอย่างชัดเจนว่าคุณใช้ชุดข้อมูลการดึง Oracle ไม่ใช่ชุดข้อมูล Wice ดั้งเดิม

เราให้รหัสสำหรับการทดสอบซ้ำของเราโดยใช้ GPT-3.5 และ GPT-4 บนชุดข้อมูลการดึง Oracle โปรดดูที่ code_and_resources/code/readme.md สำหรับรายละเอียด

ใบอนุญาต

โปรดดูไฟล์ licence.md

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด