qaap

الإجابة على الأسئلة كبرمجة لحل الأسئلة الحساسة للوقت (EMNLP 2023)

يثبت

1. pip install -r requirements.txt
2. اضبط مفتاح API Openai في main.py

بداية سريعة

تشغيل تجارب الوقت

 python main.py 
  --prompt_file timeqa.json 
  --given_context 1 
  --dataset timeqa 
  --data_file test_hard.jsonl 
  --max_slice_length 512 
  --slice_stride 384 
  --return_search_passage content 
  --model_name gpt-3.5-turbo 
  --resume_id -1 

قم بتشغيل تجارب TempQuesions و TimeQuesions

 python main.py 
  --prompt_file timequestions.json 
  --given_context 0 
  --dataset tempquestion 
  --data_file test.jsonl 
  --max_slice_length 512 
  --slice_stride 384 
  --return_search_passage content 
  --model_name gpt-3.5-turbo 
  --resume_id -1 

يجب أن يبدو المخرجات

 0 Joachim Löw was the coach of which team between Jan 1997 and Aug 1997?
'''python
query = {"subject": "Joachim Löw", "relation": "coach of", "object": None, "time": {"start": datetime(1997, 1, 1), "end": datetime(1997, 8, 31)}}
answer_key = "object"
'''
Search:
'''python
entities_to_search = ["Joachim Löw"]
'''
--------------------------------------------------
Generate a background document from Wikipedia to answer the given question:Joachim Löw is a German football coach and former player. He was the head coach of VfB Stuttgart from July 1996 to October 1998.
Extract information relevant to the query:
'''python
information.append({"subject": "Joachim Löw", "relation": "coach of", "object": "VfB Stuttgart", "time": {"start": datetime(1996, 7, 1), "end": datetime(1998, 10, 31)}})
'''
**************************************************
Extract information relevant to the query:
'''python
information.append({"subject": "Joachim Löw", "relation": "coach of", "object": None, "time": {"start": datetime(1997, 1, 1), "end": datetime(1997, 8, 31)}})
'''
...

تقييم

قم بتعيين file_path في calc_metrics_with_check_and_match.py ​​وقم بتنفيذها.

كيفية التعميم على QA المنطق القائم على التقييد الأخرى

في هذا العمل ، نركز على ضمان الجودة المقيد بالوقت. ومع ذلك ، يمكن تعديل إطار عملنا لتعميمه على مهام ضمان الجودة الأخرى القائمة على التقييد. المفتاح هو تحديد القيد على أنه فئة Python ، والتي يجب أن تكون قادرة على قياس مدى رضاء القيد وإعادة تعريف وظيفة match في calc_metrics_with_check_and_match.py .

ملحوظة

ندير جميع التجارب مع gpt-3.5-turbo-0301 . ومع ذلك ، وجدنا أن الإصدارات المحدثة مثل gpt-3.5-turbo-0613 و gpt-3.5-turbo-1106 لها سلوك مختلف ، وتصبح قدرتها على التعلم في السياق متدهورة ولا يمكنها أداء المهمة بشكل صحيح.

اقتباس

يرجى الاستشهاد بالورقة ونبوة هذا الريبو إذا وجدت QAAP مثيرة للاهتمام أو مفيدة ، شكرًا لك! لا تتردد في الاتصال [email protected] أو فتح مشكلة إذا كان لديك أي أسئلة.

 @article { zhu2023qaap ,
  title = { Question Answering as Programming for Solving Time-Sensitive Questions } ,
  author = { Zhu, Xinyu and Yang, Cheng and Chen, Bei and Li, Siheng and Lou, Jian-Guang and Yang, Yujiu } ,
  journal = { arXiv preprint arXiv:2305.14221 } ,
  year = { 2023 }
}