qaap

Fragen zur Beantwortung der Beantwortung als Programmierung zur Lösung zeitempfindlicher Fragen (EMNLP 2023)

Aufstellen

1. pip install -r requirements.txt
2. Stellen Sie den OpenAI -API -Schlüssel in main.py ein

Schneller Start

Laufzeitexperimente

 python main.py 
  --prompt_file timeqa.json 
  --given_context 1 
  --dataset timeqa 
  --data_file test_hard.jsonl 
  --max_slice_length 512 
  --slice_stride 384 
  --return_search_passage content 
  --model_name gpt-3.5-turbo 
  --resume_id -1 

Führen Sie Tempquestions und ZeitQuests -Experimente durch

 python main.py 
  --prompt_file timequestions.json 
  --given_context 0 
  --dataset tempquestion 
  --data_file test.jsonl 
  --max_slice_length 512 
  --slice_stride 384 
  --return_search_passage content 
  --model_name gpt-3.5-turbo 
  --resume_id -1 

Die Ausgabe sollte so aussehen

 0 Joachim Löw was the coach of which team between Jan 1997 and Aug 1997?
'''python
query = {"subject": "Joachim Löw", "relation": "coach of", "object": None, "time": {"start": datetime(1997, 1, 1), "end": datetime(1997, 8, 31)}}
answer_key = "object"
'''
Search:
'''python
entities_to_search = ["Joachim Löw"]
'''
--------------------------------------------------
Generate a background document from Wikipedia to answer the given question:Joachim Löw is a German football coach and former player. He was the head coach of VfB Stuttgart from July 1996 to October 1998.
Extract information relevant to the query:
'''python
information.append({"subject": "Joachim Löw", "relation": "coach of", "object": "VfB Stuttgart", "time": {"start": datetime(1996, 7, 1), "end": datetime(1998, 10, 31)}})
'''
**************************************************
Extract information relevant to the query:
'''python
information.append({"subject": "Joachim Löw", "relation": "coach of", "object": None, "time": {"start": datetime(1997, 1, 1), "end": datetime(1997, 8, 31)}})
'''
...

Auswertung

Setzen Sie den file_path in calc_metrics_with_check_and_match.py ​​und führen Sie ihn aus.

Wie man sich auf andere eingeschränkte Argumentations-QA verallgemeinern

In dieser Arbeit konzentrieren wir uns auf die zeitbeschränkte QA. Unser Framework kann jedoch so geändert werden, dass sie auf andere eingeschränkte QA-Aufgaben verallgemeinert werden. Der Schlüssel besteht darin, die Einschränkung als Python -Klasse zu definieren, die in der Lage sein sollte, zu messen, wie gut die Einschränkung erfüllt ist, und die match in calc_metrics_with_check_and_match.py ​​neu definieren.

Notiz

Wir führen alle Experimente mit gpt-3.5-turbo-0301 durch. Wir haben jedoch festgestellt, dass die aktualisierten Versionen wie gpt-3.5-turbo-0613 und gpt-3.5-turbo-1106 ein anderes Verhalten haben, ihre Fähigkeit zur Lernfähigkeit in Kontext verschlechtert und die Aufgabe nicht korrekt ausführen kann.

Zitat

Bitte zitieren Sie das Papier und spielen Sie dieses Repo, wenn Sie QAAP interessant oder nützlich finden, danke! Wenden Sie sich gerne an [email protected] oder öffnen Sie ein Problem, wenn Sie Fragen haben.

 @article { zhu2023qaap ,
  title = { Question Answering as Programming for Solving Time-Sensitive Questions } ,
  author = { Zhu, Xinyu and Yang, Cheng and Chen, Bei and Li, Siheng and Lou, Jian-Guang and Yang, Yujiu } ,
  journal = { arXiv preprint arXiv:2305.14221 } ,
  year = { 2023 }
}