PromptRank

通过语言模型提示，多跳质量质量质量质量质量质量质量质量质量量

我们提出了一种用于开放域QA的多跳​​文档路径的零和少量重新排列的方法。 PROMPTRANK构建一个提示，该提示由（i）指令和（ii）路径并使用LLM来评分路径，以此作为生成提示的问题的概率。

指示

1。下载TF-IDF索引

从此链接下载Pathretriever提供的HotPotQA的TF-IDF检索器和数据库，并将其内容放在path-retriever/models中

2。安装要求

 pip install -r requirements.txt

3。下载处理的数据

可以从[Google Drive]下载HOTPOTQA和2WIKIMQA处理的数据，通过检索200个顶级TF-IDF文章以播种推断，可以预处理数据。 （https://drive.google.com/file/d/1mi7xadhwlhlw6fmow3ljqmpipsmlnp67/view?usp = share_link）。然后解压缩数据，然后将内容放入data/

4.（a）用单个指令运行POMPTRAKN

 python run.py 
--model google/t5-base-lm-adapt 
--eval_batch_size=50 
--max_prompt_len 600  
--max_doc_len 230 
--tfidf_pool_size 100  
--n_eval_examples 1000 
--temperature 1.0 
--eval_data data/hotpotqa/dev.json 
--prompt_template 'Document: <P> Review previous documents and ask some question. Question:'

4.（b）通过指示合奏运行Poarptrank

 python run.py 
--model google/t5-base-lm-adapt 
--eval_batch_size=50 
--max_prompt_len 600  
--max_doc_len 230 
--tfidf_pool_size 100  
--n_eval_examples 1000 
--temperature 1.0 
--eval_data data/hotpotqa/dev.json 
--instruction_template_file instruction-templates/top_instructions.txt
--ensemble_prompts 

这使用了在HotPotQA上找到的前10个说明，该指令在instruction-templates/top_instructions.txt中找到：

 Document : < P > Review previous documents and ask some question . Question
Document : < P > Review the previous documents and answer question . Question :
Document : < P > Read the previous documents and write the following question . Question :
Document : < P > Search previous documents and ask the question . Question :
To analyze the documents and ask question . Document : < P > Question :
Document : < P > To read the previous documents and write a question . Question :
Document : < P > Read previous documents and write your exam question . Question :
Document : < P > Read the previous documents and ask this question . Question :
Read two documents and answer a question . Document : < P > Question :
Identify all documents and ask question . Document : < P > Question :

4.（c）在使用中文学习的情况下运行公告（只有两个演示：一座桥梁和一个是/否问题）

 python run.py 
--model google/t5-base-lm-adapt 
--eval_batch_size=50 
--max_prompt_len 600  
--max_doc_len 230 
--tfidf_pool_size 100  
--n_eval_examples 1000 
--temperature 1.0 
--eval_data data/hotpotqa/dev.json 
--prompt_template 'Document: <P> Review previous documents and ask some question. Question:' 
--demos_ids 0,1  
--demos_file data/hotpotqa/in_context_demos.json 

4.（d）通过示范结合使用示范学习（有3个合奏 - 共有两个示范，共6个演示）

 python run.py 
--model google/t5-base-lm-adapt 
--eval_batch_size=50 
--max_prompt_len 600  
--max_doc_len 230 
--tfidf_pool_size 100  
--n_eval_examples 1000 
--temperature 1.0 
--eval_data data/hotpotqa/dev.json 
--prompt_template 'Document: <P> Review previous documents and ask some question. Question:' 
--demos_ids 0,1  
--demos_file data/hotpotqa/in_context_demos.json 
--n_ensemble_demos 3

注意：该代码支持指令结合或演示结合 - 不是两者兼而有之。

---

致谢

我们使用Pathretriever的许多组件。因此，感谢Akari Asai和其他人提供的代码和模型。

引用

如果您使用此代码，请考虑引用我们的论文：

 @article{promptrank,
  title={Few-shot Reranking for Multi-hop QA via Language Model Prompting},
  author={Khalifa, Muhammad and Logeswaran, Lajanugen and Lee, Moontae and Lee, Honglak and Wang, Lu},
  journal={arXiv preprint arXiv:2205.12650},
  year={2023}
}