llms as method actors

LLMS作為方法參與者的官方回購

Paper LLMS作為方法參與者的官方實施：使用代碼，提示和样本輸出的及時工程和體系結構的模型。

設定

1. 設置您的API密鑰

將您的OpenAI API密鑰存儲在環境變量OPENAI_API_KEY中。 （要了解有關設置OpenAI API密鑰的更多信息，請遵循此鏈接）。如果您想使用人類或雙子座模型，請將這些鍵存儲在環境變量ANTHROPIC_API_KEY和GEMINI_API_KEY中。

2. 安裝必要的軟件包

pip install -r requirements.txt

這將安裝requirements.txt中列出的所有依賴項。

教程

Jupyter Notebook Tutorial.ipynb可以引導您了解如何在任何連接拼圖上從紙上運行每種方法。

樣本輸出

每種方法的示例輸出都在“ sample_output”文件夾中可用，作為markdown文件。對於更複雜的方法，包括標記文件，以跟踪所考慮的每個猜測的中介進度。名為“摘要”和“ summary_detailed”的降價文件總結了總體結果和中介步驟的結果。

樣本輸出是通過在2024年11月11日在Arxiv.org上宣布紙張的那一天的連接拼圖上的Python腳本來創建的。

結果如下：

方法	成功？	＃正確的猜測	＃不正確的猜測
香草	不	0	4
經過思考鏈	不	1	4
經過思考鏈（腳本）	是的	4	3
演員	是的	4	0
演員2	是的	4	1
Oneshot-O1	不	2	2
香草-O1	是的	4	0
演員-O1	是的	4	0

引用

如果您覺得很有趣或有用，請引用紙張並將其播放。如果您有任何疑問，請隨時聯繫[email protected]。

 @misc { doyle2024method ,
      title = { LLMs as Method Actors: A Model for Prompt Engineering and Architecture } , 
      author = { Colin Doyle } ,
      year = { 2024 } ,
      eprint = { 2411.05778 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}