promptolution

及時解決

迅速解決方案是一個庫，提供了一個模塊化且可擴展的框架，用於實現及時調整實驗。它提供了一個用戶友好的接口，以組裝核心組件，以完成各種及時的優化任務。

此外，該存儲庫還包含我們對本文“朝著具有成本效益的及時調整：評估模型大小，模型家庭和evoprompt中的任務描述的影響”的實驗。

該項目由TimoHeiß，Moritz Schlager和Tom Zehle開發。

安裝

使用PIP安裝我們的庫：

 pip install promptolution

或者，克隆存儲庫，運行

 poetry install

安裝必要的依賴項。您可能需要先安裝Pipx和詩歌。

文件

https://finitearth.github.io/promptolution/在https://finitearth.gith.io/promptolution/上進行了綜合文檔。

用法

為要使用的模型創建API鍵：

• Openai：將令牌存儲在OpenAitoken.txt中
• 擬人化：在anthropictoken.txt中存儲令牌
• deepinfra（用於駱駝）：將令牌存儲在deepinfratoken.txt中

優化算法可供選擇

姓名	＃初始化人口	勘探	費用	收斂速度	可行的	利用故障案例
evoprompt de	8-12	？	？	⚡⚡	✅
Evoprompt ga	8-12	？	？	⚡⚡	✅
Opro	0	？	？	⚡

核心組件

• 任務：封裝初始提示，數據集功能，目標和評估方法。
• 預測指標：實現預測邏輯，任務與LLM組件之間的接口。
• LLM：統一從語言模型獲得響應的過程，無論是通過API當地託管還是訪問。
• 優化器：在優化過程中利用其他組件來實現提示優化算法。
• 示例選擇器：實現算法，以搜索添加到提示符中的幾個射擊示例。

關鍵功能

• 模塊化和麵向對象的設計
• 可擴展的架構
• 用於組裝實驗的易於使用的界面
• 並行的LLM請求提高效率
• 與Langchain集成，用於標準化LLM API調用
• 詳細的日誌記錄和回調系統，用於優化分析

入門

看看我們的入門筆記本：get_started.py

複製我們的實驗

我們為所有實驗提供腳本和配置。基於配置通過：運行實驗：

 poetry run python scripts/experiment_runs.py --experiment "configs/<my_experiment>.ini"

其中<my_experiment>.ini是基於我們的模板的配置。

該項目是為LMU慕尼黑大型預培訓模型時代的“汽車”研討會開發的。