promptolution

及时解决

迅速解决方案是一个库，提供了一个模块化且可扩展的框架，用于实现及时调整实验。它提供了一个用户友好的接口，以组装核心组件，以完成各种及时的优化任务。

此外，该存储库还包含我们对本文“朝着具有成本效益的及时调整：评估模型大小，模型家庭和evoprompt中的任务描述的影响”的实验。

该项目由TimoHeiß，Moritz Schlager和Tom Zehle开发。

安装

使用PIP安装我们的库：

 pip install promptolution

或者，克隆存储库，运行

 poetry install

安装必要的依赖项。您可能需要先安装Pipx和诗歌。

文档

https://finitearth.github.io/promptolution/在https://finitearth.gith.io/promptolution/上进行了综合文档。

用法

为要使用的模型创建API键：

• Openai：将令牌存储在OpenAitoken.txt中
• 拟人化：在anthropictoken.txt中存储令牌
• deepinfra（用于骆驼）：将令牌存储在deepinfratoken.txt中

优化算法可供选择

姓名	＃初始化人口	勘探	费用	收敛速度	可行的	利用故障案例
evoprompt de	8-12	？	？	⚡⚡	✅
Evoprompt ga	8-12	？	？	⚡⚡	✅
Opro	0	？	？	⚡

核心组件

• 任务：封装初始提示，数据集功能，目标和评估方法。
• 预测指标：实现预测逻辑，任务与LLM组件之间的接口。
• LLM：统一从语言模型获得响应的过程，无论是通过API当地托管还是访问。
• 优化器：在优化过程中利用其他组件来实现提示优化算法。
• 示例选择器：实现算法，以搜索添加到提示符中的几个射击示例。

关键功能

• 模块化和面向对象的设计
• 可扩展的架构
• 用于组装实验的易于使用的界面
• 并行的LLM请求提高效率
• 与Langchain集成，用于标准化LLM API调用
• 详细的日志记录和回调系统，用于优化分析

入门

看看我们的入门笔记本：get_started.py

复制我们的实验

我们为所有实验提供脚本和配置。基于配置通过：运行实验：

 poetry run python scripts/experiment_runs.py --experiment "configs/<my_experiment>.ini"

其中<my_experiment>.ini是基于我们的模板的配置。

该项目是为LMU慕尼黑大型预培训模型时代的“汽车”研讨会开发的。