llm workbench

有关此想法的V2，请参阅https://neosheets.com（https://github.com/suhjohn/neosheets）。

LLM Workbench

https://www.llmwb.com/

LLMS的增压工作台。测试来自不同模型的提示模板，以及提供及时参数的数据集，以替换占位符。

问题

我现在已经建造了三个不同的AI聊天机器人。在此过程中，我不得不构建该应用程序支持的功能的子集。我还想拥有一个无代码平台来测试各种参数的提示，以查看提示的工作原理。

我个人没有找到吸引人的自动及时作者库 - 我想在各种参数上获得足够的氛围检查。

我个人也不使用任何抽象库，也没有发现它们有用。但是，对于那些想要打开狗测试提示的人来说，工具似乎很少。

我的灵感来自Anthropic最近的Workbench平台，这似乎是Openai的游乐场的一个很好的加速。

该应用程序解决了这些特定用户问题：

• 对于采用args: Record<string, string>作为其提示参数，我希望能够测试不同的模型参数。
• 对于特定的LLM Propmt，我想测试不同的及时参数集，也许是快乐的案例或我所看到的案例以某种方式失败。
• 对于一组特定的提示参数，我想测试不同的LLM提示以对其输出进行氛围检查。
• （提供商似乎具有不同的默认参数，特别是对于开源模型）我想测试不同提供商的同一提示 +模型以了解其行为
• 我想查看我提供的一组特定参数的多个运行历史记录。

特征

1. 创建“模板”：消息 /原始提示，使用{{ }}使用Mustache.js表示变量。
2. 创建“数据集”：创建要测试模板的变量列表。
3. 支持所有参数：能够输入用于不同API和UI上的所有参数。我发现许多半专业的游乐场工具不支持工具或logit_bias等参数。该项目的构建是可以在提供商添加的新参数时轻松扩展它们的。
4. 支持生态系统中所有有意义的提供者：

• Openai
• 人类
• 双子座
• 一起
• AWS Bedrock
• azure
• 任何规模
• 谷
• OpenRouter
• 用户定义的API

托多

1. 迅速论证作为JSON的手册输入
2. 导入CSV
3. 版本控制提示和数据集
4. 自定义提供商和自定义模型
5. 多模式输入 +参数
6. 切换可见列 +显示编译的输入
7. 默认提示 +共享数据

安全

您在网站上添加的模板 /数据集 / API键仅在本地存储在您的浏览器上。

本地运行

截至目前，LLM Workbench只是一个spap。假设您有纱，可以使用以下操作：

 yarn
yarn dev