llm workbench

有關此想法的V2，請參閱https://neosheets.com（https://github.com/suhjohn/neosheets）。

LLM Workbench

https://www.llmwb.com/

LLMS的增壓工作台。測試來自不同模型的提示模板，以及提供及時參數的數據集，以替換佔位符。

問題

我現在已經建造了三個不同的AI聊天機器人。在此過程中，我不得不構建該應用程序支持的功能的子集。我還想擁有一個無代碼平台來測試各種參數的提示，以查看提示的工作原理。

我個人沒有找到吸引人的自動及時作者庫 - 我想在各種參數上獲得足夠的氛圍檢查。

我個人也不使用任何抽像庫，也沒有發現它們有用。但是，對於那些想要打開狗測試提示的人來說，工具似乎很少。

我的靈感來自Anthropic最近的Workbench平台，這似乎是Openai的遊樂場的一個很好的加速。

該應用程序解決了這些特定用戶問題：

• 對於採用args: Record<string, string>作為其提示參數，我希望能夠測試不同的模型參數。
• 對於特定的LLM Propmt，我想測試不同的及時參數集，也許是快樂的案例或我所看到的案例以某種方式失敗。
• 對於一組特定的提示參數，我想測試不同的LLM提示以對其輸出進行氛圍檢查。
• （提供商似乎具有不同的默認參數，特別是對於開源模型）我想測試不同提供商的同一提示 +模型以了解其行為
• 我想查看我提供的一組特定參數的多個運行歷史記錄。

特徵

1. 創建“模板”：消息 /原始提示，使用{{ }}使用Mustache.js表示變量。
2. 創建“數據集”：創建要測試模板的變量列表。
3. 支持所有參數：能夠輸入用於不同API和UI上的所有參數。我發現許多半專業的遊樂場工具不支持工具或logit_bias等參數。該項目的構建是可以在提供商添加的新參數時輕鬆擴展它們的。
4. 支持生態系統中所有有意義的提供者：

• Openai
• 人類
• 雙子座
• 一起
• AWS Bedrock
• azure
• 任何規模
• 谷
• OpenRouter
• 用戶定義的API

托多

1. 迅速論證作為JSON的手冊輸入
2. 導入CSV
3. 版本控制提示和數據集
4. 自定義提供商和自定義模型
5. 多模式輸入 +參數
6. 切換可見列 +顯示編譯的輸入
7. 默認提示 +共享數據

安全

您在網站上添加的模板 /數據集 / API鍵僅在本地存儲在您的瀏覽器上。

本地運行

截至目前，LLM Workbench只是一個spap。假設您有紗，可以使用以下操作：

 yarn
yarn dev