ollama grid search

Ollama网格搜索：立即评估多个LLM和提示。

该项目自动选择给定用例的最佳模型，提示或推理参数的过程，从而使您可以迭代其组合并视觉检查结果。

它假设Ollama已安装并在localhost或远程服务器中提供终点。

这是一个对3种不同型号进行测试的简单提示的实验，看起来像：

（有关此工具辅助的评估过程的更深入的查看，请检查https://dezoito.github.io/2023/12/12/27/rust-ollast-ollama-grid-search.html）。

目录

• 安装
• 特征
• 网格搜索概念
• A/B测试
• 及时存档
• 实验日志
• 未来功能
• 贡献
• 发展
• 引用
• 致谢

安装

检查项目的发布页面，或在侧边栏上。

特征

• 自动从本地或远程Ollama服务器获取型号；
• 在多个不同的模型，提示和参数上迭代以生成推论；
• A/B同时测试了几个模型的不同提示；
• 每种参数组合都允许多次迭代；
• 允许有限的并发或同步推理调用（以防止垃圾邮件服务器）；
• 可选输出推理参数和响应元数据（推理时间，令牌和令牌/s）；
• 取消个人推理电话；
• 模型选择可以通过名称过滤；
• 可以以JSON格式下载的列表实验；
• 可以从可读的视图中检查实验；
• 重新运行过去的实验，克隆或修改过去使用的参数；
• 可配置的推入超时；
• 自定义默认参数和系统提示可以在设置中定义
• 功能齐全的提示数据库，示例；
• 可以在输入中键入“/”来选择提示并“自动完成”

网格搜索（或类似的东西...）

从技术上讲，术语“网格搜索”是指在一系列不同的模型HyperParams上进行迭代以优化模型性能，但这通常意味着诸如batch_size ， learning_rate或number_of_epochs之类的参数，在训练中更常用。

但是这里的概念相似：

让我们定义模型的选择，提示和一些参数组合：

每个参数值将对每个选定模型中的每个参数值提交一次，生成一组响应。

A/B测试

同样，您可以通过选择不同的模型来执行A/B测试，并比较相同的提示/参数组合的结果，或在相似配置下测试不同的提示：

比较同一模型的不同提示的结果

及时存档

您可以保存和管理您的提示（我们想使提示与Open WebUI兼容）

您可以通过键入“/”（也受开放webUI的启发）来自动完成提示：

实验日志

您可以列出，检查或下载您的实验：

未来功能

• 评分结果并按等级进行过滤
• 导入，导出和共享提示列表和实验文件。

贡献

• 对于明显的错误和拼写错误，请继续提交PR。

• 如果您想提出一项新功能，更改现有功能或提出更复杂的内容，请在完成公关工作之前打开讨论问题。

发展

1. 确保您已经安装了生锈。

2. 克隆存储库（或叉子）

git clone https://github.com/dezoito/ollama-grid-search.git
cd ollama-grid-search

3. 安装前端依赖项。

    cd < project root >
   # I'm using bun to manage dependencies,
   # but feel free to use yarn or npm
   bun install

4. 确保在检查代码时配置rust-analyzer以运行Clippy 。

   如果您正在运行VS代码，请将其添加到您的settings.json文件

   {
      ...
      "rust-analyzer.check.command" : " clippy " ,
   }

   （或者，更好的是，只需使用与代码中提供的设置文件）

5. 在开发模式下运行应用程序

    cd < project root > /
   bun tauri dev

6. 去喝杯咖啡，因为这可能需要一段时间。

引用

以下作品和论文引用了这个存储库：

Inouye，D＆Lindo，L和Lee，R＆Allen，E；计算机科学与工程高级论文：在Lora超参数上进行自动调节圣克拉拉大学，2024 https://scholarcommons.scu.edu/cgi/cgi/cgi/viewcontent.cgi?article=1271&context=cseng_seng_senior = cSeng_Senior = cseng_seniorior = cSeng_Seniorior = cSeng_Seniorior =

谢谢你！

非常感谢@fabianlars， @peperroni21和@tomreidnz。