ollama grid search

Ollama網格搜索：立即評估多個LLM和提示。

該項目自動選擇給定用例的最佳模型，提示或推理參數的過程，從而使您可以迭代其組合併視覺檢查結果。

它假設Ollama已安裝並在localhost或遠程服務器中提供終點。

這是一個對3種不同型號進行測試的簡單提示的實驗，看起來像：

（有關此工具輔助的評估過程的更深入的查看，請檢查https://dezoito.github.io/2023/12/12/27/rust-ollast-ollama-grid-search.html）。

目錄

• 安裝
• 特徵
• 網格搜索概念
• A/B測試
• 及時存檔
• 實驗日誌
• 未來功能
• 貢獻
• 發展
• 引用
• 致謝

安裝

檢查項目的發布頁面，或在側邊欄上。

特徵

• 自動從本地或遠程Ollama服務器獲取型號；
• 在多個不同的模型，提示和參數上迭代以生成推論；
• A/B同時測試了幾個模型的不同提示；
• 每種參數組合都允許多次迭代；
• 允許有限的並發或同步推理調用（以防止垃圾郵件服務器）；
• 可選輸出推理參數和響應元數據（推理時間，令牌和令牌/s）；
• 取消個人推理電話；
• 模型選擇可以通過名稱過濾；
• 可以以JSON格式下載的列表實驗；
• 可以從可讀的視圖中檢查實驗；
• 重新運行過去的實驗，克隆或修改過去使用的參數；
• 可配置的推入超時；
• 自定義默認參數和系統提示可以在設置中定義
• 功能齊全的提示數據庫，示例；
• 可以在輸入中鍵入“/”來選擇提示並“自動完成”

網格搜索（或類似的東西...）

從技術上講，術語“網格搜索”是指在一系列不同的模型HyperParams上進行迭代以優化模型性能，但這通常意味著諸如batch_size ， learning_rate或number_of_epochs之類的參數，在訓練中更常用。

但是這裡的概念相似：

讓我們定義模型的選擇，提示和一些參數組合：

每個參數值將對每個選定模型中的每個參數值提交一次，生成一組響應。

A/B測試

同樣，您可以通過選擇不同的模型來執行A/B測試，並比較相同的提示/參數組合的結果，或在相似配置下測試不同的提示：

比較同一模型的不同提示的結果

及時存檔

您可以保存和管理您的提示（我們想使提示與Open WebUI兼容）

您可以通過鍵入“/”（也受開放webUI的啟發）來自動完成提示：

實驗日誌

您可以列出，檢查或下載您的實驗：

未來功能

• 評分結果並按等級進行過濾
• 導入，導出和共享提示列表和實驗文件。

貢獻

• 對於明顯的錯誤和拼寫錯誤，請繼續提交PR。

• 如果您想提出一項新功能，更改現有功能或提出更複雜的內容，請在完成公關工作之前打開討論問題。

發展

1. 確保您已經安裝了生鏽。

2. 克隆存儲庫（或叉子）

git clone https://github.com/dezoito/ollama-grid-search.git
cd ollama-grid-search

3. 安裝前端依賴項。

    cd < project root >
   # I'm using bun to manage dependencies,
   # but feel free to use yarn or npm
   bun install

4. 確保在檢查代碼時配置rust-analyzer以運行Clippy 。

   如果您正在運行VS代碼，請將其添加到您的settings.json文件

   {
      ...
      "rust-analyzer.check.command" : " clippy " ,
   }

   （或者，更好的是，只需使用與代碼中提供的設置文件）

5. 在開發模式下運行應用程序

    cd < project root > /
   bun tauri dev

6. 去喝杯咖啡，因為這可能需要一段時間。

引用

以下作品和論文引用了這個存儲庫：

Inouye，D＆Lindo，L和Lee，R＆Allen，E；計算機科學與工程高級論文：在Lora超參數上進行自動調節聖克拉拉大學，2024 https://scholarcommons.scu.edu/cgi/cgi/cgi/viewcontent.cgi?article=1271&context=cseng_seng_senior = cSeng_Senior = cseng_seniorior = cSeng_Seniorior = cSeng_Seniorior =

謝謝你！

非常感謝@fabianlars， @peperroni21和@tomreidnz。