ollama grid search

Ollamaグリッド検索：複数のLLMとプロンプトを即座に評価します。

このプロジェクトは、特定のユースケースの最適なモデル、プロンプト、または推論パラメーターを選択するプロセスを自動化し、それらの組み合わせを反復し、結果を視覚的に検査することができます。

Ollamaがインストールされ、 localhostまたはリモートサーバーのいずれかでエンドポイントを提供していると想定しています。

3つの異なるモデルでテストされた単純なプロンプトの実験は次のように見えます。

（このツールが支援する評価プロセスを詳細に見るには、https：//dezoito.github.io/2023/12/27/rust-ollama-grid-search.htmlを確認してください）。

目次

• インストール
• 特徴
• グリッド検索の概念
• A/Bテスト
• プロンプトアーカイブ
• 実験ログ
• 将来の機能
• 貢献
• 発達
• 引用
• 謝辞

インストール

プロジェクトまたはサイドバーでリリースページを確認してください。

特徴

• ローカルまたはリモートのオラマサーバーからモデルを自動的に取得します。
• 推論を生成するために、複数の異なるモデル、プロンプト、パラメーターを繰り返します。
• A/Bは、いくつかのモデルで異なるプロンプトを同時にテストします。
• パラメーターの組み合わせごとに複数の反復を許可します。
• 限られた並行性または同期推論呼び出しを許可します（スパムサーバーを防ぐため）。
• オプションでは、推論パラメーターと応答メタデータ（推論時間、トークン、トークン/s）を出力します。
• 個々の推論呼び出しの復ge;
• モデルの選択は名前でフィルタリングできます。
• JSON形式でダウンロードできる実験をリストします。
• 実験は、読みやすいビューで検査できます。
• 過去の実験、過去に使用されたパラメーターのクローンまたは変更を再実行します。
• 設定可能な推論タイムアウト。
• カスタムデフォルトパラメーターとシステムプロンプトは、設定で定義できます
• 例を備えた完全に機能的なプロンプトデータベース。
• 入力に「/」と入力することで、プロンプトを選択して「自動施設」することができます

グリッド検索（または似たようなもの...）

技術的には、「グリッド検索」という用語は、モデルのパフォーマンスを最適化するために一連の異なるモデルハイパーパラムを反復することを指しますが、通常はトレーニングでより一般的に使用されるbatch_size 、 learning_rate 、またはnumber_of_epochsなどのパラメーターを意味します。

しかし、ここでの概念は似ています：

モデルの選択、プロンプト、いくつかのパラメーターの組み合わせを定義しましょう。

プロンプトは、選択したモデルのそれぞれに対して、各パラメーター値に対して1回送信され、一連の応答が生成されます。

A/Bテスト

同様に、異なるモデルを選択してA/Bテストを実行し、同じプロンプト/パラメーターの組み合わせの結果を比較するか、同様の構成の下で異なるプロンプトをテストできます。

同じモデルの異なるプロンプトの結果を比較する

プロンプトアーカイブ

プロンプトを保存および管理できます（Open WebUIと互換性のあるプロンプトを作成したい）

「/」と入力することでプロンプトをオートコンプリートできます（Open WebUIにも触発されています）：

実験ログ

実験をリスト、検査、またはダウンロードできます。

将来の機能

• 結果とグレードごとのフィルタリング
• プロンプトリストと実験ファイルのインポート、エクスポート、共有。

貢献

• 明らかなバグとスペルミスについては、先に進んでPRを提出してください。

• 新機能を提案する場合は、既存の機能を変更したり、より複雑なものを提案したりする場合は、PRで作業を完了する前に、議論のために問題を開いてください。

発達

1. 錆がインストールされていることを確認してください。

2. リポジトリ（またはフォーク）をクローンする

git clone https://github.com/dezoito/ollama-grid-search.git
cd ollama-grid-search

3. フロントエンド依存関係をインストールします。

    cd < project root >
   # I'm using bun to manage dependencies,
   # but feel free to use yarn or npm
   bun install

4. rust-analyzerコードをチェックするときにClippy実行するように構成されていることを確認してください。

   vsコードを実行している場合は、 settings.jsonファイルにこれを追加します

   {
      ...
      "rust-analyzer.check.command" : " clippy " ,
   }

   （または、さらに良いことに、コードに提供された設定ファイルを使用するだけです）

5. 開発モードでアプリを実行します

    cd < project root > /
   bun tauri dev

6. これにはしばらく時間がかかるかもしれないので、一杯のコーヒーを手に入れてください。

引用

次の作品と論文がこのリポジトリを引用しています。

inouye、d＆lindo、l、＆lee、r＆allen、e;コンピューターサイエンスアンドエンジニアリングシニアテス： LORAハイパーパラメーターでの応用自動調整サンタクララ大学、2024 https://scholarcommons.scu.edu/cgi/viewcontent.cgi?article=1271＆context=cseng_senior

ありがとう！

@fabianlars、 @peperroni21および@tomreidnzに感謝します。