ollama grid search

Ollama Grid Search: Bewerten Sie sofort mehrere LLMs und Eingabeaufforderungen.

Dieses Projekt automatisiert den Prozess der Auswahl der besten Modelle, Eingabeaufforderungen oder Inferenzparameter für einen bestimmten Anwendungsfall, sodass Sie über ihre Kombinationen iterieren und die Ergebnisse visuell überprüfen können.

Es wird davon ausgegangen, dass Ollama installiert ist und Endpunkte entweder in localhost oder in einem Remote -Server bedient.

So sieht ein Experiment für eine einfache Eingabeaufforderung, die auf 3 verschiedenen Modellen getestet wurde, aus:

(Für einen eingehenderen Blick auf einen von diesem Tool unterstützten Bewertungsprozess finden Sie unter https://dezoito.github.io/2023/12/27/rust-ollama-grid-search.html).

Inhaltsverzeichnis

• Installation
• Merkmale
• Grid -Suchkonzept
• A/B -Test
• Sofortiges Archiv
• Experiment -Protokolle
• Zukünftige Funktionen
• Beitragen
• Entwicklung
• Zitate
• Anerkennung

Installation

Überprüfen Sie die Releases -Seite für das Projekt oder in der Seitenleiste.

Merkmale

• Ruft automatisch Modelle von lokalen oder entfernten Ollama -Servern ab;
• Iteriert über mehrere verschiedene Modelle, Eingabeaufforderungen und Parameter, um Schlussfolgerungen zu generieren;
• A/B testen verschiedene Eingabeaufforderungen für mehrere Modelle gleichzeitig;
• Ermöglicht mehrere Iterationen für jede Kombination von Parametern;
• Ermöglicht begrenzte Parallelitäts- oder synchrone Inferenzaufrufe (um Spam -Server zu verhindern);
• Optional gibt Inferenzparameter und Antwortmetadaten (Inferenzzeit, Token und Token/s) aus;
• Wiedergutmachung individueller Inferenzaufrufe;
• Die Modellauswahl kann mit Namen filtriert werden.
• Listen Sie Experimente auf, die im JSON -Format heruntergeladen werden können.
• Experimente können in lesbaren Ansichten inspiziert werden.
• Vergangene Experimente neu ausgeführt, die in der Vergangenheit verwendeten Parameter klonen oder verändert;
• Konfigurierbares Inferenzzeitübergang;
• Benutzerdefinierte Standardparameter und Systemaufforderungen können in Einstellungen definiert werden
• Voll funktionsfähige Eingabeaufforderung Datenbank mit Beispielen;
• Eingabeaufforderungen können ausgewählt und "automatisch vervollständigt" werden "/" in den Eingängen

Gittersuche (oder ähnliches ...)

Technisch gesehen bezieht sich der Begriff "Gittersuche" auf die Iterierung einer Reihe verschiedener Modellhyperparams, um die Modellleistung zu optimieren. Dies bedeutet jedoch normalerweise Parameter wie batch_size , learning_rate oder number_of_epochs , die häufiger im Training verwendet werden.

Aber das Konzept hier ist ähnlich:

Definieren wir eine Auswahl von Modellen, eine Eingabeaufforderung und einige Parameterkombinationen:

Die Eingabeaufforderung wird für jeden Parameterwert für jedes der ausgewählten Modelle einmal übermittelt, wodurch eine Reihe von Antworten generiert wird.

A/B -Test

In ähnlicher Weise können Sie A/B -Tests durch auswählen, indem Sie verschiedene Modelle auswählen und die Ergebnisse für dieselbe Eingabeaufforderung/Parameter -Kombination vergleichen oder verschiedene Eingabeaufforderungen unter ähnlichen Konfigurationen testen:

Vergleich der Ergebnisse verschiedener Eingabeaufforderungen für dasselbe Modell

Sofortiges Archiv

Sie können Ihre Eingabeaufforderungen speichern und verwalten (wir möchten die Eingabeaufforderungen mit offenem Webui kompatibel machen).

Sie können Eingabeaufforderungen automatisch vervollständigen, indem Sie "/" (inspiriert von offenem Webui): auch inspiriert):

Experiment -Protokolle

Sie können Ihre Experimente auflisten, überprüfen oder herunterladen:

Zukünftige Funktionen

• Einstufungsergebnisse und Filterung nach Grade
• Importieren, Exportieren und Teilen von Eingabeaufforderungen Listen und Experimentdateien.

Beitragen

• Für offensichtliche Fehler und Rechtschreibfehler einreichen Sie bitte eine PR.

• Wenn Sie eine neue Funktion vorschlagen möchten, die vorhandene Funktionalität ändern oder etwas Komplexeres vorschlagen möchten, öffnen Sie bitte ein Problem zur Diskussion, bevor Sie Arbeiten an einem PR erledigen.

Entwicklung

1. Stellen Sie sicher, dass Sie Rost installiert haben.

2. Klonen Sie das Repository (oder eine Gabel)

git clone https://github.com/dezoito/ollama-grid-search.git
cd ollama-grid-search

3. Installieren Sie die Frontend -Abhängigkeiten.

    cd < project root >
   # I'm using bun to manage dependencies,
   # but feel free to use yarn or npm
   bun install

4. Stellen Sie sicher, dass rust-analyzer beim Überprüfen des Codes so konfiguriert ist, dass er Clippy ausführt.

   Wenn Sie VS settings.json ausführen

   {
      ...
      "rust-analyzer.check.command" : " clippy " ,
   }

   (Verwenden Sie einfach die Einstellungsdatei, die mit dem Code bereitgestellt werden.)

5. Führen Sie die App im Entwicklungsmodus aus

    cd < project root > /
   bun tauri dev

6. Nehmen Sie sich eine Tasse Kaffee, weil dies eine Weile dauern kann.

Zitate

Die folgenden Arbeiten und diese Thesen haben dieses Repository zitiert:

Inouye, D & Lindo, L. & Lee, R & Allen, e; Informatik und Ingenieurwesen Senior Thesen: Angewandte automatische Tunnung auf Lora Hyperparameters Santa Clara University, 2024 https://scholarcommons.scu.edu/cgi/viewcontent.cgi?article=1271&context=cseng_senior

Danke schön!

Vielen Dank an @fabianlars, @peperroni21 und @tomreidnz.