ollama grid search

Recherche de grille Olllama: évaluez instantanément plusieurs LLM et invites.

Ce projet automatise le processus de sélection des meilleurs modèles, invites ou paramètres d'inférence pour un cas d'utilisation donné, vous permettant d'itérer sur leurs combinaisons et d'inspecter visuellement les résultats.

Il suppose que Olllama est installé et sert des points de terminaison, soit dans localhost , soit dans un serveur distant.

Voici à quoi ressemble une expérience pour une simple invite, testée sur 3 modèles différents, ressemble:

(Pour un aperçu plus approfondi d'un processus d'évaluation assisté par cet outil, veuillez vérifier https://dezoito.github.io/2023/12/27/rust-ollama-grid-search.html).

Table des matières

• Installation
• Caractéristiques
• Concept de recherche de grille
• Test A / B
• Archive rapide
• Journaux d'expérience
• Caractéristiques futures
• Contributif
• Développement
• Citations
• Remerciements

Installation

Vérifiez la page des versions du projet ou sur la barre latérale.

Caractéristiques

• Repare automatiquement les modèles à partir de serveurs Olllama locaux ou distants;
• Itérate sur plusieurs modèles, invites et paramètres différents pour générer des inférences;
• A / B tester les différentes invites sur plusieurs modèles simultanément;
• Permet plusieurs itérations pour chaque combinaison de paramètres;
• Permet des appels d'inférence de concurrence ou synchrones limités (pour éviter les serveurs de spam);
• Étend éventuellement les paramètres d'inférence et les métadonnées de réponse (temps d'inférence, jetons et jetons / s);
• Refaire des appels d'inférence individuels;
• La sélection du modèle peut être filtrée par son nom;
• Énumérez des expériences qui peuvent être téléchargées au format JSON;
• Les expériences peuvent être inspectées dans des vues lisibles;
• Reposez les expériences passées, le clonage ou la modification des paramètres utilisés dans le passé;
• Timeout d'inférence configurable;
• Les paramètres par défaut personnalisés et les invites système peuvent être définies dans les paramètres
• Base de données d'invite entièrement fonctionnelle avec des exemples;
• Les invites peuvent être sélectionnées et "assorties automatique" en tapant "/" dans les entrées

Recherche de grille (ou quelque chose de similaire ...)

Techniquement, le terme «recherche de grille» fait référence à l'itération d'une série d'hyperparams de modèles différents pour optimiser les performances du modèle, mais cela signifie généralement des paramètres comme batch_size , learning_rate ou number_of_epochs , plus couramment utilisés dans la formation.

Mais le concept ici est similaire:

Permet de définir une sélection de modèles, une invite et certaines combinaisons de paramètres:

L'invite sera soumise une fois pour chaque valeur de paramètre, pour chacun des modèles sélectionnés, générant un ensemble de réponses.

Test A / B

De même, vous pouvez effectuer des tests A / B en sélectionnant différents modèles et en comparant les résultats pour la même combinaison d'invites / paramètres, ou tester différentes invites sous des configurations similaires:

Comparaison des résultats de différentes invites pour le même modèle

Archive rapide

Vous pouvez enregistrer et gérer vos invites (nous voulons rendre les invites compatibles avec Open WebUI)

Vous pouvez également les invites de saisie automatique en tapant "/" (inspiré par Open WebUi, également):

Journaux d'expérience

Vous pouvez répertorier, inspecter ou télécharger vos expériences:

Caractéristiques futures

• Résultats de classement et filtrage par grade
• Importer, exporter et partager des listes d'invites et expérimenter les fichiers.

Contributif

• Pour des bugs évidents et des erreurs d'orthographe, veuillez aller de l'avant et soumettre un RP.

• Si vous souhaitez proposer une nouvelle fonctionnalité, modifier les fonctionnalités existantes ou proposer quelque chose de plus complexe, veuillez ouvrir un problème pour la discussion, avant de faire le travail sur un RP.

Développement

1. Assurez-vous que la rouille a installé.

2. Clone le référentiel (ou une fourche)

git clone https://github.com/dezoito/ollama-grid-search.git
cd ollama-grid-search

3. Installez les dépendances de frontend.

    cd < project root >
   # I'm using bun to manage dependencies,
   # but feel free to use yarn or npm
   bun install

4. Assurez-vous que rust-analyzer est configuré pour exécuter Clippy lors de la vérification du code.

   Si vous exécutez VS Code, ajoutez ceci à votre fichier settings.json

   {
      ...
      "rust-analyzer.check.command" : " clippy " ,
   }

   (ou, mieux encore, utilisez simplement le fichier de paramètres fournis avec le code)

5. Exécutez l'application en mode développement

    cd < project root > /
   bun tauri dev

6. Allez prendre une tasse de café car cela peut prendre un certain temps.

Citations

Les œuvres et les thèses suivantes ont cité ce référentiel:

Inouye, D & Lindo, L et Lee, R & Allen, E; Informatique et génie thèses seniors: Auto-tun appliquée sur Lora Hyperparameters Santa Clara University, 2024 https://scholarcommons.scu.edu/cgi/viewcontent.cgi?article=1271&context=CSENG_SENIOR

Merci!

Un grand merci à @FabianLars, @ peperroni21 et @tomreidnz.