ollama grid search

Поиск сетки Ollama: мгновенно оценить несколько LLM и подсказки.

Этот проект автоматизирует процесс выбора лучших моделей, подсказок или параметров вывода для данного варианта использования, что позволяет вам итерации над их комбинациями и визуально осматривать результаты.

Предполагается, что Ollama установлен и обслуживает конечные точки, либо в localhost , либо на удаленном сервере.

Вот какой эксперимент для простой подсказки, протестированного на 3 разных моделях, выглядит:

(Для более глубокого взгляда на процесс оценки, которым помогает этот инструмент, пожалуйста, проверьте https://dezoito.github.io/2023/12/27/rust-ollama-grid-search.html).

Оглавление

• Установка
• Функции
• Концепция поиска сетки
• A/B тестирование
• Быстрый архив
• Журналы эксперимента
• Будущие функции
• Внося
• Разработка
• Цитаты
• Благодарности

Установка

Проверьте страницу выпуска для проекта или на боковой панели.

Функции

• Автоматически извлекает модели с локальных или удаленных серверов Ollama;
• Итерации по нескольким различным моделям, подсказкам и параметрам для генерации выводов;
• A/B тест на разные подсказки на нескольких моделях одновременно;
• Позволяет несколько итераций для каждой комбинации параметров;
• Позволяет ограничить параллелизм или синхронные вызовы с выводом (для предотвращения спам -серверов);
• Необязательно выходные параметры вывода и метаданные ответа (время вывода, токены и токены/с);
• Переизбыток индивидуальных вызовов вывода;
• Выбор модели может быть отфильтрован по имени;
• Перечислите эксперименты, которые можно загрузить в формате JSON;
• Эксперименты могут быть проверены в читаемых представлениях;
• Перезагрузить прошлые эксперименты, клонирование или изменение параметров, используемых в прошлом;
• Конфигурируемый тайм -аут вывода;
• Пользовательские параметры по умолчанию и системные подсказки могут быть определены в настройках
• Полностью функциональная база данных с примерами;
• Подсказки могут быть выбраны и «автозаполнены» путем ввода «/» в входах

Поиск сетки (или что -то подобное ...)

Технически термин «поиск сетки» относится к итерации по ряду различных модельных гиперпарам для оптимизации производительности модели, но это обычно означает, как параметры, такие как batch_size , learning_rate или number_of_epochs , чаще используемые при обучении.

Но концепция здесь похожа:

Давайте определим выбор моделей, подсказки и некоторые комбинации параметров:

Подсказка будет представлена ​​один раз для каждого значения параметра для каждой из выбранных моделей, генерируя набор ответов.

A/B тестирование

Точно так же вы можете выполнить A/B -тесты, выбирая различные модели и сравнить результаты для одной и той же комбинации подсказки/параметров, или тестировать различные проведения под аналогичными конфигурациями:

Сравнение результатов различных подсказок для одной и той же модели

Быстрый архив

Вы можете сохранить и управлять своими подсказками (мы хотим сделать подсказки совместимы с Open Webui)

Вы можете автозаполнять подсказки, набрав «/» (вдохновленный открытым веб -сайтом):

Журналы эксперимента

Вы можете перечислить, осмотреть или загрузить свои эксперименты:

Будущие функции

• Результаты оценки и фильтрация по оценке
• Импорт, экспорт и обмен списками подсказок и экспериментальные файлы.

Внося

• Для очевидных ошибок и орфографических ошибок, пожалуйста, отправьте PR.

• Если вы хотите предложить новую функцию, изменить существующую функциональность или предложить что -то более сложное, пожалуйста, откройте проблему для обсуждения, прежде чем выполнять работу над PR.

Разработка

1. Убедитесь, что у вас установлена ​​ржавчина.

2. Клонировать репозиторий (или вилка)

git clone https://github.com/dezoito/ollama-grid-search.git
cd ollama-grid-search

3. Установите зависимости фронта.

    cd < project root >
   # I'm using bun to manage dependencies,
   # but feel free to use yarn or npm
   bun install

4. Убедитесь, что rust-analyzer настроен на запуск Clippy при проверке кода.

   Если вы запускаете код VS, добавьте это в свой файл settings.json

   {
      ...
      "rust-analyzer.check.command" : " clippy " ,
   }

   (Или, еще лучше, просто используйте файл настроек, предоставленный с кодом)

5. Запустите приложение в режиме разработки

    cd < project root > /
   bun tauri dev

6. Иди возьми чашку кофе, потому что это может занять некоторое время.

Цитаты

Следующие работы и тезисы процитировали этот репозиторий:

Inouye, D & Lindo, L, & Lee, R & Allen, E; Интерактивные науки и инженерия Старшие тезисы: прикладная автоматическая настройка на Университете Lora Hyperparameters Санта-Клара, 2024 https://scholarcommons.scu.edu/cgi/viewcontent.cgi?article=1271&context=cseng_senior

Спасибо!

Огромное спасибо @fabianlars, @peperroni21 и @tomreidnz.