promptolution

Ряд

Rescketolory - это библиотека, которая обеспечивает модульную и расширяемую основу для реализации экспериментов по настройке быстрого настройки. Он предлагает удобный интерфейс для сборки основных компонентов для различных задач оптимизации быстрого оптимизации.

Кроме того, этот репозиторий содержит наши эксперименты для статьи «На пути к экономически эффективной настройке: оценка эффектов размера модели, семейства моделей и описаний задач в эвопромпте».

Этот проект был разработан Тимо Хейс, Мориц Шлагер и Томом Зеле.

Установка

Используйте PIP, чтобы установить нашу библиотеку:

 pip install promptolution

В качестве альтернативы, клонировать репозиторий, запустите

 poetry install

Установить необходимые зависимости. Возможно, вам нужно сначала установить PIPX и поэзию.

Документация

Комплексная документация со ссылкой на API доступна по адресу https://finitearth.github.io/promptolution/.

Использование

Создайте клавиши API для моделей, которые вы хотите использовать:

• OpenAI: магазин токен в openaitoken.txt
• Антропический: хранилище
• DeepInfra (для ламы): хранить токен в definfratoken.txt

Алгоритмы оптимизации на выбор

Имя	# Инициация населения	Исследование	Расходы	Скорость сходимости	Параллелизируется	Использует случаи сбоя
Эвопромпт де	8-12	?	?	⚡⚡	✅
Эвопромпт GA	8-12	?	?	⚡⚡	✅
ОПРО	0	?	??	⚡

Основные компоненты

• Задача: инкапсулирует начальные подсказки, функции набора данных, цели и методы оценки.
• Предиктор: реализует логику прогнозирования, взаимодействие между задачей и компонентами LLM.
• LLM: объединяет процесс получения ответов от языковых моделей, будь то локально размещенные или доступные через API.
• Оптимизатор: реализует алгоритмы оптимизации быстрого оптимизации, используя другие компоненты в процессе оптимизации.
• Примерные селекторы: реализует алгоритмы для поиска нескольких примеров выстрела, которые добавляются в подсказку.

Ключевые функции

• Модульный и объектно-ориентированный дизайн
• Расширяемая архитектура
• Простой в использовании интерфейс для сборки экспериментов
• Параллелизированные запросы LLM на повышение эффективности
• Интеграция с Langchain для стандартизированных вызовов API LLM
• Подробная система ведения журнала и обратного вызова для анализа оптимизации

Начиная

Взгляните на нашу записную книжку с началом работы: gest_started.py

Воспроизведите наши эксперименты

Мы предоставляем сценарии и конфигурации для всех наших экспериментов. Запустите эксперименты на основе конфигурации через:

 poetry run python scripts/experiment_runs.py --experiment "configs/<my_experiment>.ini"

где <my_experiment>.ini - это конфигурация, основанная на наших шаблонах.

Этот проект был разработан для семинара «Automl в возрасте больших предварительно обученных моделей» в LMU Munich.