promptolution

Solution rapide

Promptolution est une bibliothèque qui fournit un cadre modulaire et extensible pour implémenter des expériences de réglage rapide. Il propose une interface conviviale pour assembler les composants principaux pour diverses tâches d'optimisation invite.

De plus, ce référentiel contient nos expériences pour l'article "vers un réglage rapide rentable: évaluer les effets de la taille du modèle, de la famille des modèles et des descriptions de tâches dans Evoprompt".

Ce projet a été développé par Timo Heiß, Moritz Schlager et Tom Zehle.

Installation

Utilisez PIP pour installer notre bibliothèque:

 pip install promptolution

Alternativement, cloner le référentiel, exécuter

 poetry install

pour installer les dépendances nécessaires. Vous devrez peut-être d'abord installer PIPX et Poetry.

Documentation

Une documentation complète avec référence API est disponible sur https://finitearth.github.io/promptolution/.

Usage

Créez des touches API pour les modèles que vous souhaitez utiliser:

• Openai: jeton de magasin dans openaitoken.txt
• Anthropic: jeton de magasin dans anthropictoken.txt
• Deepinfra (pour lama): jeton de magasin dans Deepinfratoken.txt

Algorithmes d'optimisation à choisir

Nom	# Population init	Exploration	Frais	Vitesse de convergence	Parallélisable	Utilise les cas d'échec
Evoprompt de	8-12	?	?	⚡⚡	✅
Evoprompt ga	8-12	?	?	⚡⚡	✅
Opro	0	?	??	⚡

Composants de base

• Tâche: résume les invites initiales, les fonctionnalités de données, les cibles et les méthodes d'évaluation.
• Prédicteur: met en œuvre la logique de prédiction, interfaçant entre les composants de la tâche et LLM.
• LLM: Unifie le processus d'obtention des réponses à partir de modèles de langage, que ce soit hébergé localement ou accessible via l'API.
• Optimiseur: met en œuvre des algorithmes d'optimisation invite, en utilisant les autres composants pendant le processus d'optimisation.
• Sélections exemplaires: implémente des algorithmes pour la recherche de quelques exemples de tir qui sont ajoutés à l'invite.

Caractéristiques clés

• Design modulaire et orienté objet
• Architecture extensible
• Interface facile à utiliser pour l'assemblage d'expériences
• Demandes de LLM parallélisé pour une amélioration de l'efficacité
• Intégration avec Langchain pour les appels API LLM standardisés
• Système de journalisation et de rappel détaillé pour l'analyse d'optimisation

Commencer

Jetez un œil à notre cahier de démarrage: getfot_started.py

Reproduire nos expériences

Nous fournissons des scripts et des configurations pour toutes nos expériences. Exécutez des expériences basées sur la configuration via:

 poetry run python scripts/experiment_runs.py --experiment "configs/<my_experiment>.ini"

où <my_experiment>.ini est une configuration basée sur nos modèles.

Ce projet a été développé pour le séminaire "Automl à l'ère des grands modèles pré-formés" au LMU Munich.