promptimal

rapide

CLI pour améliorer rapidement vos invites en IA. Aucun ensemble de données n'est nécessaire.

Soumettez simplement votre invite et une description de ce que vous voulez améliorer. Invitimal utilisera ensuite un algorithme génétique pour affiner de manière itérative l'invite jusqu'à ce qu'elle soit meilleure que l'original. Un LLM évalue les invites modifiées pour guider le processus, mais vous pouvez également définir votre propre fonction d'évaluation.

Installation

 > pipx install promptimal

Une fois installé, assurez-vous que votre clé API OpenAI a ajouté à votre environnement:

 > export OPENAI_API_KEY= " ... " 

Start

Ouvrez l'outil depuis votre terminal:

 > promptimal

Il vous sera demandé de saisir votre invite initiale et ce que vous voulez vous améliorer. Alternativement, vous pouvez spécifier ces entrées comme arguments en ligne de commande:

 > promptimal 
    --prompt " You will be provided with a piece of code, and your task is to explain it in a concise way. " 
    --improve " Summaries need to include less code references and be more high-level. "

Une fois que vous aurez terminé, une interface utilisateur s'ouvrira dans votre terminal pour surveiller le processus d'optimisation:

Utilisation avancée

Hyperparamètres

Vous pouvez contrôler les paramètres d'optimisation en passant des arguments de ligne de commande supplémentaires:

 > promptimal --num_iters=10 --num_samples=20 --threshold=0.7

1. num_iters : nombre d'itérations pour exécuter la boucle d'optimisation pour. Équivalent au nombre de "générations" dans un algorithme évolutif.
2. num_samples : Nombre d'invites candidates à générer dans chaque itération. Équivalent à la "taille de la population" dans un algorithme évolutif.
3. threshold : seuil de terminaison pour la boucle. Si une invite candidate obtient un score supérieur à ce seuil, la boucle d'optimisation s'arrêtera. La valeur par défaut est 1.0.

Évaluateurs personnalisés

Par défaut, InvitiMal utilise une approche LLM-AS-Judge (avec auto-cohérence) pour évaluer les candidats invites. Mais pour augmenter les performances, vous voudrez peut-être évaluer les invites par rapport à un ensemble de données ou utiliser une autre technique d'évaluation. Pour ce faire, créez d'abord un fichier Python appelé evaluator.py . Ensuite, copiez / collez le code ci-dessous dans ce fichier et définissez votre propre fonction d'évaluation:

 import argparse

def evaluator ( prompt : str ) -> float :
    # Your code goes here
    # Must return value between 0 and 1

def main ():
    parser = argparse . ArgumentParser ()
    parser . add_argument ( "--prompt" , required = True , type = str )
    args = parser . parse_args ()

    score = evaluator ( args . prompt )
    print ( score )

if __name__ == "__main__" :
    main ()

Une fois terminé, spécifiez le chemin d'accès à evaluator.py lorsque vous exécutez InviteMal:

 > promptimal --evaluator= " path/to/evaluator.py "

Ce fichier servira effectivement de script que InvitiMal utilise pour évaluer les invites.

Feuille de route

1. Prise en charge des autres fournisseurs de LLM, comme anthropique, GROQ, etc. et Olllama pour les modèles locaux.
2. Évoluer non seulement les invites, mais les méta-réparties (basées sur le papier d'invite)).
3. Prédiquer certains opérateurs de mutation.
4. Générez des tests synthétiques dans le cadre du processus d'évaluation.