promptimal

promptimal

CLI für die schnelle Verbesserung Ihrer KI -Aufforderungen. Kein Datensatz benötigt.

Senden Sie einfach Ihre Aufforderung und eine Beschreibung dessen, was Sie verbessern möchten. Promptimal verwendet dann einen genetischen Algorithmus, um die Eingabeaufforderung iterativ zu verfeinern, bis er besser als das Original ist. Ein LLM bewertet die geänderten Aufforderungen, den Prozess zu leiten, aber Sie können auch Ihre eigene Bewertungsfunktion definieren.

Installation

 > pipx install promptimal

Stellen Sie nach der Installation sicher, dass Ihre OpenAI -API -Schlüssel zu Ihrer Umgebung hinzugefügt wird:

 > export OPENAI_API_KEY= " ... " 

QuickStart

Öffnen Sie das Werkzeug aus Ihrem Terminal:

 > promptimal

Sie werden gebeten, Ihre erste Eingabeaufforderung und das, was Sie verbessern möchten, einzugeben. Alternativ können Sie diese Eingaben als Befehlszeilenargumente angeben:

 > promptimal 
    --prompt " You will be provided with a piece of code, and your task is to explain it in a concise way. " 
    --improve " Summaries need to include less code references and be more high-level. "

Sobald Sie fertig sind, öffnet sich eine Benutzeroberfläche in Ihrem Terminal zur Überwachung des Optimierungsprozesses:

Erweiterte Verwendung

Hyperparameter

Sie können die Optimierungsparameter steuern, indem Sie zusätzliche Befehlszeilenargumente übergeben:

 > promptimal --num_iters=10 --num_samples=20 --threshold=0.7

1. num_iters : Anzahl der Iterationen, um die Optimierungsschleife auszuführen. Entspricht der Anzahl der "Generationen" in einem evolutionären Algorithmus.
2. num_samples : Anzahl der Kandidatenaufforderungen, in jeder Iteration zu generieren. Entspricht der "Bevölkerungsgröße" in einem evolutionären Algorithmus.
3. threshold : Kündigungsschwelle für die Schleife. Wenn eine Kandidat -Eingabeaufforderung eine höhere Punktzahl als dieser Schwellenwert erhält, wird die Optimierungsschleife gestoppt. Standard ist 1.0.

Benutzerdefinierte Bewerter

Standardmäßig verwendet PromPedimal einen LLM-AS-Judge-Ansatz (mit Selbstkonsistenz), um schnelle Kandidaten zu bewerten. Um die Leistung zu steigern, möchten Sie jedoch möglicherweise Eingabeaufforderungen an einem Datensatz bewerten oder eine andere Bewertungstechnik verwenden. Erstellen Sie zuerst eine Python -Datei namens evaluator.py . Kopieren Sie dann den folgenden Code in diese Datei und definieren Sie Ihre eigene Bewertungsfunktion:

 import argparse

def evaluator ( prompt : str ) -> float :
    # Your code goes here
    # Must return value between 0 and 1

def main ():
    parser = argparse . ArgumentParser ()
    parser . add_argument ( "--prompt" , required = True , type = str )
    args = parser . parse_args ()

    score = evaluator ( args . prompt )
    print ( score )

if __name__ == "__main__" :
    main ()

Sobald Sie fertig sind, geben Sie den Pfad zum evaluator.py an, wenn Sie promptimal ausführen:

 > promptimal --evaluator= " path/to/evaluator.py "

Diese Datei dient effektiv als Skript, mit dem Proportionimal die Eingabeaufforderungen bewertet.

Roadmap

1. Unterstützung für andere LLM -Anbieter wie Anthropic, GREQ usw. und Ollama für lokale Modelle.
2. Entwickeln Sie nicht nur die Eingabeaufforderungen, sondern auch die Meta-Prompts (basierend auf dem PROMPTBREEDER-Papier).
3. Einige Mutationsoperatoren vorstellen.
4. Generieren Sie synthetische Tests als Teil des Bewertungsprozesses.