promptolution

Promptolution

Promptolution ist eine Bibliothek, die ein modulares und erweiterbares Framework für die Implementierung von sofortigen Tuning -Experimenten bietet. Es bietet eine benutzerfreundliche Schnittstelle, um die Kernkomponenten für verschiedene Aufgaben zur Eingabeaufforderungoptimierung zusammenzustellen.

Darüber hinaus enthält dieses Repository unsere Experimente für das Papier "in Richtung einer kostengünstigen Umformung: Bewertung der Auswirkungen von Modellgröße, Modellfamilie und Aufgabenbeschreibungen in Evompt".

Dieses Projekt wurde von Timo Heiß, Moritz Schlager und Tom Zehle entwickelt.

Installation

Verwenden Sie Pip, um unsere Bibliothek zu installieren:

 pip install promptolution

Alternativ klonen Sie das Repository, führen Sie aus

 poetry install

So installieren Sie die erforderlichen Abhängigkeiten. Möglicherweise müssen Sie zuerst PIPX und Gedichte installieren.

Dokumentation

Eine umfassende Dokumentation mit API -Referenz ist verfügbar unter https://finitearth.github.io/promptolution/.

Verwendung

Erstellen Sie API -Schlüssel für die Modelle, die Sie verwenden möchten:

• Openai: Store -Token in Openaitoken.txt
• Anthropisch: Token in anthropictoken.txt speichern
• Deepinfra (für Lama): Store -Token in Deepinfratoken.txt

Optimierungsalgorithmen zur Auswahl

Name	# Init Population	Erforschung	Kosten	Konvergenzgeschwindigkeit	Parallelisierbar	Nutzt Fehlerfälle
Evoprompt de	8-12	?	?	⚡⚡	✅
EVOPROMPT GA	8-12	?	?	⚡⚡	✅
OPRO	0	?	?	⚡

Kernkomponenten

• Aufgabe: Kapuliert erste Eingabeaufforderungen, Datensatzfunktionen, Ziele und Bewertungsmethoden.
• Prädiktor: Implementiert die Vorhersagelogik und die Schnittstelle zwischen den Aufgaben und LLM -Komponenten.
• LLM: vereint den Prozess, Antworten aus Sprachmodellen zu erhalten, unabhängig davon, ob sie lokal gehostet oder über API zugegriffen werden.
• Optimierer: Implementiert die Eingabeaufforderungoptimierungsalgorithmen mit den anderen Komponenten während des Optimierungsprozesses.
• Exemplar -Selektoren: Implementiert Algorithmen für die Suche nach wenigen Schussbeispielen, die zur Eingabeaufforderung hinzugefügt werden.

Schlüsselmerkmale

• Modulares und objektorientiertes Design
• Erweiterbare Architektur
• Eine benutzerfreundliche Schnittstelle zum Zusammenbau von Experimenten
• Parallelisierte LLM -Anfragen nach verbesserter Effizienz
• Integration mit Langchain für standardisierte LLM -API -Aufrufe
• Detaillierte Protokollierung und Rückrufsystem zur Optimierungsanalyse

Erste Schritte

Schauen Sie sich unser Erste -Start -Notebook an: Get_Started.py

Reproduzieren unsere Experimente

Wir bieten Skripte und Konfigurationen für alle unsere Experimente. Führen Sie Experimente basierend auf der Konfiguration über:

 poetry run python scripts/experiment_runs.py --experiment "configs/<my_experiment>.ini"

wobei <my_experiment>.ini eine Konfiguration basiert, die auf unseren Vorlagen basiert.

Dieses Projekt wurde für Seminar "Automl im Alter großer vorgebildeter Modelle" bei LMU München entwickelt.