promptolution

Préstamo

Prompolts es una biblioteca que proporciona un marco modular y extensible para implementar experimentos de ajuste de inmediato. Ofrece una interfaz fácil de usar para ensamblar los componentes centrales para varias tareas de optimización de inmediato.

Además, este repositorio contiene nuestros experimentos para el documento "hacia la sintonización rápida rentable: evaluar los efectos del tamaño del modelo, la familia del modelo y las descripciones de tareas en la evoprompt".

Este proyecto fue desarrollado por Timo Heiß, Moritz Schlager y Tom Zehle.

Instalación

Use PIP para instalar nuestra biblioteca:

 pip install promptolution

Alternativamente, clona el repositorio, ejecute

 poetry install

para instalar las dependencias necesarias. Es posible que primero deba instalar Pipx y poesía.

Documentación

Una documentación integral con la referencia de API está disponible en https://finitearth.github.io/prompptolution/.

Uso

Cree claves API para los modelos que desea usar:

• OPERAI: Token de almacenamiento en OpenAiToken.txt
• Anthrope: almacene token en Anthropictoken.txt
• Deepinfra (para Llama): Token de almacenamiento en Deepinfratoken.txt

Algoritmos de optimización para elegir

Nombre	# Población inicial	Exploración	Costo	Velocidad de convergencia	Paralelo	Utiliza casos de falla
Evoprompt de	8-12	?	?	⚡⚡	✅
Evoprompt GA	8-12	?	?	⚡⚡	✅
Opro	0	?	?	⚡

Componentes centrales

• Tarea: encapsula las indicaciones iniciales, las características del conjunto de datos, los objetivos y los métodos de evaluación.
• Predictor: implementa la lógica de predicción, la interfaz entre la tarea y los componentes LLM.
• LLM: Unifica el proceso de obtención de respuestas de los modelos de lenguaje, ya sea localmente alojado o accedido a través de API.
• Optimizador: implementa algoritmos de optimización de inmediato, utilizando los otros componentes durante el proceso de optimización.
• Selectores ejemplares: implementa algoritmos para la búsqueda de pocos ejemplos de disparos que se agregan a la solicitud.

Características clave

• Diseño modular y orientado a objetos
• Arquitectura extensible
• Interfaz fácil de usar para ensamblar experimentos
• Solicitudes de LLM en paralelo para mejorar la eficiencia
• Integración con Langchain para llamadas de API LLM estandarizadas
• Sistema detallado de registro y devolución de llamada para análisis de optimización

Empezando

Eche un vistazo a nuestro cuaderno de inicio: Getting_started.py

Reproducir nuestros experimentos

Proporcionamos scripts y configuraciones para todos nuestros experimentos. Ejecutar experimentos basados ​​en la configuración a través de:

 poetry run python scripts/experiment_runs.py --experiment "configs/<my_experiment>.ini"

Donde <my_experiment>.ini es una configuración basada en nuestras plantillas.

Este proyecto fue desarrollado para el seminario "Automl en la era de los grandes modelos previamente capacitados" en LMU Munich.