promptolution

Promotolção

O Promotolicution é uma biblioteca que fornece uma estrutura modular e extensível para implementar experimentos de ajuste imediato. Ele oferece uma interface amigável para montar os componentes principais para várias tarefas de otimização rápida.

Além disso, esse repositório contém nossos experimentos para o artigo "em direção ao ajuste rápido econômico: avaliando os efeitos do tamanho do modelo, modela a família e descrições de tarefas no evoprompt".

Este projeto foi desenvolvido por Timo Heiß, Moritz Schlager e Tom Zehle.

Instalação

Use PIP para instalar nossa biblioteca:

 pip install promptolution

Como alternativa, clone o repositório, execute

 poetry install

para instalar as dependências necessárias. Pode ser necessário instalar o PIPX e a poesia primeiro.

Documentação

Uma documentação abrangente com a referência da API está disponível em https://finitearth.github.io/promptolution/.

Uso

Crie teclas de API para os modelos que você deseja usar:

• OpenAI: Store Token em Openaitoken.txt
• Anthrópico: Armazene o token em Anthropictoken.txt
• Deepinfra (para llama): armazenar token em DeepInfroken.txt

Algoritmos de otimização para escolher

Nome	# População init	Exploração	Custos	Velocidade de convergência	Paralelizável	Utiliza casos de falha
Evoprompt de	8-12	?	?	⚡⚡	✅
Evoprompt GA	8-12	?	?	⚡⚡	✅
OPRO	0	?	?	⚡

Componentes principais

• Tarefa: encapsula os prompts iniciais, os recursos do conjunto de dados, os metas e os métodos de avaliação.
• Predictor: implementa a lógica de previsão, interface entre a tarefa e os componentes LLM.
• LLM: unifica o processo de obtenção de respostas de modelos de idiomas, hospedados localmente ou acessados ​​via API.
• Otimizador: implementa algoritmos de otimização de otimização, utilizando os outros componentes durante o processo de otimização.
• Seletores exemplares: implementa algoritmos para a pesquisa de poucos exemplos de tiro que são adicionados ao prompt.

Principais recursos

• Design modular e orientado a objetos
• Arquitetura extensível
• Interface fácil de usar para montar experimentos
• Solicitações paralelas de LLM para melhorar a eficiência
• Integração com Langchain para chamadas de API LLM padronizadas
• Sistema detalhado de registro e retorno de chamada para análise de otimização

Começando

Dê uma olhada no nosso caderno de início: fingeing_started.py

Reproduzir nossos experimentos

Fornecemos scripts e configurações para todos os nossos experimentos. Execute experimentos com base na configuração via:

 poetry run python scripts/experiment_runs.py --experiment "configs/<my_experiment>.ini"

Onde <my_experiment>.ini é uma configuração baseada em nossos modelos.

Este projeto foi desenvolvido para o seminário "Automl na era dos grandes modelos pré-treinados" em LMu Munique.