PromptFoo: LLM Evals & Red Teaming
promptfoo é uma ferramenta local favorável ao desenvolvedor para testar aplicativos LLM. Pare a abordagem de avaliação e erro-inicie o envio de aplicativos de IA seguros e confiáveis.
Início rápido
# Install and initialize project
npx promptfoo@latest init
# Run your first evaluation
npx promptfoo eval
Consulte Introdução (Evals) ou Red Teaming (varredura de vulnerabilidades) para mais.
O que você pode fazer com o PromptFoo?
- Teste seus prompts e modelos com avaliações automatizadas
- Proteja seus aplicativos LLM com a digitalização de equipes e vulnerabilidades vermelhas
- Compare modelos lado a lado (OpenAI, antropic, azul, rock, ollama e muito mais)
- Automatize as verificações no CI/CD
- Compartilhe resultados com sua equipe
Aqui está o que parece em ação:
Também funciona na linha de comando:
Também pode gerar relatórios de vulnerabilidade de segurança:
Por que promptFoo?
- Desenvolvedor primeiro : Fast, com recursos como recarga ao vivo e cache
- Privado : funciona 100% localmente - seus avisos nunca saem da sua máquina
- ? Flexível : funciona com qualquer API LLM ou linguagem de programação
- ? Testado em batalha : Apps Powers LLM que atende 10m+ usuários na produção
- Orientado a dados : tomar decisões com base em métricas, não na sensação
- ? Código aberto : MIT licenciado, com uma comunidade ativa
Saber mais
- Documentação completa
- ? Guia de equipes vermelhas
- Começando
- Uso da CLI
- ? Pacote node.js
- ? Modelos suportados
Contribuindo
Congratulamo -nos com contribuições! Confira nosso guia contribuinte para começar.
Junte -se à nossa comunidade Discord para obter ajuda e discussão.
