Promticfoo: LLM Evals & Red Teaming
promptfoo es una herramienta local amigable para el desarrollador para probar aplicaciones LLM. Detenga el enfoque de prueba y error: comience a enviar aplicaciones de IA seguras y confiables.
Comienzo rápido
# Install and initialize project
npx promptfoo@latest init
# Run your first evaluation
npx promptfoo eval
Consulte Comenzar (Evals) o Red Teaming (escaneo de vulnerabilidad) para obtener más información.
¿Qué puedes hacer con Pridfoo?
- Probar sus indicaciones y modelos con evaluaciones automatizadas
- Asegure sus aplicaciones LLM con equipo rojo y escaneo de vulnerabilidades
- Compare modelos de lado a lado (OpenAi, Anthrope, Azure, Bedrock, Ollama y más)
- Automatizar las verificaciones en CI/CD
- Compartir resultados con su equipo
Así es como se ve en acción:
También funciona en la línea de comando:
También puede generar informes de vulnerabilidad de seguridad:
¿Por qué apurado?
- Desarrollador primero : rápido, con características como la recarga en vivo y el almacenamiento en caché
- Privado : se ejecuta 100% localmente: sus indicaciones nunca dejan su máquina
- ? Flexible : funciona con cualquier API o lenguaje de programación LLM
- ? Probado de batalla : Powers LLM Apps que sirven a más de 10 millones de usuarios en producción
- Basado en datos : tomar decisiones basadas en métricas, no una sensación intestinal
- ? Open Source : MIT con licencia, con una comunidad activa
Obtenga más información
- Documentación completa
- ? Guía de equipo rojo
- Empezando
- Uso de CLI
- ? Paquete node.js
- ? Modelos compatibles
Que contribuye
¡Agradecemos las contribuciones! Echa un vistazo a nuestra guía contribuyente para comenzar.
Únase a nuestra comunidad de Discord para obtener ayuda y discusión.
