Promptfoo: LLM Evals & Red Teaming
promptfoo ist ein Entwickler-freundliches lokales Tool zum Testen von LLM-Anwendungen. Stoppen Sie den Versuch und Erroransatz-Versenden Sie sichere, zuverlässige AI-Apps.
Schneller Start
# Install and initialize project
npx promptfoo@latest init
# Run your first evaluation
npx promptfoo eval
Weitere Informationen finden Sie unter Erste Schritte (Evals) oder Red Teaming (Sicherheitsanfälligkeit) für mehr.
Was können Sie mit promptfoo tun?
- Testen Sie Ihre Eingabeaufforderungen und Modelle mit automatisierten Bewertungen
- Sichern Sie Ihre LLM -Apps mit rotem Teaming und Sicherheitsanfälligkeit
- Vergleiche Modelle Seite an Seite (OpenAI, Anthropic, Azure, Grundgestein, Ollama und mehr)
- Automatisieren Sie Schecks in CI/CD
- Teilen Sie Ergebnisse mit Ihrem Team aus
So sieht es in Aktion aus:
Es funktioniert auch in der Befehlszeile:
Es kann auch Sicherheitsanfälligkeitsberichte generieren:
Warum fordertfoo?
- Entwickler-First : Schnell, mit Funktionen wie Live Reload und Caching
- Privat : Läuft 100% lokal - Ihre Eingabeaufforderungen verlassen niemals Ihre Maschine
- ? Flexibel : Arbeitet mit jeder LLM -API oder einer Programmiersprache
- ? Schlacht getestet : Powers LLM-Apps, die 10 m+ Benutzer in der Produktion bedienen
- Datengesteuert : Entscheidungen treffen, die auf Metriken basieren, nicht auf Bauchgefühl
- ? Open Source : MIT lizenziert, mit einer aktiven Community
Erfahren Sie mehr
- Vollständige Dokumentation
- ? Rote Teaming -Leitfaden
- Erste Schritte
- CLI -Verwendung
- ? Node.js Paket
- ? Unterstützte Modelle
Beitragen
Wir begrüßen Beiträge! Schauen Sie sich unseren Beitragsführer an, um loszulegen.
Schließen Sie sich unserer Discord -Community an, um Hilfe und Diskussion zu erhalten.
