promptfoo

提示：LLM Evals＆Red Teaming

promptfoo是用於測試LLM應用程序的開發人員友好的本地工具。停止試用方法 - 開始運送安全，可靠的AI應用程序。

快速開始

 # Install and initialize project
npx promptfoo@latest init

# Run your first evaluation
npx promptfoo eval

有關更多信息，請參見入門（Evals）或紅色團隊（漏洞掃描）。

您可以使用strimpfoo做什麼？

• 通過自動評估測試您的提示和模型
• 使用紅色小組和脆弱性掃描保護您的LLM應用程序
• 並排比較模型（OpenAI，人類，Azure，Bedrock，Ollama等）
• 在CI/CD中進行自動檢查
• 與您的團隊分享結果

這是行動中的樣子：

它也可以在命令行上工作：

它還可以生成安全漏洞報告：

為什麼要提示？

• 開發人員首先：快速，具有現場重新加載和緩存等功能
• 私人：在本地運行100％ - 您的提示永遠不會離開機器
• ？靈活：使用任何LLM API或編程語言
• ？戰鬥測試：Powers LLM應用程序為10m+用戶提供生產的應用程序
• 數據驅動：根據指標做出決定，而不是直覺
• ？開源：麻省理工學院許可，擁有活躍的社區

了解更多

• 完整的文檔
• ？紅色隊伍指南
• 入門
• CLI用法
• ？ node.js軟件包
• ？支持的模型

貢獻

我們歡迎捐款！查看我們的貢獻指南以開始。

加入我們的Discord社區進行幫助和討論。