promptfoo

提示：LLM Evals＆Red Teaming

promptfoo是用于测试LLM应用程序的开发人员友好的本地工具。停止试用方法 - 开始运送安全，可靠的AI应用程序。

快速开始

 # Install and initialize project
npx promptfoo@latest init

# Run your first evaluation
npx promptfoo eval

有关更多信息，请参见入门（Evals）或红色团队（漏洞扫描）。

您可以使用strimpfoo做什么？

• 通过自动评估测试您的提示和模型
• 使用红色小组和脆弱性扫描保护您的LLM应用程序
• 并排比较模型（OpenAI，人类，Azure，Bedrock，Ollama等）
• 在CI/CD中进行自动检查
• 与您的团队分享结果

这是行动中的样子：

它也可以在命令行上工作：

它还可以生成安全漏洞报告：

为什么要提示？

• 开发人员首先：快速，具有现场重新加载和缓存等功能
• 私人：在本地运行100％ - 您的提示永远不会离开机器
• ？灵活：使用任何LLM API或编程语言
• ？战斗测试：Powers LLM应用程序为10m+用户提供生产的应用程序
• 数据驱动：根据指标做出决定，而不是直觉
• ？开源：麻省理工学院许可，拥有活跃的社区

了解更多

• 完整的文档
• ？红色队伍指南
• 入门
• CLI用法
• ？ node.js软件包
• ？支持的模型

贡献

我们欢迎捐款！查看我们的贡献指南以开始。

加入我们的Discord社区进行帮助和讨论。