promptfoo

PROMPTFOO：LLM Evals＆Red Teaming

promptfoo 、LLMアプリケーションをテストするための開発者向けのローカルツールです。トライアルとエラーのアプローチを停止 - 安全で信頼できるAIアプリの出荷を開始します。

クイックスタート

 # Install and initialize project
npx promptfoo@latest init

# Run your first evaluation
npx promptfoo eval

詳細については、開始（Evals）またはRed Teaming（脆弱性スキャン）を参照してください。

PromptFooで何ができますか？

• 自動評価でプロンプトとモデルをテストします
• 赤いチーム化と脆弱性スキャンでLLMアプリを保護する
• モデルを並べて比較する（Openai、人類、紺ur、岩盤、オラマなど）
• CI/CDでチェックを自動化します
• チームと結果を共有します

これが動作しているように見えるものです：

コマンドラインでも動作します：

また、セキュリティの脆弱性レポートを生成することもできます。

なぜPromptFooなのですか？

• 開発者ファースト：ライブリロードやキャッシュなどの機能を備えた高速
• プライベート：ローカルで100％実行 - プロンプトはマシンを離れることはありません
• ？柔軟性：任意のLLM APIまたはプログラミング言語で動作します
• ？バトルテスト：Powers LLMアプリは、生産中に10m+ユーザーにサービスを提供しています
• データ駆動型：腸ではなくメトリックに基づいて決定を下す
• ？オープンソース：MITライセンス、アクティブなコミュニティ

もっと詳しく知る

• 完全なドキュメント
• ？レッドチームガイド
• はじめる
• CLI使用
• ？ node.jsパッケージ
• ？サポートされているモデル

貢献

貢献を歓迎します！貢献ガイドをご覧ください。

助けと議論のために私たちのDiscordコミュニティに参加してください。