promptfoo

Promptfoo : LLM Evals & Red Teaming

promptfoo 는 LLM 애플리케이션을 테스트하기위한 개발자 친화적 인 로컬 도구입니다. 시행 착오 접근 방식을 중지하십시오-안전하고 안정적인 AI 앱을 배송하십시오.

빠른 시작

 # Install and initialize project
npx promptfoo@latest init

# Run your first evaluation
npx promptfoo eval

자세한 내용은 시작 (EVALS) 또는 RED 팀 (취약성 스캔)을 참조하십시오.

Promptfoo로 무엇을 할 수 있습니까?

• 자동 평가로 프롬프트와 모델을 테스트하십시오
• 레드 팀 및 취약성 스캔으로 LLM 앱을 확보하십시오.
• 모델을 나란히 비교하십시오 (Openai, Anthropic, Azure, Bedrock, Ollama 등)
• CI/CD로 확인을 자동화합니다
• 팀과 결과를 공유하십시오

실제로 작동하는 모습은 다음과 같습니다.

명령 줄에서도 작동합니다.

또한 보안 취약성 보고서를 생성 할 수 있습니다.

왜 프롬프트 푸?

• Developer-First : FAST, Live Reload 및 Caching과 같은 기능
• 개인 : 현지에서 100% 실행 - 프롬프트가 기계를 떠나지 않습니다.
• ? Flexible : LLM API 또는 프로그래밍 언어와 함께 작동합니다.
• ? 전투 테스트 : Powers LLM 앱 10M+ 생산 사용자에게 서비스를 제공합니다.
• 데이터 중심 : 지식을 기반으로 결정을 내린다.
• ? 오픈 소스 : 활발한 커뮤니티와 함께 ​​MIT 라이센스

자세히 알아보십시오

• 전체 문서
• ? 레드 팀링 가이드
• 시작하기
• CLI 사용
• ? node.js 패키지
• ? 지원되는 모델

기여

우리는 기여를 환영합니다! 기고 가이드를 확인하여 시작하십시오.

도움과 토론을 위해 불화 커뮤니티에 가입하십시오.