promptfoo

PromptFoo: LLM Evals & Red Teaming

promptfoo เป็นเครื่องมือท้องถิ่นที่เป็นมิตรกับนักพัฒนาสำหรับการทดสอบแอปพลิเคชัน LLM หยุดวิธีการทดลองใช้และข้อผิดพลาด-เริ่มจัดส่งแอพ AI ที่ปลอดภัยและเชื่อถือได้

เริ่มต้นอย่างรวดเร็ว

 # Install and initialize project
npx promptfoo@latest init

# Run your first evaluation
npx promptfoo eval

ดูการเริ่มต้น (evals) หรือการเป็นทีมสีแดง (การสแกนช่องโหว่) สำหรับข้อมูลเพิ่มเติม

คุณจะทำอย่างไรกับ FressFoo?

• ทดสอบพรอมต์และโมเดลของคุณ ด้วยการประเมินอัตโนมัติ
• รักษาความปลอดภัยแอพ LLM ของคุณ ด้วยการสแกนเป็นทีมสีแดงและการสแกนช่องโหว่
• เปรียบเทียบโมเดล แบบเคียงข้างกัน (Openai, มานุษยวิทยา, Azure, Bedrock, Ollama และอีกมากมาย)
• ตรวจสอบโดยอัตโนมัติ ใน CI/CD
• แบ่งปันผลลัพธ์ กับทีมของคุณ

นี่คือสิ่งที่ดูเหมือนว่าในการดำเนินการ:

มันใช้งานได้กับบรรทัดคำสั่งด้วย:

นอกจากนี้ยังสามารถสร้างรายงานช่องโหว่ด้านความปลอดภัย:

ทำไมต้องตามพรอมต์?

• นักพัฒนาซอฟต์แวร์แรก : เร็วพร้อมคุณสมบัติเช่นการโหลดสดและการแคช
• ส่วนตัว : รัน 100% ในพื้นที่ - พรอมต์ของคุณไม่เคยออกจากเครื่องของคุณ
• - ยืดหยุ่น : ทำงานร่วมกับ LLM API หรือภาษาการเขียนโปรแกรมใด ๆ
• - การทดสอบการต่อสู้ : แอพ Powers LLM ที่ให้บริการผู้ใช้ 10 ล้านคนในการผลิต
• ข้อมูลที่ขับเคลื่อนด้วย : ตัดสินใจตามตัวชี้วัดไม่ใช่ความรู้สึกของลำไส้
• - โอเพ่นซอร์ส : MIT ได้รับใบอนุญาตพร้อมชุมชนที่ใช้งานอยู่

เรียนรู้เพิ่มเติม

• เอกสารฉบับเต็ม
• - คู่มือการทำงานเป็นทีมสีแดง
• เริ่มต้น
• การใช้งาน CLI
• - แพ็คเกจ Node.js
• - รุ่นที่รองรับ

การบริจาค

เรายินดีต้อนรับผลงาน! ตรวจสอบคู่มือการสนับสนุนของเราเพื่อเริ่มต้น

เข้าร่วมชุมชน Discord ของเราเพื่อขอความช่วยเหลือและการอภิปราย