Promptfoo: LLM Evals & Red Teaming
promptfoo هي أداة محلية صديقة للمطور لاختبار تطبيقات LLM. أوقف نهج التجربة والخطأ-ابدأ في شحن تطبيقات AI آمنة وموثوقة.
بداية سريعة
# Install and initialize project
npx promptfoo@latest init
# Run your first evaluation
npx promptfoo eval
شاهد البدء (EVALS) أو Red Teaming (مسح الضعف) للمزيد.
ماذا يمكنك أن تفعل مع kordfoo؟
- اختبر المطالبات والنماذج الخاصة بك مع التقييمات الآلية
- قم بتأمين تطبيقات LLM الخاصة بك مع فحص الجمهور الأحمر والضعف
- قارن النماذج جنبًا إلى جنب (Openai ، Anthropic ، Azure ، Strock ، Ollama ، وأكثر)
- أتمتة الشيكات في CI/CD
- شارك النتائج مع فريقك
إليك ما يبدو في العمل:
إنه يعمل على سطر الأوامر أيضًا:
كما يمكن أن يولد تقارير أمنية الأمن:
لماذا orderfoo؟
- المطور الأول : سريع ، مع ميزات مثل إعادة التحميل المباشر والتخزين المؤقت
- خاص : يعمل محليًا بنسبة 100 ٪ - مطالباتك لا تترك جهازك أبدًا
- ؟ مرن : يعمل مع أي API LLM أو لغة البرمجة
- ؟ تم اختبار المعركة : تطبيقات Powers LLM التي تخدم 10 أمتار+ مستخدمين في الإنتاج
- تعتمد على البيانات : اتخاذ القرارات على أساس المقاييس ، وليس الشعور بالأمعاء
- ؟ المصدر المفتوح : معهد ماساتشوستس للتكنولوجيا مرخصة ، مع مجتمع نشط
يتعلم أكثر
- الوثائق الكاملة
- ؟ دليل الجمهور الأحمر
- ابدء
- استخدام CLI
- ؟ حزمة Node.js
- ؟ النماذج المدعومة
المساهمة
نرحب بالمساهمات! تحقق من دليلنا المساهمة للبدء.
انضم إلى مجتمع Discord للحصول على المساعدة والمناقشة.
