PromptFoo: LLM Evals & Red Teaming
promptfoo adalah alat lokal yang ramah pengembang untuk menguji aplikasi LLM. Hentikan Pendekatan Trial-and-Error-Mulai pengiriman aplikasi AI yang aman dan andal.
Awal yang cepat
# Install and initialize project
npx promptfoo@latest init
# Run your first evaluation
npx promptfoo eval
Lihat Memulai (EVAL) atau Peaming Merah (Pemindaian Kerentanan) untuk lebih.
Apa yang dapat Anda lakukan dengan PromptFoo?
- Uji petunjuk dan model Anda dengan evaluasi otomatis
- Amankan aplikasi LLM Anda dengan pemindaian tim merah dan kerentanan
- Bandingkan model berdampingan (openai, antropik, biru, batuan dasar, ollama, dan banyak lagi)
- Otomatis Pemeriksaan dalam CI/CD
- Bagikan hasil dengan tim Anda
Inilah yang terlihat seperti itu:
Ini bekerja pada baris perintah juga:
Ini juga dapat menghasilkan laporan kerentanan keamanan:
Mengapa PromptFoo?
- Pengembang-First : Cepat, dengan fitur-fitur seperti Live Reload dan Caching
- Pribadi : Berjalan 100% Lokal - Permintaan Anda tidak pernah meninggalkan mesin Anda
- ? Fleksibel : Bekerja dengan API LLM atau bahasa pemrograman apa pun
- ? Tes Battle : Aplikasi Powers LLM Melayani 10m+ Pengguna dalam Produksi
- Data-Didorong : Membuat keputusan berdasarkan metrik, bukan nuansa usus
- ? Sumber Terbuka : MIT berlisensi, dengan komunitas aktif
Pelajari lebih lanjut
- Dokumentasi lengkap
- ? Panduan Tim Merah
- Memulai
- Penggunaan CLI
- ? Paket Node.js
- ? Model yang didukung
Berkontribusi
Kami menyambut kontribusi! Lihat panduan berkontribusi kami untuk memulai.
Bergabunglah dengan komunitas Discord kami untuk bantuan dan diskusi.
