Rackfoofoo: LLM Evals & Red Teaming
promptfoo -это удобный для разработчиков локальный инструмент для тестирования приложений LLM. Остановите пробный и ошибочный подход-Начните доставку безопасных, надежных приложений ИИ.
Быстрый старт
# Install and initialize project
npx promptfoo@latest init
# Run your first evaluation
npx promptfoo eval
См. Начало работы (Evals) или Red Teaming (сканирование уязвимости) для большего.
Что вы можете сделать с rasforfoo?
- Проверьте свои подсказки и модели с автоматическими оценками
- Защитите свои приложения LLM с помощью красной команды и сканирования уязвимости
- Сравните модели бок о бок (Openai, Antropic, Azure, Bedrock, Ollama и многое другое)
- Автоматизируйте проверки в CI/CD
- Поделиться результатами со своей командой
Вот как это выглядит в действии:
Он тоже работает на командной строке:
Это также может генерировать отчеты об уязвимости безопасности:
Почему rimplyfoo?
- Разработчик-первый : быстро, с такими функциями, как Live Reload и кэширование
- Private : работает на 100% локально - ваши подсказки никогда не покидают вашу машину
- ? Гибкий : работает с любым API LLM или языком программирования
- ? Потказанные в битве : Powers LLM-приложения, обслуживающие 10M+ пользователей в производстве
- Данные данные : принимайте решения на основе метрик, а не на кишечнике
- ? Открытый исходный код : MIT Licensed, с активным сообществом
Узнать больше
- Полная документация
- ? Красный командный гид
- Начиная
- Использование CLI
- ? Node.js Package
- ? Поддерживаемые модели
Внося
Мы приветствуем вклад! Проверьте наше руководство для начала.
Присоединяйтесь к нашему сообществу Discord для помощи и обсуждения.
