evalkit

Проведите

Библиотека оценок TypeScript LLM

---

Evalkit-это библиотека с открытым исходным кодом, предназначенная для разработчиков TypeScript для оценки и повышения производительности моделей крупных языков (LLMS) с уверенностью. Убедитесь, что ваши модели ИИ являются надежными, точными и заслуживающими доверия.

Особенности, метрики и документы

Нажмите здесь, чтобы перейти к официальной документации Evalkit

В документации вы можете найти информацию о том, как использовать Evalkit, ее архитектуру, включая учебные пособия и рецепты для различных вариантов использования и поставщиков LLM.

Особенность	Доступность	Док
Метрика обнаружения смещения	✅	?
Когерентность метрика	✅	?
Динамическая метрика (g-eval)	✅	?
Метрика верности	✅	?
Метрика галлюцинации	✅	?
Метрика обнаружения намерений	✅	?
Метрика семантического сходства	✅	?
Метрика семантического сходства	✅	?
Репортаж	?	?

Ищете метрическую/функцию, которая здесь не указана? Откройте проблему и дайте нам знать!

Начало работы - QuickStart

Предварительные условия

• Node.js 18+
• OpenAI API -ключ

Установка

Evalkit в настоящее время экспортирует основной пакет, который включает все функциональные возможности, связанные с оценкой. Установите пакет, выполнив следующую команду:

npm install --save-dev @evalkit/core

Внося

Мы приветствуем вклад сообщества! Пожалуйста, не стесняйтесь отправлять запросы на привлечение или создавать проблемы для ошибок или предложений функций.

Лицензия

Исходный код этого хранилища доступен по лицензии Apache 2.0.