langkit

Лангкит

Langkit-это инструментарий для мониторинга языковых моделей с открытым исходным кодом для мониторинга языковых моделей. Он предлагает множество методов для извлечения соответствующих сигналов из входного и/или выходного текста, которые совместимы с библиотекой журнала данных с открытым исходным кодом WhyLogs.

Хотите испытать Лангкит? Зайдите в эту записную книжку!

Оглавление

• Мотивация
• Функции
• Установка
• Использование
• Модули

Мотивация

Производство языковых моделей, включая LLMS, поставляется с различными рисками из -за бесконечного количества входных комбинаций, которые могут вызвать бесконечное количество выходов. Неструктурированный характер текста ставит проблему в пространстве наблюдаемости ML - вызов, заслуживающий решения, поскольку отсутствие видимости в поведении модели может иметь серьезные последствия.

Функции

Вне показатели коробки включают в себя:

• Качество текста
  • показатель читаемости
  • Сложность и оценки
• Актуальность текста
  • Оценки сходства между быстрыми/ответами
  • Оценки сходства по пользовательским темам
• Безопасность и конфиденциальность
  • Паттерны - Подсчет строк, соответствующих пользовательской группе режима REGEX
  • Брейки -джейлбрейки - оценки сходства по отношению к известным попыткам джейлбрейка
  • Оперативная инъекция - оценки сходства по сравнению с известными быстрыми атаками инъекций
  • Галлюцинации - проверка согласованности между ответами
  • Отказы - оценки сходства по отношению к известному отказу от ответов на обслуживание
• Чувства и токсичность
  • Анализ настроений
  • анализ токсичности

Установка

Чтобы установить Langkit, используйте индекс пакетов Python (PYPI) следующим образом:

 pip install langkit[all]

Использование

Модули Langkit содержат UDF, которые автоматически проводят в коллекцию UDF на строковых функциях, предоставленных WhyLogs по умолчанию. Все, что нам нужно сделать, это импортировать модули Langkit, а затем создать индивидуальную схему, как показано в примере ниже.

 import whylogs as why
from langkit import llm_metrics

results = why . log ({ "prompt" : "Hello!" , "response" : "World!" }, schema = llm_metrics . init ())

Приведенный выше код будет создан набор метрик, состоящие из метрик WhyLogs по умолчанию для текстовых функций и всех метрик, определенных в импортированных модулях. Этот профиль может быть визуализирован и контроль на платформе WhyLabs, или они могут быть дополнительно проанализированы пользователем само по себе.

Здесь доступно больше примеров.

Модули?

У вас может быть больше информации о различных модулях и их метриках здесь.

Тесты

Тип экземпляра AWS	Метрический модуль	Пропускная способность
c5.xlarge	Световые метрики	2335 чатов/сек
	Метрики LLM	8.2 чаты/сек
	Все метрики	0,28 чата/сек
G4dn.xlarge	Световые метрики	2492 чаты/сек
	Метрики LLM	23.3 чаты/сек
	Все метрики	1,79 чаты/сек

Часто задаваемые вопросы

Вы можете проверить несколько часто задаваемых вопросов в нашем разделе FAQS