aimon python sdk

? Добро пожаловать в Аймон

AIMON помогает разработчикам строить, отправлять и мониторировать приложения LLM более уверенно и надежно с современной многомодельческой системой для обнаружения проблем качества LLM. Это помогает беспрепятственно как с офлайн -оценками, так и непрерывным мониторингом производства. Aimon предлагает быстрое, надежное и экономически эффективное обнаружение галлюцинации. Он также поддерживает другие важные показатели качества, такие как полнота, краткости и токсичность. Прочитайте наш пост в блоге для более подробной информации.

Присоединяйтесь к нашему сообществу на Slack

Метрики поддерживаются

Ниже приведен список качественных показателей, которые в настоящее время доступны и на нашей дорожной карте. Пожалуйста, обратитесь, чтобы выразить свой интерес к любому из них.

Показатель	Статус
Модель галлюцинации (уровень прохода и предложения)	✓
Полнота	✓
Краткость	✓
Токсичность	✓
Приверженность инструкции	✓

Начиная

AIMON поддерживает асинхронные инструменты или синхронные обнаружения для показателей, упомянутых выше. Используйте эти шаги, чтобы начать с использования Aimon SDK и продукта.

• Шаг 1: Получите доступ к бета -продукту, присоединившись к списку ожидания на нашем веб -сайте или запрашивая его на Slack или отправив электронное письмо на [email protected]
• Шаг 2: Установите Aimon SDK, запустив pip install aimon в свой терминал.
• Шаг 3: Вот пример для прибора LLM -приложения синхронно с использованием декоратора AIMON:

 from aimon import Detect

detect = Detect ( values_returned = [ 'context' , 'generated_text' ], config = { "hallucination" : { "detector_name" : "default" }})

@ detect
def my_llm_app ( context , query ):
    # my_llm_model is the function that generates text using the LLM model
    generated_text = my_llm_model ( context , query )
    return context , generated_text

• Шаг 4: Для примера того, как придумать приложение LLM, асинхронно, используя SDK, обратитесь к декоратору analyze_prod .
• Шаг 5: Для примера синхронных обнаружений с использованием SDK, пожалуйста, обратитесь к приложению примера

Тесты

Обнаружение галлюцинации

Чтобы продемонстрировать эффективность нашей системы, мы сравнивали ее против популярных отраслевых ориентиров для задачи обнаружения галлюцинации. В таблице ниже показаны наши результаты.

Несколько ключевых выводов:

✅ Аймон в 10 раз дешевле , чем GPT-4 Turbo.

✅ Аймон в 4 раза быстрее , чем GPT-4 Turbo.

✅ Аймон предоставляет удобство полностью размещенного API, который включает в себя запеченную объяснимость.

✅ Поддержка длины контекста до 32 000 токенов (с планами дополнительно расширить это в ближайшем будущем).

В целом, Аймон в 10 раз дешевле, в 4 раза быстрее и близко или даже лучше, чем GPT-4 на тестах, что делает его подходящим выбором как для автономного, так и для онлайн-обнаружения галлюцинаций.

Показатель	Аймон полагается v1	GPT-4 Turbo (llm-as-a-gudge)
Контекст длины	32 000	128 000
True DataSet Precision/Remeply	0,808 / 0,922	0,810 / 0,926
Summac (тест) сбалансированная точность	0,778	0,756
Summac (тест) AUC	0,809	0,780
AnyScale Ranking Test для точности галлюцинаций	0,665	0,741
AntyScale Ranking Test для галлюцинаций Rel. Точность	0,804	0,855
Ав. Задержка	417 мс	1800 мс
Стоимость (15 -метровые токены во всех наборах данных контрольных данных), за исключением бесплатного уровня	$ 15	$ 158
Полностью размещен	✅	✅
Объяснение	Автоматические оценки на уровне предложений	Подробные рассуждения с дополнительной быстрой инженерией

Тесты на других детекторах

Не хватает стандартных наборов данных отрасли для этих метрик. Мы скоро опубликуем набор данных оценки. Следите за обновлениями! ⌛

Ценообразование

Обратитесь к веб -сайту AIMON.AI для получения подробной информации.

Сообщество

Присоединяйтесь к нашему сообществу Slack для последних обновлений и обсуждений по достоверной надежности ИИ.