Скачать opik - Скачать исходный код opik

opik

AI Исходный код

1.4.10

Скачать

Опик
Оценка с открытым исходным кодом

От тряпичных чат -ботов до кодирующих помощников до сложных агентских трубопроводов и за его пределами, создают системы LLM, которые работают лучше, быстрее и дешевле с трассировкой, оценками и панелями.

Веб -сайт • Slack Community • Twitter • Документация

Опик миниатюра

Что такое Опик?

OPIK-это платформа с открытым исходным кодом для оценки, тестирования и мониторинга приложений LLM. Построен кометой.

Вы можете использовать Opik для:

Разработка:
- Отслеживание: отслеживать все вызовы и следы LLM во время разработки и производства (QuickStart, Integrations
- Аннотации: аннотируйте ваши вызовы LLM, регистрируя оценки обратной связи с помощью Python SDK или пользовательского интерфейса.
- Игровая площадка :: попробуйте разные подсказки и модели на быстрого игровой площадки
Оценка : автоматизируйте процесс оценки вашего приложения LLM:
- Наборы данных и эксперименты : хранить тестовые примеры и запустить эксперименты (наборы данных, оценить приложение LLM)
- LLM как показатели судьи : используйте LLM OPIK в качестве показателя судьи для сложных вопросов, таких как обнаружение галлюцинации, умеренность и оценка тряпки (релевантность ответа, точность контекста
- Интеграция CI/CD : запустите оценки как часть вашего конвейера CI/CD, используя нашу Pytest Integration
Производственный мониторинг :
- Воберите все свои производственные следы : OPIK был разработан для поддержки больших объемов трассов, что облегчает мониторинг ваших производственных приложений. Даже небольшие развертывания могут проглатывать более 40 миллионов трассов в день!
- Мониторинг панелей мониторинга : просмотрите свои результаты отзывов, количество трассировки и токены с течением времени на приборной панели OPIK.
- Метрики онлайн -оценки : легко оценить все ваши производственные следы, используя LLM в качестве показателей судьи и выявляйте любые проблемы с вашим приложением LLM с помощью онлайн -метрик Opik в Интернете

Кончик

Если вы ищете функции, которых у Opik сегодня нет, пожалуйста, поднимите новый запрос на функции

Установка

OPIK доступен в качестве полностью открытой установки или использует Comet.com в качестве размещенного решения. Самый простой способ начать работу с Opik - создать бесплатную учетную запись Comet на Comet.com.

Если вы хотите самостоятельно OPIK, вы можете сделать это, клонируя репозиторий и запустив платформу, используя Docker Compose:

 # Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the opik/deployment/docker-compose directory
cd opik/deployment/docker-compose

# Start the Opik platform
docker compose up --detach

# You can now visit http://localhost:5173 on your browser!

Для получения дополнительной информации о различных вариантах развертывания, пожалуйста, смотрите наши руководства по развертыванию:

Методы установки	Ссылка документов
Местный экземпляр
Kubernetes

? Начните

Чтобы начать, вам нужно сначала установить Python SDK:

pip install opik

После установки SDK вы можете настроить его, выполнив команду opik configure :

opik configure

Это позволит вам настроить OPIK локально, установив правильный адрес локального сервера или, если вы используете платформу Cloud, установив ключ API

Кончик

Вы также можете вызвать метод opik.configure(use_local=True) из кода Python, чтобы настроить SDK для запуска на локальной установке.

Теперь вы готовы начать регистрацию трассы, используя Python SDK.

Трассировки регистрации

Самый простой способ начать - использовать одну из наших интеграций. Опик поддерживает:

Интеграция	Описание	Документация
Openai	Следы журналов для всех вызовов Openai LLM	Документация
Лителм	Вызовите любую модель LLM, используя формат OpenAI	Документация
Лангхейн	Следы журналов для всех вызовов Langchain LLM	Документация
Сетей	Следы журналов для всех вызовов сена	Документация
Антроп	Треки журнала для всех вызовов антропного LLM	Документация
Коренная порода	Следы журналов для всех вызовов Bedrock LLM	Документация
Крю	Следы журналов для всех звонков экипажа	Документация
DeepSeek	Следы журналов для всех вызовов DeepSeek LLM	Документация
DSPY	Следы журналов для всех прогонов DSPY	Документация
Близнецы	Следы журналов для всех вызовов Gemini LLM	Документация
Гриб	Треки журнала для всех вызовов Groq LLM	Документация
Ограждения	Треки журнала для всех валидаций Guardrails	Документация
Лангграф	Следы журналов для всех выполнений Langgraph	Документация
Lmamaindex	Треки журнала для всех вызовов Lmaindex LLM	Документация
Оллама	Следы журналов для всех вызовов Ollama LLM	Документация
Принцибаза	Тонкая настройка и подавать большие языковые модели с открытым исходным кодом	Документация
Рагас	Оценка структуры для ваших трубопроводов с добыче добычи (RAG)	Документация
Watsonx	Следы журналов для всех вызовов Watsonx LLM	Документация

Кончик

Если используемая вами структура не указана выше, не стесняйтесь открывать проблему или отправлять PR с интеграцией.

Если вы не используете ни одного из приведенных выше каркасов, вы также можете использовать декоратор функции track для журнала «След»:

 import opik

opik . configure ( use_local = True ) # Run locally

@ opik . track
def my_llm_function ( user_question : str ) -> str :
    # Your LLM code here

    return "Hello"

Кончик

Декоратор трека может использоваться в сочетании с любой из наших интеграций, а также может использоваться для отслеживания вложенных вызовов функций.

? ‍⚖ LLM как показатели судьи

Python Opik SDK включает в себя ряд LLM в качестве показателей судьи, которые помогут вам оценить ваше заявление LLM. Узнайте больше об этом в документации метрик.

Чтобы использовать их, просто импортируйте соответствующую метрику и используйте функцию score :

 from opik . evaluation . metrics import Hallucination

metric = Hallucination ()
score = metric . score (
    input = "What is the capital of France?" ,
    output = "Paris" ,
    context = [ "France is a country in Europe." ]
)
print ( score )

Opik также включает в себя ряд предварительно построенных эвристических метрик, а также способность создавать свои собственные. Узнайте больше об этом в документации метрик.

? Оценка вашего приложения LLM

OPIK позволяет вам оценить ваше приложение LLM во время разработки с помощью наборов данных и экспериментов.

Вы также можете провести оценки в рамках вашего конвейера CI/CD, используя нашу интеграцию Pytest.

Светь нас на GitHub

Если вы найдете Opik полезным, пожалуйста, подумайте о том, чтобы дать нам звезду! Ваша поддержка помогает нам развивать наше сообщество и продолжать улучшать продукт.