opik 다운로드 - opik 소스 코드 다운로드

opik

AI 소스 코드

1.4.10

다운로드

오피
오픈 소스 LLM 평가 프레임 워크

RAG 챗봇에서 코드 어시스턴트, 복잡한 에이전트 파이프 라인 및 그 이상에 이르기까지 추적, 평가 및 대시 보드로 더 잘 작동하고 빠르며 저렴한 LLM 시스템을 구축합니다.

웹 사이트 • 슬랙 커뮤니티 • 트위터 • 문서

Opik 썸네일

Opik이란 무엇입니까?

OPIK은 LLM 응용 프로그램을 평가, 테스트 및 모니터링하기위한 오픈 소스 플랫폼입니다. 혜성에 의해 만들어졌습니다.

Opik을 사용할 수 있습니다.

개발:
- 추적 : 개발 및 생산 중 모든 LLM 통화 및 추적 추적 (QuickStart, Integrations
- 주석 : Python SDK 또는 UI를 사용하여 피드백 점수를 기록하여 LLM 호출에 주석을 달 수 있습니다.
- 놀이터 : .
평가 : LLM 응용 프로그램의 평가 프로세스 자동화 :
- 데이터 세트 및 실험 : 테스트 사례 저장 및 실험 실험 (데이터 세트, LLM 응용 프로그램 평가)
- LLM 판사 메트릭 : 환각 탐지, 중재 및 헝겊 평가와 같은 복잡한 문제에 대한 Opik의 LLM을 판사 메트릭으로 사용하십시오 (답변 관련, 컨텍스트 정밀도
- CI/CD 통합 : Pytest 통합을 사용하여 CI/CD 파이프 라인의 일부로 평가를 실행합니다.
생산 모니터링 :
- 모든 생산 흔적을 기록하십시오 : OPIK은 높은 볼륨의 트레이스를 지원하도록 설계되어 생산 응용 프로그램을 쉽게 모니터링 할 수 있습니다. 소규모 배치조차도 하루에 4 천만 개 이상의 흔적을 섭취 할 수 있습니다!
- 대시 보드 모니터링 : Opik 대시 보드에서 시간이 지남에 따라 피드백 점수, 추적 수 및 토큰을 검토하십시오.
- 온라인 평가 지표 : LLM을 판사 메트릭으로 사용하여 모든 생산 흔적을 쉽게 점수를 매기고 OPIK의 온라인 평가 지표 덕분에 LLM을 제작 LLM 응용 프로그램의 문제를 식별합니다.

팁

오늘 Opik이없는 기능을 찾고 있다면 새로운 기능 요청을 제기하십시오.

설치

Opik은 완전히 오픈 소스 로컬 설치 또는 comet.com을 호스팅 된 솔루션으로 사용합니다. Opik을 시작하는 가장 쉬운 방법은 comet.com에서 무료 혜성 계정을 만드는 것입니다.

Opik을 자체 주최하고 싶다면 리포지토리를 복제하고 Docker Compose를 사용하여 플랫폼을 시작하여 그렇게 할 수 있습니다.

 # Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the opik/deployment/docker-compose directory
cd opik/deployment/docker-compose

# Start the Opik platform
docker compose up --detach

# You can now visit http://localhost:5173 on your browser!

다양한 배포 옵션에 대한 자세한 내용은 배포 가이드를 참조하십시오.

설치 방법	문서 링크
로컬 인스턴스
Kubernetes

? 시작하세요

시작하려면 먼저 Python SDK를 설치해야합니다.

pip install opik

SDK가 설치되면 opik configure 명령을 실행하여 구성 할 수 있습니다.

opik configure

이렇게하면 올바른 로컬 서버 주소를 설정하거나 API 키를 설정하여 클라우드 플랫폼을 사용하는 경우 Opik을 로컬로 구성 할 수 있습니다.

팁

Python 코드에서 opik.configure(use_local=True) 메소드를 호출하여 로컬 설치에서 실행되도록 SDK를 구성 할 수도 있습니다.

이제 Python SDK를 사용하여 로깅 트레이스를 시작할 준비가되었습니다.

로깅 흔적

시작하는 가장 쉬운 방법은 통합 중 하나를 사용하는 것입니다. OPIK 지원 :

완성	설명	선적 서류 비치
Openai	모든 OpenAI LLM 통화에 대한 로그 흔적	선적 서류 비치
Litellm	OpenAI 형식을 사용하여 LLM 모델을 호출하십시오	선적 서류 비치
랭케인	모든 Langchain LLM 통화에 대한 로그 흔적	선적 서류 비치
커다란 건초 더미	모든 건초 더미 통화에 대한 로그 트레이스	선적 서류 비치
인류	모든 Anthropic LLM 통화에 대한 로그 흔적	선적 서류 비치
근본적인	모든 기반 LLM 통화에 대한 로그 트레이스	선적 서류 비치
Crewai	모든 Crewai 통화에 대한 로그 흔적	선적 서류 비치
Deepseek	모든 DeepSeek LLM 통화에 대한 로그 트레이스	선적 서류 비치
dspy	모든 DSPY 실행에 대한 로그 트레이스	선적 서류 비치
쌍둥이 자리	모든 Gemini LLM 통화에 대한 로그 흔적	선적 서류 비치
그로크	모든 groq llm 통화에 대한 로그 트레이스	선적 서류 비치
가드 레일	모든 Guardrails 유효성 검사에 대한 로그 트레이스	선적 서류 비치
랭 그래프	모든 langgraph 실행에 대한 로그 흔적	선적 서류 비치
llamaindex	모든 llamaindex llm 호출에 대한 로그 트레이스	선적 서류 비치
올라마	모든 Ollama LLM 통화에 대한 로그 흔적	선적 서류 비치
Predibase	오픈 소스 대형 언어 모델을 미세 조정하고 제공하십시오	선적 서류 비치
라 가스	검색 증강 생성 (RAG) 파이프 라인에 대한 평가 프레임 워크	선적 서류 비치
Watsonx	모든 Watsonx LLM 통화에 대한 로그 추적	선적 서류 비치

팁

사용중인 프레임 워크가 위에 나열되지 않은 경우 문제를 열거나 통합으로 PR을 제출하십시오.

위의 프레임 워크를 사용하지 않는 경우 track 함수 데코레이터를 사용하여 추적을 기록 할 수도 있습니다.

 import opik

opik . configure ( use_local = True ) # Run locally

@ opik . track
def my_llm_function ( user_question : str ) -> str :
    # Your LLM code here

    return "Hello"

팁

트랙 데코레이터는 모든 통합과 함께 사용할 수 있으며 중첩 된 기능 호출을 추적하는 데 사용될 수도 있습니다.

판사 측정 항목으로서? as️ llm

Python Opik SDK에는 LLM 응용 프로그램을 평가하는 데 도움이되는 판사 메트릭으로서 여러 LLM이 포함되어 있습니다. 메트릭 문서에서 자세히 알아보십시오.

이를 사용하려면 관련 메트릭을 가져 와서 score 기능을 사용하십시오.

 from opik . evaluation . metrics import Hallucination

metric = Hallucination ()
score = metric . score (
    input = "What is the capital of France?" ,
    output = "Paris" ,
    context = [ "France is a country in Europe." ]
)
print ( score )