opik下載 - opik源代碼下載

opik

Ai源碼

1.4.10

下載

OPIK
開源LLM評估框架

從抹布聊天機器人到代碼助手到復雜的代理管道及以後，構建LLM系統，可以通過跟踪，評估和儀表板來更好，更快，更便宜。

網站•鬆弛社區• Twitter •文檔

OPIK縮略圖

什麼是OPIK？

OPIK是一個用於評估，測試和監視LLM應用程序的開源平台。由彗星建造。

您可以使用OPIK：

發展：
- 跟踪：在開發和生產過程中跟踪所有LLM的呼叫和痕跡（快速啟動，集成
- 註釋：通過使用Python SDK或UI記錄反饋分數來註釋LLM調用。
- 遊樂場：：及時的操場上嘗試不同的提示和模型
評估：自動化LLM應用程序的評估過程：
- 數據集和實驗：存儲測試用例和運行實驗（數據集，評估您的LLM應用程序）
- LLM作為法官指標：使用OPIK的LLM作為法官指標
- CI/CD集成：使用我們的Pytest集成作為CI/CD管道的一部分進行評估
生產監控：
- 日誌所有生產軌跡：OPIK旨在支持大量痕跡，從而易於監視您的生產應用程序。即使是小型部署也可以每天攝入超過4000萬個痕跡！
- 監視儀表板：在OPIK儀表板上查看您的反饋分數，跟踪計數和令牌。
- 在線評估指標：通過OPIK的在線評估指標，使用LLM作為法官指標輕鬆評分所有生產軌跡，並確定生產LLM應用程序的任何問題

提示

如果您正在尋找OPIK今天沒有的功能，請提出一個新功能請求

安裝

OPIK可作為完全開源的本地安裝或使用Comet.com作為託管解決方案提供。開始使用OPIK的最簡單方法是在Comet.com上創建一個免費的彗星帳戶。

如果您想自助OPIK，可以通過克隆存儲庫並使用Docker組成的平台來做到這一點：

 # Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the opik/deployment/docker-compose directory
cd opik/deployment/docker-compose

# Start the Opik platform
docker compose up --detach

# You can now visit http://localhost:5173 on your browser!

有關不同部署選項的更多信息，請參閱我們的部署指南：

安裝方法	文檔鏈接
本地實例
Kubernetes

？開始

首先，您需要首先安裝Python SDK：

pip install opik

SDK安裝後，您可以通過運行opik configure命令來配置它：

opik configure

這將允許您通過設置正確的本地服務器地址或通過設置API鍵使用雲平台來本地配置OPIK

提示

您也可以從Python代碼調用opik.configure(use_local=True)方法，以配置SDK以在本地安裝上運行。

現在，您準備使用Python SDK開始記錄軌跡。

記錄軌跡

最簡單的入門方法是使用我們的集成之一。 OPIK支持：

一體化	描述	文件
Openai	所有OpenAI LLM調用的日誌跟踪	文件
Litellm	使用OpenAI格式調用任何LLM型號	文件
Langchain	所有Langchain LLM調用的日誌跟踪	文件
草垛	所有Haystack調用的日誌跟踪	文件
人類	所有人類LLM調用的日誌跟踪	文件
基岩	所有基岩LLM通話的日誌跟踪	文件
Crewai	所有crewai呼叫的日誌跟踪	文件
DeepSeek	所有DeepSeek LLM調用的日誌跟踪	文件
DSPY	所有DSPY運行的日誌跟踪	文件
雙子座	所有Gemini LLM調用的日誌跟踪	文件
谷	所有GROQ LLM調用的日誌跟踪	文件
護欄	所有護欄驗證的日誌跟踪	文件
Langgraph	所有langgraph執行的日誌跟踪	文件
Llamaindex	所有LlamainDex LLM通話的日誌跡線	文件
霍拉馬	所有Ollama LLM調用的日誌跟踪	文件
prepibase	微調並提供開源大語模型	文件
拉加斯	您檢索增強發電（RAG）管道的評估框架	文件
WATSONX	所有WATSONX LLM調用的日誌跟踪	文件

提示

如果您使用的框架未列出上面的框架，請隨時打開問題或提交與集成的PR。

如果您不使用上面的任何框架，也可以使用track功能裝飾器來記錄軌跡：

 import opik

opik . configure ( use_local = True ) # Run locally

@ opik . track
def my_llm_function ( user_question : str ) -> str :
    # Your LLM code here

    return "Hello"

提示

軌道裝飾器可以與我們的任何集成結合使用，也可以用於跟踪嵌套功能調用。

？ ‍⚖️LLM作為法官指標

Python Opik SDK包括許多LLM作為法官指標，以幫助您評估LLM應用程序。在指標文檔中了解有關它的更多信息。

要使用它們，只需導入相關度量標準並使用score函數：

 from opik . evaluation . metrics import Hallucination

metric = Hallucination ()
score = metric . score (
    input = "What is the capital of France?" ,
    output = "Paris" ,
    context = [ "France is a country in Europe." ]
)
print ( score )