opik

Opik

Kerangka Evaluasi LLM Open Source

Dari chatbots kain hingga asisten kode hingga jaringan pipa agen yang kompleks dan seterusnya, membangun sistem LLM yang berjalan lebih baik, lebih cepat, dan lebih murah dengan penelusuran, evaluasi, dan dasbor.

Situs web • Komunitas Slack • Twitter • Dokumentasi

Apa itu Opik?

OPIK adalah platform open-source untuk mengevaluasi, menguji dan memantau aplikasi LLM. Dibangun oleh Comet.

Anda dapat menggunakan opik untuk:

• Perkembangan:

  • Penelusuran: Lacak semua panggilan dan jejak LLM selama pengembangan dan produksi (QuickStart, Integrasi

  • Anotasi: Anotasi panggilan LLM Anda dengan mencatat skor umpan balik menggunakan Python SDK atau UI.

  • Playground :: Cobalah berbagai petunjuk dan model di taman bermain prompt

• Evaluasi : Otomatiskan proses evaluasi aplikasi LLM Anda:

  • Dataset dan Eksperimen : Store Test Case dan Run Experiments (Dataset, Evaluasi Aplikasi LLM Anda)

  • LLM sebagai Metrik Hakim : Gunakan LLM OPIK sebagai metrik juri untuk masalah kompleks seperti deteksi halusinasi, moderasi dan evaluasi RAG (relevansi jawaban, presisi konteks

  • Integrasi CI/CD : Jalankan evaluasi sebagai bagian dari pipa CI/CD Anda menggunakan integrasi pytest kami

• Pemantauan Produksi :

  • Masuk semua jejak produksi Anda : Opik telah dirancang untuk mendukung jejak volume tinggi, membuatnya mudah untuk memantau aplikasi produksi Anda. Bahkan penyebaran kecil dapat menelan lebih dari 40 juta jejak per hari!

  • Monitoring Dashboard : Tinjau skor umpan balik Anda, jejak jumlah dan token dari waktu ke waktu di dasbor OPIK.

  • Metrik Evaluasi Online : Mudah skor semua jejak produksi Anda menggunakan LLM sebagai metrik juri dan mengidentifikasi masalah apa pun dengan aplikasi LLM produksi Anda berkat metrik evaluasi online OPIK

Tip

Jika Anda mencari fitur yang tidak dimiliki Opik hari ini, silakan naikkan permintaan fitur baru

Instalasi

Opik tersedia sebagai instalasi lokal sumber terbuka sepenuhnya atau menggunakan comet.com sebagai solusi yang di -host. Cara termudah untuk memulai dengan Opik adalah dengan membuat akun komet gratis di Comet.com.

Jika Anda ingin menjadi tuan rumah sendiri OPIK, Anda dapat melakukannya dengan mengkloning repositori dan memulai platform menggunakan Docker Compose:

 # Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the opik/deployment/docker-compose directory
cd opik/deployment/docker-compose

# Start the Opik platform
docker compose up --detach

# You can now visit http://localhost:5173 on your browser!

Untuk informasi lebih lanjut tentang berbagai opsi penyebaran, silakan lihat Panduan Penempatan kami:

Metode pemasangan	Tautan dokumen
Contoh lokal
Kubernetes

? Mulai

Untuk memulai, Anda harus terlebih dahulu menginstal Python SDK:

pip install opik

Setelah SDK diinstal, Anda dapat mengonfigurasinya dengan menjalankan perintah opik configure :

opik configure

Ini akan memungkinkan Anda untuk mengonfigurasi OPIK secara lokal dengan mengatur alamat server lokal yang benar atau jika Anda menggunakan platform cloud dengan mengatur kunci API

Tip

Anda juga dapat menghubungi metode opik.configure(use_local=True) dari kode Python Anda untuk mengonfigurasi SDK untuk dijalankan pada instalasi lokal.

Anda sekarang siap untuk memulai jejak logging menggunakan Python SDK.

Jejak logging

Cara termudah untuk memulai adalah dengan menggunakan salah satu integrasi kami. Dukungan Opik:

Integrasi	Keterangan	Dokumentasi	Coba di Colab
Openai	Jejak log untuk semua panggilan OpenAI LLM	Dokumentasi
Litellm	Hubungi model LLM apa pun menggunakan format openai	Dokumentasi
Langchain	Jejak log untuk semua panggilan Langchain LLM	Dokumentasi
Tumpukan jerami	Jejak log untuk semua panggilan tumpukan jerami	Dokumentasi
Antropik	Jejak log untuk semua panggilan LLM antropik	Dokumentasi
Bedrock	Jejak log untuk semua panggilan LLM Bedrock	Dokumentasi
Crewai	Jejak log untuk semua panggilan crewai	Dokumentasi
Deepseek	Jejak log untuk semua panggilan deepseek llm	Dokumentasi
Dspy	Jejak log untuk semua run DSPY	Dokumentasi
Gemini	Jejak log untuk semua panggilan Gemini LLM	Dokumentasi
Groq	Jejak log untuk semua panggilan groq llm	Dokumentasi
Pagar pembatas	Jejak log untuk semua validasi pagar pembatas	Dokumentasi
Langgraph	Jejak log untuk semua eksekusi langgraph	Dokumentasi
Llamaindex	Jejak log untuk semua panggilan LLAMAINDEX LLM	Dokumentasi
Ollama	Jejak log untuk semua panggilan Ollama LLM	Dokumentasi
Predibase	Menyempurnakan dan melayani model bahasa besar open-source	Dokumentasi
Ragas	Kerangka kerja evaluasi untuk pipa pengambilan augmented generasi (RAG) Anda	Dokumentasi
Watsonx	Jejak log untuk semua panggilan Watsonx LLM	Dokumentasi

Tip

Jika kerangka kerja yang Anda gunakan tidak tercantum di atas, jangan ragu untuk membuka masalah atau mengirimkan PR dengan integrasi.

Jika Anda tidak menggunakan kerangka kerja di atas, Anda juga dapat menggunakan dekorator fungsi track untuk mencatat jejak:

 import opik

opik . configure ( use_local = True ) # Run locally

@ opik . track
def my_llm_function ( user_question : str ) -> str :
    # Your LLM code here

    return "Hello" 

Tip

Dekorator trek dapat digunakan bersama dengan integrasi kami dan juga dapat digunakan untuk melacak panggilan fungsi bersarang.

? ‍⚖️ llm sebagai Hakim Metrik

Python Opik SDK mencakup sejumlah LLM sebagai metrik hakim untuk membantu Anda mengevaluasi aplikasi LLM Anda. Pelajari lebih lanjut tentang hal itu dalam dokumentasi metrik.

Untuk menggunakannya, cukup impor metrik yang relevan dan gunakan fungsi score :

 from opik . evaluation . metrics import Hallucination

metric = Hallucination ()
score = metric . score (
    input = "What is the capital of France?" ,
    output = "Paris" ,
    context = [ "France is a country in Europe." ]
)
print ( score )

Opik juga menyertakan sejumlah metrik heuristik pra-buatan serta kemampuan untuk menciptakan sendiri. Pelajari lebih lanjut tentang hal itu dalam dokumentasi metrik.

? Mengevaluasi Aplikasi LLM Anda

OPIK memungkinkan Anda untuk mengevaluasi aplikasi LLM Anda selama pengembangan melalui set data dan eksperimen.

Anda juga dapat menjalankan evaluasi sebagai bagian dari pipa CI/CD Anda menggunakan integrasi Pytest kami.

Bintang kami di GitHub

Jika Anda menganggap Opik berguna, pertimbangkan untuk memberi kami bintang! Dukungan Anda membantu kami menumbuhkan komunitas kami dan terus meningkatkan produk.

? Berkontribusi

Ada banyak cara untuk berkontribusi pada OPIK:

• Kirim Laporan Bug dan Permintaan Fitur
• Tinjau dokumentasi dan kirimkan permintaan tarik untuk memperbaikinya
• Berbicara atau menulis tentang opik dan memberi tahu kami
• Meningkatkan permintaan fitur populer untuk menunjukkan dukungan Anda

Untuk mempelajari lebih lanjut tentang cara berkontribusi pada OPIK, silakan lihat pedoman yang berkontribusi.