opik

أوبيك

إطار تقييم المصدر LLM

من Rag Chatbots إلى مساعدي التعليمات البرمجية إلى خطوط الأنابيب المعقدة و Beyond ، قم بإنشاء أنظمة LLM التي تعمل بشكل أفضل وأسرع وأرخص مع التتبع والتقييمات ولوحات المعلومات.

موقع الويب • Slack Community • Twitter • الوثائق

ما هو أوبيك؟

OPIK هي منصة مفتوحة المصدر لتقييم واختبار ومراقبة تطبيقات LLM. بنيت من قبل المذنب.

يمكنك استخدام OPIK لـ:

• تطوير:

  • تتبع: تتبع جميع مكالمات LLM وآثارها أثناء التطوير والإنتاج (QuickStart ، Integrations

  • التعليقات التوضيحية: توضيح مكالمات LLM عن طريق تسجيل درجات التعليقات باستخدام Python SDK أو واجهة المستخدم.

  • الملعب :: جرب مطالبات ونماذج مختلفة في الملعب المطالبين

• التقييم : أتمتة عملية التقييم لتطبيق LLM الخاص بك:

  • مجموعات البيانات والتجارب : تخزين حالات اختبار وتشغيل التجارب (مجموعات البيانات ، وقم بتقييم تطبيق LLM الخاص بك)

  • LLM كقاضي مقاييس : استخدم OPIK's LLM كمقياس للقاضي لقضايا معقدة مثل الكشف عن الهلوسة ، والاعتدال وتقييم الخرقة (صلة الإجابة ، ودقة السياق

  • تكامل CI/CD : قم بتشغيل التقييمات كجزء من خط أنابيب CI/CD باستخدام تكامل Pytest الخاص بنا

• مراقبة الإنتاج :

  • قم بتسجيل جميع آثار الإنتاج الخاصة بك : تم تصميم OPIK لدعم كميات كبيرة من الآثار ، مما يجعل من السهل مراقبة تطبيقات الإنتاج الخاصة بك. حتى عمليات النشر الصغيرة يمكنها تناول أكثر من 40 مليون آثار يوميًا!

  • مراقبة لوحات المعلومات : راجع درجات التعليقات الخاصة بك ، وعدد التتبع والرموز مع مرور الوقت في لوحة معلومات OPIK.

  • مقاييس التقييم عبر الإنترنت : يسجل بسهولة جميع آثار الإنتاج الخاصة بك باستخدام LLM كمقاييس القاضي وتحديد أي مشكلات مع تطبيق الإنتاج LLM الخاص بك بفضل مقاييس التقييم عبر الإنترنت OPIK

نصيحة

إذا كنت تبحث عن ميزات لا تملكها Opik اليوم ، فيرجى رفع طلب ميزة جديد

تثبيت

يتوفر OPIK كإجراء تثبيت محلي مفتوح المصدر بالكامل أو باستخدام Comet.com كحل مستضاف. أسهل طريقة للبدء في OPIK هي إنشاء حساب مذنب مجاني في Comet.com.

إذا كنت ترغب في استضافة الذات ، فيمكنك القيام بذلك عن طريق استنساخ المستودع وبدء تشغيل النظام الأساسي باستخدام Docker:

 # Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the opik/deployment/docker-compose directory
cd opik/deployment/docker-compose

# Start the Opik platform
docker compose up --detach

# You can now visit http://localhost:5173 on your browser!

لمزيد من المعلومات حول خيارات النشر المختلفة ، يرجى الاطلاع على أدلة النشر الخاصة بنا:

طرق التثبيت	رابط المستندات
مثال محلي
Kubernetes

؟ ابدأ

للبدء ، ستحتاج أولاً إلى تثبيت Python SDK:

pip install opik

بمجرد تثبيت SDK ، يمكنك تكوينه عن طريق تشغيل الأمر opik configure :

opik configure

سيسمح لك ذلك بتكوين OPIK محليًا عن طريق تعيين عنوان الخادم المحلي الصحيح أو إذا كنت تستخدم النظام الأساسي عن طريق ضبط مفتاح API

نصيحة

يمكنك أيضًا استدعاء طريقة opik.configure(use_local=True) من رمز Python الخاص بك لتكوين SDK لتشغيله على التثبيت المحلي.

أنت الآن مستعد لبدء تسجيل آثار تسجيل استخدام Python SDK.

آثار التسجيل

أسهل طريقة للبدء هي استخدام أحد عمليات تكاملنا. يدعم OPIK:

اندماج	وصف	الوثائق	حاول في كولاب
Openai	آثار سجل لجميع مكالمات Openai LLM	الوثائق
litellm	اتصل بأي نموذج LLM باستخدام تنسيق Openai	الوثائق
لانجشين	آثار تسجيل لجميع مكالمات Langchain LLM	الوثائق
كومة قش	آثار تسجيل لجميع مكالمات كومة القش	الوثائق
الإنسان	آثار تسجيل لجميع مكالمات LLM البشرية	الوثائق
صخرة	آثار سجل لجميع مكالمات الأساس LLM	الوثائق
كرواي	آثار تسجيل لجميع مكالمات Crewai	الوثائق
ديبسيك	آثار تسجيل لجميع مكالمات Deepseek LLM	الوثائق
DSPY	آثار تسجيل لجميع عمليات DSPY	الوثائق
تَوأَم	آثار تسجيل لجميع مكالمات Gemini LLM	الوثائق
جروك	آثار تسجيل لجميع مكالمات Groq LLM	الوثائق
الدرابزين	آثار تسجيل لجميع عمليات التحقق من صحة الدرابزين	الوثائق
Langgraph	آثار تسجيل لجميع عمليات إعدام Langgraph	الوثائق
llamaindex	آثار تسجيل لجميع مكالمات Llamaindex LLM	الوثائق
أولاما	آثار تسجيل لجميع مكالمات Ollama LLM	الوثائق
predibase	صقل وخدمة نماذج لغة كبيرة مفتوحة المصدر	الوثائق
راجاس	إطار التقييم لخطوط أنابيب الجيل المعزز للاسترجاع (RAG)	الوثائق
واتسونكس	آثار تسجيل لجميع مكالمات Watsonx LLM	الوثائق

نصيحة

إذا لم يتم سرد الإطار الذي تستخدمه أعلاه ، فلا تتردد في فتح مشكلة أو إرسال علاقات عامة مع التكامل.

إذا كنت لا تستخدم أيًا من الأطر المذكورة أعلاه ، فيمكنك أيضًا استخدام Decorator track Function لتسجيل آثار:

 import opik

opik . configure ( use_local = True ) # Run locally

@ opik . track
def my_llm_function ( user_question : str ) -> str :
    # Your LLM code here

    return "Hello" 

نصيحة

يمكن استخدام ديكور المسار بالاقتران مع أي من عمليات تكاملنا ويمكن أيضًا استخدامه لتتبع مكالمات الوظائف المتداخلة.

؟ ‍⚖ LLM كقاضي مقاييس

يتضمن Python Opik SDK عددًا من LLM كقاضي مقاييس لمساعدتك في تقييم تطبيق LLM الخاص بك. تعرف على المزيد حول هذا الموضوع في وثائق المقاييس.

لاستخدامها ، ما عليك سوى استيراد المقياس ذي الصلة واستخدام وظيفة score :

 from opik . evaluation . metrics import Hallucination

metric = Hallucination ()
score = metric . score (
    input = "What is the capital of France?" ,
    output = "Paris" ,
    context = [ "France is a country in Europe." ]
)
print ( score )

يتضمن OPIK أيضًا عددًا من المقاييس الإرشادية التي تم بناؤها مسبقًا بالإضافة إلى القدرة على إنشاء خاص بك. تعرف على المزيد حول هذا الموضوع في وثائق المقاييس.

؟ تقييم تطبيق LLM الخاص بك

يتيح لك OPIK تقييم تطبيق LLM الخاص بك أثناء التطوير من خلال مجموعات البيانات والتجارب.

يمكنك أيضًا تشغيل التقييمات كجزء من خط أنابيب CI/CD باستخدام تكامل PYTest الخاص بنا.

نجمنا على جيثب

إذا وجدت OPIK مفيدة ، فيرجى التفكير في إعطائنا نجمة! مساعدتك يساعدنا على تنمية مجتمعنا ومواصلة تحسين المنتج.

؟ المساهمة

هناك العديد من الطرق للمساهمة في OPIK:

• إرسال تقارير الأخطاء وطلبات الميزات
• راجع الوثائق وأرسل طلبات السحب لتحسينها
• التحدث أو الكتابة عن Opik وإعلامنا
• طلب طلبات الميزات الشائعة لإظهار دعمكم

لمعرفة المزيد حول كيفية المساهمة في OPIK ، يرجى الاطلاع على إرشاداتنا المساهمة.