langkit
v0.0.35
Langkit هي مجموعة أدوات مقاييس النص مفتوحة المصدر لمراقبة نماذج لغة. يوفر مجموعة من الطرق لاستخراج الإشارات ذات الصلة من نص الإدخال و/أو الإخراج ، والتي تتوافق مع مكتبة تسجيل البيانات مفتوحة المصدر Whylogs.
تريد تجربة لانغكيت؟ انتقل إلى هذا الكمبيوتر الدفتري!
يأتي إنتاج نماذج اللغة ، بما في ذلك LLMS ، مع مجموعة من المخاطر بسبب الكمية اللانهائية من مجموعات المدخلات ، والتي يمكن أن تثير كمية لا حصر لها من المخرجات. تشكل الطبيعة غير المهيكلة للنص تحديًا في مجال الملاحظة ML - وهو تحد يستحق الحل ، لأن الافتقار إلى الرؤية على سلوك النموذج يمكن أن يكون له عواقب وخيمة.
تشمل مقاييس خارج الصندوق:
لتثبيت Langkit ، استخدم فهرس Python Package (PYPI) على النحو التالي:
pip install langkit[all]
تحتوي وحدات Langkit على UDFs التي تقوم تلقائيًا بتسليم مجموعة UDFs على ميزات السلسلة التي توفرها WhyLogs افتراضيًا. كل ما يتعين علينا فعله هو استيراد وحدات Langkit ثم إنشاء مخطط مخصص كما هو موضح في المثال أدناه.
import whylogs as why
from langkit import llm_metrics
results = why . log ({ "prompt" : "Hello!" , "response" : "World!" }, schema = llm_metrics . init ())سينتج الكود أعلاه مجموعة من المقاييس التي تتألف من مقاييس Whylogs الافتراضية لميزات النص وجميع المقاييس المحددة في الوحدات المستوردة. يمكن تصور هذا الملف الشخصي ومراقبته في منصة WHYLABS أو يمكن تحليلها من قبل المستخدم من تلقاء نفسها.
المزيد من الأمثلة متوفرة هنا.
يمكنك الحصول على مزيد من المعلومات حول الوحدات المختلفة ومقاييسها هنا.
| نوع مثيل AWS | وحدة قياس | إنتاجية |
|---|---|---|
| C5.xlarge | مقاييس الضوء | 2335 الدردشة/ثانية |
| مقاييس LLM | 8.2 الدردشات/ثانية | |
| كل المقاييس | 0.28 الدردشات/ثانية | |
| g4dn.xlarge | مقاييس الضوء | 2492 دردشات/ثانية |
| مقاييس LLM | 23.3 الدردشات/ثانية | |
| كل المقاييس | 1.79 الدردشات/ثانية |
يمكنك التحقق من بعض الأسئلة المتداولة في قسم الأسئلة الشائعة لدينا
