llm workbench

ارجع إلى https://neosheets.com (https://github.com/suhjohn/neosheets) ل V2 من هذه الفكرة.

LLM Workbench

https://www.llmwb.com/

طاولة عمل فائقة الشحن لـ LLMS. اختبار قوالب المطالبة من نماذج ومقدمي خدمات مختلفة مع مجموعات بيانات من الوسيطات السريعة لاستبدال العناصر النائبة.

مشكلة

لقد قمت ببناء ثلاثة chatbots من الذكاء الاصطناعي الآن. في هذه العملية ، اضطررت إلى إنشاء مجموعات فرعية من الميزات المدعومة من هذا التطبيق. لقد أردت أيضًا أن يكون لديك منصة بدون رمز لاختبار المطالبات لمختلف الوسائط لمعرفة كيفية عمل المطالبة.

أنا شخصياً لا أجد المكتبات المكلهة بالسيارات الجذابة-أريد الحصول على فحص لائق بما فيه الكفاية عبر مجموعة متنوعة من المعلمات.

أنا شخصياً لا أستخدم أي من مكتبات التجريد ولا أجدها مفيدة. ومع ذلك ، يبدو أن هناك أدوات صغيرة للأشخاص الذين يرغبون في مطالبات اختبار الخام.

لقد استلهمت من منصة Workbench الأخيرة في الأنثروبور وكأنها خطوة جيدة من ملعب Openai.

التطبيق يحل مشكلات المستخدم المحددة هذه:

• للحصول على موجه محدد LLM الذي يأخذ args: Record<string, string> كمعلمات موجهة ، أريد أن أكون قادرًا على اختبار معلمات نموذج مختلفة.
• بالنسبة إلى propmt LLM محددة ، أريد اختبار مجموعات مختلفة من المعلمات السريعة ، وربما حالة سعيدة ، أو الحالات التي رأيتها تفشل بطريقة أو بأخرى.
• بالنسبة لمجموعة محددة من المعلمات المذهلة ، أريد اختبار مطالبات LLM المختلفة للقيام بفحص أجواء على مخرجاتها.
• (يبدو أن مقدمي الخدمات لديهم معلمات افتراضية مختلفة خاصة بالنسبة لنماذج المصدر المفتوح) أريد اختبار نفس النموذج الموجه + لمقدمي الخدمات المختلفين لفهم سلوكهم
• أرغب في مشاهدة تاريخ عمليات التشغيل المتعددة لمجموعة محددة من المعلمة التي قدمتها.

سمات

1. قم بإنشاء "قوالب": رسائل / مطالبات RAW التي تستخدم {{ }} للإشارة إلى المتغيرات باستخدام Matache.js.
2. قم بإنشاء "مجموعات بيانات": قم بإنشاء قائمة بالمتغيرات التي تريد اختبار القوالب عليها.
3. دعم جميع المعلمات: تكون قادرًا على إدخال جميع المعلمات المتاحة لواجهة برمجة التطبيقات المختلفة وكذلك على واجهة المستخدم. لقد وجدت أن الكثير من أدوات الملعب شبه الاحترافية لا تدعم المعلمات مثل الأدوات أو Logit_Bias. تم تصميم المشروع ليكون قادرًا على توسيع معلمات جديدة بسهولة عند إضافتها من قبل مقدمي الخدمات.
4. دعم جميع مقدمي الخدمات ذات معنى في النظام البيئي:

• Openai
• الإنسان
• تَوأَم
• معاً
• AWS Bedrock
• أزور
• anyscale
• جروك
• OpenRouter
• واجهات برمجة التطبيقات المعرفة من قبل المستخدم

تودو

1. المدخلات اليدوية للحجج السريعة مثل JSON
2. استيراد CSV
3. مطالبات التحكم في الإصدار ومجموعات البيانات
4. مقدمي الخدمات المخصصين والموديلات المخصصة
5. إدخال متعدد الوسائط + معلمات
6. تبديل الأعمدة المرئية + إظهار المدخلات المترجمة
7. المطالبات الافتراضية + مشاركة البيانات

حماية

يتم تخزين القوالب / مجموعات البيانات / مفاتيح واجهة برمجة التطبيقات التي تضيفها على موقع الويب محليًا فقط على متصفحك.

الجري محليا

LLM Workbench حتى الآن هو مجرد تطبيق Next.js. على افتراض أن لديك غزل ، يمكنك الجري مع ما يلي:

 yarn
yarn dev