dolly expert lite

عنوان	app_file	SDK	sdk_version
دولي-باني	app.py	غراد	3.34.0

دوللي-expert-lite

مساعد يعمل بذات الأوزان الخفيفة في Dolly-V2 يمكنه الإجابة على الأسئلة الخاصة بالمجال والاحتفاظ بمحادثة. إنها أنظمة الخبراء في عصر LLMS.

التقديم إلى "So You Think You Can Hack": Open Source LLMS (على سبيل المثال ، OpenAssistant ، MPT ، Dolly ، إلخ) DevPost Hackathon.

• Dolly Expert Builder @ Huggingface Spaces
• دفتر Databricks المنشور
• دفتر Jupyter - إصدار Github

إلهام

أنظمة الخبراء

اعتادت أنظمة الخبراء لتكون كبيرة في الذكاء الاصطناعي. إنها تحاكي قدرات صنع القرار لخبير بشري في مجال معين ويمكن أن توفر قيمة كبيرة في العديد من حالات الاستخدام. كان العيب الرئيسي لأنظمة خبراء المدارس القديمة هو أنه يجب برمجته باستخدام بيانات منطقية أو منطق مماثل ، مع قضاء وقت وموارد كبيرة. في العديد من المناسبات ، هزم هذا النهج الغرض من وجود خبير متاح بسهولة للمهمة المطروحة.

مغلق المصدر LLMS

تعد تطبيقات LLM المغلقة مثل ChatGPT3.5 و ChatGPT-4 نماذج عملاقة جيدة جدًا من المهام. لديهم قيود مثل الهلوسة عندما لا يعرفون كيفية الاستجابة أو عندما تكون الإجابة عبر الإنترنت ولا يمكنهم الوصول إلى الإنترنت أو الملفات. في بعض الأحيان ، سيتم إخبار هذه الهلوسة بطرق مقنعة للغاية ، وكلما حاول المرء تنفيذها ، سوف يتحول إلى كاذبة أو غير صحيحة. تحتوي هذه النماذج على نوافذ سياق هائلة حتى يتمكن الأشخاص من مساعدتهم على القيام بأي مهمة يكافحون من خلال توفير الكثير من المعلومات وتنفيذ تقنيات الهندسة السريعة. هذا يجعل أكثر من واحد يعتقد أن الشركات الكبرى التي لديها رمز مصدر مغلق فقط يمكنها تطوير ونشر تطبيقات LLM.

ماذا تفعل

يقوم Dolly Expert Lite بتزويد Dolly-V2-3B ، الإصدار الخفيف من Dolly-V2-12B ، وهو نموذج لغة كبير مفتوح المصدر (LLM) للإجابة على الأسئلة الخاصة بالمجال باستخدام استرجاع قواعد بيانات المتجهات المخصصة. في هذا المثال النشر ، يسترجع Dolly-Expert-Builder المعلومات من رمز بناء أونتاريو (كندا) للإجابة على أسئلة محددة حول البناء والسباكة والأسلاك الكهربائية والتهوية وفقًا لقانون الحكومة الرسمي. يمكن أن يوفر Dolly-Expert-Builder معلومات متماسكة وصحيحة من الناحية الواقعية مع مصادر ويمكن أن تكون بمثابة إرشادات مناسبة للتجار (السباكين ، والكهربائيين ، والميكانيكيين ، وبناة المنازل) بالإضافة إلى المهندسين والمهندسين المعماريين للمساعدة في الامتثال التنظيمي أثناء أداء العمل.

باتباع هذه الطريقة ، يمكن للأفراد والمؤسسات استخدام بياناتهم المحلية لجعل مساعدي الخبراء قادرين على الإجابة على الأسئلة الخاصة بالمجال. تشمل حالات الاستخدام الممكنة:

• تهجئة المتطلبات التنظيمية/القانونية
• الدعم على متن الطائرة والتدريب
• شرح أنظمة الجودة
• مراجعات الأدب
• البحث عن الوثائق

كيف بنيناها

• النموذج: Dolly-V2-3b لتجسيد التطوير والنشر خفيفة الوزن
• الإطار: لانجشين لجعل سلسلة الإجابة على الأسئلة وبسبب تكاملها مع chromadb
• تضمينات النص: تضمينات نصية عن طريق التدريب المتناقض بشكل ضعيف (E5-Base-V2). بسبب درجاتها العالية في مهام الاسترجاع وفقًا للوحة المتصدرين الإنجليزية MTEB
• رمز بناء أونتاريو (كندا): لتقديم مثال على كيفية استفادة العمال غير التقنيين من تطبيقات LLM. ليس من السهل التنقل في صفحة التعليمات البرمجية لأن الأقسام تتم تسمية "القسم 1" ، "القسم 2" ... ، "القسم 14". استخدم موقع الويب الخاص بهم لتحليله وتحويله إلى متجر المتجهات.
• متجه متجر: chromadb
• النشر: مساحات Huggingface و Gradio. النشر المتاح هنا: Dolly Expert Builder

التحديات التي واجهناها

نظرًا لأن الأدوات جديدة جدًا ، فإن بعض الاختلافات من حالات الاستخدام القياسية تسبب أخطاء. على سبيل المثال:

• عدم استخدام الذاكرة والمصادر في نفس سلسلة الإجابة على السؤال في لانجشين. تم تنفيذ حل بديل من خلال إنشاء فئة ورثت من فئة الذاكرة.
• خطأ عند تنظيف الويب باستخدام LiteMaps أثناء وجودك على دفتر Jupyter. يمكن التحايل على تطبيق حلول nest_asyncio.
• قاعدة بيانات المتجهات لا يتم تحميلها. قضية أخرى للتطوير المبكرة ، تم حفظها جزئيًا عند استخدامها في persists_directory في تهيئة Chromadb ولن يتم تحميلها لاحقًا في مثيل منفصل لأنه لم يتم استدعاء طريقة .persists (). كان يجب إعادة تشكيل هذا وارتكابها مرة أخرى لتوفير قاعدة البيانات في النهاية.
• تطبيق Gradio لا يتم إطلاقه على دفتر Jupyter Notebook. غيّر الحلبة السابقة التثبيت المحلي لـ Asyncio ، وهو متطلب Gradio ، مما يجعله غير قابل للاستخدام خلال نفس وقت التشغيل. لتجنب ذلك ، تم إجراء قاعدة بيانات المتجهات في دفتر ملاحظات منفصل وملتزم بإعادة الريبو.
• استنتاج بطيء جدا على وحدة المعالجة المركزية. نظرًا لعدم وجود نماذج dolly كمية رسمية متوفرة ، فإن استخدام وحدة المعالجة المركزية للاستدلال كان لم زمن انتقال مرتفع للغاية. لقد نفدت أيضًا من Databricks Trial Trial بحلول وقت التقديم. لحسن الحظ ، كان الرمز وظيفيًا بحلول ذلك الوقت وتمكنت من نشر واختبار عبر الإنترنت على مساحة T4-Small.

الإنجازات التي نحن فخورون بها

أن تكون قادرًا على صنع نموذج أولي وظيفي خفيف الوزن لتطبيق LLM باستخدام نموذج مفتوح المصدر مثل Dolly ونشره كمساحة معانقة. أن تكون قادرًا على إظهار أن تطبيقات LLM مخصصة للجميع وأن النظام الإيكولوجي مفتوح المصدر قادر بنفس القدر مثل رواد المصدر المغلق.

ما تعلمناه

فيما يتعلق بمعرفة تطوير البرمجيات العامة ، تعلمت استكشاف الحزم المتضاربة مع بعضها البعض ، وعلمت أنه يجب إعادة تشغيل Python اعتمادًا على التبعيات التي يتم تثبيتها أو أنه من الأفضل أحيانًا تقسيم المهام بدلاً من محاولة القيام بكل شيء مرة واحدة. لقد تعلمت أيضًا أساسيات Gradio لتتمكن من عمل التطبيق. والأهم من ذلك ، لقد تعلمت التنقل بشكل أفضل في مشكلات GitHub و ScackOverflow Costs للعثور على حلول للمشاكل التي واجهتها.

فيما يتعلق بالمعرفة المتعلقة بـ LLM ، تعلمت عن أهمية الهندسة السريعة وكيف يمكن أن تحسن نتائج الاستدلال بشكل كبير ، تعلمت التنقل في مصطلحات معالجة اللغة الطبيعية (NLP) أكثر من ذلك بكثير ، وتعلمت عن أنواع ذاكرة سلسلة الأسئلة. لقد تعلمت أيضًا أن النماذج المفتوحة المصدر تمنح إمكانية تطوير تطبيقات LLM ونشرها على من يهتم ويضع في الوقت المناسب للبحث في الوثائق واستكشاف الأخطاء وإصلاحها أو حل المشكلات الحالية.

ما هو التالي ل Dolly Expert Lite

• متعدد اللغات: بالنسبة للتكرار التالي لخبراء Dolly Lite ، أود التجربة ومعرفة ما إذا كان بإمكاني الحصول على نتائج جيدة جعل متاجر المتجهات باستخدام المعلومات بلغات أخرى وتضمينات متعددة اللغات. هذا من شأنه أن يمكّن تطوير تطبيقات أخرى غير شائعة ، لم يسبق له مثيل في البرامج التعليمية أو الأدلة الشعبية. على سبيل المثال ، أحد المساعدين القانونيين للمساعدة في التنقل في قانون العمل بالمكسيك ، أو مساعد الامتثال التنظيمي الذي يمكن أن يفسر الفرنسية الكندية.
• الأداء: لتحسين سرعة الاستدلال ، أود أن أنظر في صياغة Dolly لإجابة الأسئلة والتحقيق فيما إذا كانت هناك طريقة لتحديد الكمي الذي يمكنني استخدامه لمحاولة استخدام نموذج 12B أو 7B أثناء محاولة الحفاظ على أوقات استنتاج متسقة قصيرة نسبيًا. أنا مهتم أيضًا بالمكتبة الأمثل وأرغب في العمل على حالة استخدام لعصا Intel Neural Stick ، ​​والتي قد تكون بديلاً ميسور التكلفة للاستدلال المحلي.
• الذاكرة: أما بالنسبة للميزات الجديدة ، أود محاولة استخدام ذاكرة الرسم البياني المعرفة لتخزين عناصر المفاتيح في المحادثات ، مما يتيح استخدام الأدوات للحالات الأكثر تعقيدًا. على سبيل المثال ، توضيح ما إذا كان قد تم استيفاء متطلبات تنظيمية وإذا لم يكن الأمر كذلك ، فكيف يمكن تقسيم المتطلبات ووصفها لتنفيذها.