Local LLM Langchain

دفتر الملاحظات المحلية LLMS

الهدف من هذا المشروع هو السماح للمستخدمين بتحميل نماذج اللغة المستضافة محليًا بسهولة في دفتر ملاحظات للاختبار مع Langchain. هناك حاليا ثلاثة دفاتر الملاحظات المتاحة. يستخدم اثنان منهم واجهة برمجة التطبيقات لإنشاء غلاف Langchain LLM مخصص - واحد ل Generation Web Oobabooga والآخر لـ Koboldai. يقوم دفتر الملاحظات الثالث بتحميل النماذج بدون واجهة برمجة التطبيقات عن طريق الاستفادة من البيئة الافتراضية للأناقة والوحدات النمطية في Oobabooga.

سوف ينتهي بك المطاف بمثيل من غلاف LLM المخصص الذي يمكن استخدامه لإنشاء النص:

llm("prompt goes here")

يمكنك استخدام هذا بدلاً من فئة Openai LLM التي تراها تستخدم في معظم الأدلة والوثائق.

ابدء

يرجى اتباع تعليمات الإعداد لواجهة برمجة التطبيقات المقدمة في مستودعاتهم. ما عليك سوى تحديث متغير عنوان URL باستخدام عنوان url API الخاص بك ، ثم قم بتشغيل الخلايا لإنشاء مثيل لفريق LLM المخصص.

خريطة الطريق

يعد استخدام واجهة برمجة التطبيقات الآن طريقتي المفضلة لتحميل النماذج. أخطط لتحسين فصول API/دفاتر الملاحظات ، لكن في الوقت الحالي ، تعمل بشكل جيد. سأترك الأشياء غير API في الوقت الحالي ، لكنني لن أحافظ عليها بنشاط في المستقبل ، لذلك قد تنكسر الأمور.

تعليمات دفتر غير APII:

1. تنشيط بيئة بيثون أو كوندا.
2. قم بتثبيت دفتر Jupyter عن طريق تشغيل pip install jupyter في موجه أو محطة الأوامر المفضلة لديك.
3. أعد تشغيل موجه أو محطة الأوامر الخاصة بك للتأكد من تكوين التثبيت بشكل صحيح.
4. قم بتنشيط بيئة Python أو Conda مرة أخرى وقم بتشغيل jupyter notebook في موجه أو محطة الأوامر لبدء واجهة Jupyter.
5. انتقل إلى الدليل حيث يوجد Non-API-Notebook.ipynb ( ./text-generation-webui/ مستخدمو OOBA.