spacy llm
v0.7.2: Support for Python 3.12 and a Torch-related bugfix
تدمج هذه الحزمة نماذج لغة كبيرة (LLMS) في Spacy ، والتي تتميز بنظام معياري للنماذج الأولية السريعة والحث ، وتحويل الاستجابات غير المنظمة إلى مخرجات قوية لمهام NLP المختلفة ، لا توجد بيانات تدريب مطلوبة.
llm قابل للتسلسل لدمج المطالبات في خط أنابيب Spacy الخاص بكlangchain في spacy-llmتتميز نماذج اللغة الكبيرة (LLMS) بقدرات قوية لفهم اللغة الطبيعية. مع وجود عدد قليل من الأمثلة (وأحيانًا لا) ، يمكن مطالبة LLM بأداء مهام NLP مخصصة مثل تصنيف النص ، والتعرف على الكيان المسمى ، وقرار المؤتمر الأساسي ، واستخراج المعلومات والمزيد.
Spacy هي مكتبة راسخة لأنظمة بناء أنظمة تحتاج إلى العمل مع اللغة بطرق مختلفة. يتم تشغيل المكونات المدمجة لـ Spacy بشكل عام من خلال التعلم الخاضع للإشراف أو الأساليب القائمة على القواعد.
التعلم الخاضع للإشراف هو أسوأ بكثير من LLM الذي يدفع النماذج الأولية ، ولكن بالنسبة للعديد من المهام ، من الأفضل للإنتاج. يعد نموذج المحولات الذي يعمل بشكل مريح على وحدة معالجة الرسومات الواحدة قوية للغاية ، ومن المحتمل أن يكون اختيارًا أفضل لأي مهمة يكون لديك إخراج محدد جيدًا من أجله. تقوم بتدريب النموذج بأي شيء من بضع مئات إلى بضعة آلاف من الأمثلة المسمى ، وسوف يتعلم القيام بذلك بالضبط. الكفاءة والموثوقية والتحكم كلها أفضل مع التعلم الخاضع للإشراف ، وستكون الدقة أعلى بشكل عام من LLM التي تقدم أيضًا.
يتيح لك spacy-llm الحصول على أفضل ما في العالمين . يمكنك تهيئة خط أنابيب بسرعة مع مكونات مدعومة من مطالبات LLM ، والخلط بحرية في المكونات التي تعمل بنهج أخرى. مع تقدم مشروعك ، يمكنك النظر في استبدال بعض أو كل المكونات التي تعمل بالطاقة LLM كما تحتاج.
بالطبع ، يمكن أن تكون هناك مكونات في نظامك والتي تبرر قوة LLM من أجلها. إذا كنت تريد نظامًا يمكنه تصنيع المعلومات من مستندات متعددة بطرق خفية وإنشاء ملخص دقيق لك ، فمن الأفضل. ومع ذلك ، حتى إذا كان نظام الإنتاج الخاص بك يحتاج إلى LLM لبعض المهمة ، فهذا لا يعني أنك بحاجة إلى LLM لكل ذلك. ربما تريد استخدام نموذج تصنيف نص رخيص لمساعدتك في العثور على النصوص لتلخيصها ، أو ربما تريد إضافة نظام قائم على القواعد إلى العقلانية تحقق من إخراج الملخص. هذه المهام قبل وبعد أن تكون أسهل بكثير مع مكتبة ناضجة ومدروسة جيدًا ، وهو ما توفره Spacy بالضبط.
سيتم تثبيت spacy-llm تلقائيًا في إصدارات Spacy المستقبلية. في الوقت الحالي ، يمكنك تشغيل ما يلي في نفس البيئة الافتراضية حيث قمت بالفعل بتثبيت spacy .
python -m pip install spacy-llm
️ لا تزال هذه الحزمة تجريبية ومن الممكن أن تكون التغييرات التي تم إجراؤها على الواجهة تحطم تحديثات الإصدار البسيطة.
دعنا ندير بعض تصنيف النص باستخدام نموذج GPT من Openai.
قم بإنشاء مفتاح API جديد من Openai.com أو إحضار مفتاح موجود ، وتأكد من تعيين المفاتيح كمتغيرات بيئية. لمزيد من المعلومات الأساسية ، راجع الوثائق حول إعداد مفاتيح API.
للقيام ببعض التجارب السريعة ، من 0.5.0 فصاعدًا ، يمكنك تشغيل:
import spacy
nlp = spacy . blank ( "en" )
llm = nlp . add_pipe ( "llm_textcat" )
llm . add_label ( "INSULT" )
llm . add_label ( "COMPLIMENT" )
doc = nlp ( "You look gorgeous!" )
print ( doc . cats )
# {"COMPLIMENT": 1.0, "INSULT": 0.0} باستخدام مصنع llm_textcat ، يتم استخدام أحدث إصدار من مهمة TextCat المدمجة ، بالإضافة إلى طراز GPT-3-5 الافتراضي من Openai.
للتحكم في المعلمات المختلفة لخط أنابيب llm ، يمكننا استخدام نظام تكوين Spacy. للبدء ، قم بإنشاء ملف config config.cfg يحتوي على ما يلي على الأقل (أو انظر المثال الكامل هنا):
[nlp]
lang = " en "
pipeline = [ " llm " ]
[components]
[components.llm]
factory = " llm "
[components.llm.task]
@ llm_tasks = " spacy.TextCat.v3 "
labels = [ " COMPLIMENT " , " INSULT " ]
[components.llm.model]
@ llm_models = " spacy.GPT-4.v2 "الآن قم بالتشغيل:
from spacy_llm . util import assemble
nlp = assemble ( "config.cfg" )
doc = nlp ( "You look gorgeous!" )
print ( doc . cats )
# {"COMPLIMENT": 1.0, "INSULT": 0.0}هذا كل شيء! هناك الكثير من الميزات الأخرى-القدر السريع ، والمزيد من المهام ، وتسجيله ، وما إلى ذلك لمزيد من المعلومات حول كيفية استخدامها ، تحقق من https://spacy.io/api/large-language-models.
في المستقبل القريب ، سنفعل
PRS دائما موضع ترحيب!
إذا كانت لديك أسئلة بخصوص استخدام spacy-llm ، أو تريد أن تعطينا ملاحظات بعد إعطائها تدور ، فيرجى استخدام لوحة المناقشة. يمكن تقديم تقارير الأخطاء على تعقب قضية Spacy. شكرًا لك!
يرجى الرجوع إلى دليل الترحيل الخاص بنا.
