الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

المحولات برعاية

المحولات الحديثة ، من الطوب من الطوب

المحولات المنسقة هي مكتبة محولات ل Pytorch. يوفر نماذج حديثة تتكون من مجموعة من المكونات القابلة لإعادة الاستخدام. الميزات البارزة للمحول المنسق هي:

  • ⚡ يدعم نماذج المحولات الفنية ، بما في ذلك LLMs مثل Falcon و Llama و Dolly V2.
  • ؟ ‍؟ يتكون كل نموذج من مجموعة من لبنات البناء القابلة لإعادة الاستخدام ، مما يوفر العديد من الفوائد:
    • تنفيذ ميزة أو bugfix يفيد جميع النماذج. على سبيل المثال ، تدعم جميع الطرز الاستدلال 4/8 بت من خلال مكتبة bitsandbytes ويمكن لكل نموذج استخدام جهاز meta Pytorch لتجنب المخصصات غير الضرورية والتهيئة.
    • إضافة نماذج جديدة إلى المكتبة منخفضة الجهد.
    • هل تريد تجربة بنية محول جديدة؟ مشفر بيرت مع تضمينات دوارة؟ يمكنك أن تجعله في قرصة.
  • ؟ التعليقات التوضيحية من النوع المتسق لجميع واجهات برمجة التطبيقات العامة:
    • احصل على دعم ترميز كبير من IDE الخاص بك.
    • يتكامل بشكل جيد مع الكود الذي تم فحصه من النوع الحالي.
  • ؟ رائع للتعليم ، لأن لبنات البناء سهلة الدراسة.
  • ؟ الحد الأدنى من التبعيات.

تم اختبار الإنتاج من المحولات المنسقة عن طريق الانفجار وسيتم استخدامه كتطبيق المحول الافتراضي في Spacy 3.7.

؟ البنى النموذجية المدعومة

نماذج المشفر المدعومة فقط:

  • ألبرت
  • بيرت
  • جبن الكممبير
  • روبرتا
  • XLM-Roberta

نماذج Decoder-Onlyder فقط:

  • فالكون
  • GPT-NEOX
  • لاما 1/2
  • MPT

أغلفة المولد:

  • دوللي V2
  • فالكون
  • لاما 1/2
  • MPT

يمكن تحميل جميع أنواع النماذج من Huggingface Hub.

يتم توفير تكامل spacy للمحولات المنسقة من خلال حزمة spacy-curated-transformers .

⏳ تثبيت 

pip install curated-transformers

دعم CUDA

تم تصميم Build Linux الافتراضي لـ Pytorch بدعم CUDA 11.7. يجب عليك تثبيت بناء CUDA بشكل صريح في الحالات التالية:

  • إذا كنت ترغب في استخدام المحولات المنسقة على Windows.
  • إذا كنت ترغب في استخدام المحولات المنسقة على Linux مع وحدات معالجة الرسومات Ada-Generation. يدعم Bytorch Build القياسي ADA GPU ، ولكن يمكنك الحصول على تحسينات كبيرة في الأداء من خلال تثبيت Pytorch بدعم CUDA 11.8.

في كلتا الحالتين ، يمكنك تثبيت Pytorch مع: 

pip install torch --index-url https://download.pytorch.org/whl/cu118

مثال الاستخدام؟ 

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub( name = " tiiuae/falcon-7b-instruct " , device = torch.device( " cuda " ))
>>> generator([ " What is Python in one sentence? " , " What is Rust in one sentence? " ], GreedyGeneratorConfig())
['Python is a high-level programming language that is easy to learn and widely used for web development, data analysis, and automation.',
 'Rust is a programming language that is designed to be a safe, concurrent, and efficient replacement for C++.']

يمكنك العثور على المزيد من أمثلة الاستخدام في الوثائق. يمكنك أيضًا العثور على مثال على البرامج التي تستخدم المحولات المنسقة في دليل examples .

الوثائق

يمكنك قراءة المزيد حول كيفية استخدام المحولات المنسقة هنا:

  • نظرة عامة (التنمية)
  • الاستخدام (التنمية)
  • API (التنمية)

؟ ️ القياس

يدعم curated-transformers كمية ديناميكية 8 بت و 4 بت من النماذج من خلال الاستفادة من مكتبة bitsandbytes .

استخدم متغير القياس لتثبيت التبعيات اللازمة تلقائيًا: 

pip install curated-transformers[quantization]
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل