stormtrooper

Stormtrooper

Zero/عدد قليل من مكونات التعلم اللقطة لخطوط أنابيب Scikit-Learn مع نماذج ومحولات بلغة كبيرة.

الوثائق

جديد في 1.0.0

Trooper

تتيح لك واجهة Trooper الجديدة بعدم الاضطرار إلى تحديد نوع الطراز الذي ترغب في استخدامه. ستقوم StormtRooper باكتشاف نوع الطراز تلقائيًا من الاسم المحدد.

 from stormtrooper import Trooper

# This loads a setfit model
model = Trooper ( "all-MiniLM-L6-v2" )

# This loads an OpenAI model
model = Trooper ( "gpt-4" )

# This loads a Text2Text model
model = Trooper ( "google/flan-t5-base" )

تصنيف صفر موحد ومسافة قليلة

لم يعد عليك تحديد ما إذا كان يجب أن يكون النموذج قليلًا أو مصنفًا صفريًا عند تهيئته. إذا لم تقم بتمرير أي أمثلة تدريبية ، فسيتم افتراض أن النموذج يجب أن يكون صفراً.

 # This is a zero-shot model
model . fit ( None , [ "dog" , "cat" ])

# This is a few-shot model
model . fit ([ "he was a good boy" , "just lay down on my laptop" ], [ "dog" , "cat" ])

أنواع النماذج

يمكنك استخدام جميع أنواع نماذج المحولات لعدد قليل من التصنيف الصفر في Stormtrooper.

1. تعليمات نماذج توليمية تم ضبطها ، مثل Trooper("HuggingFaceH4/zephyr-7b-beta")
2. نماذج التشفير مع setFit ، مثل Trooper("all-MiniLM-L6-v2")
3. Text2Text Models على سبيل المثال Trooper("google/flan-t5-base")
4. نماذج Openai مثل Trooper("gpt-4")
5. نماذج NLI مثل Trooper("facebook/bart-large-mnli")

مثال الاستخدام

ابحث عن المزيد في مستنداتنا.

pip install stormtrooper

 from stormtrooper import Trooper

class_labels = [ "atheism/christianity" , "astronomy/space" ]
example_texts = [
    "God came down to earth to save us." ,
    "A new nebula was recently discovered in the proximity of the Oort cloud."
]
new_texts = [ "God bless the reailway workers" , "The frigate is ready to launch from the spaceport" ]

# Zero-shot classification
model = Trooper ( "google/flan-t5-base" )
model . fit ( None , class_labels )
model . predict ( new_texts )
# ["atheism/christianity", "astronomy/space"]

# Few-shot classification
model = Trooper ( "google/flan-t5-base" )
model . fit ( example_texts , class_labels )
model . predict ( new_texts )
# ["atheism/christianity", "astronomy/space"]

مطابقة غامضة

سوف نماذج النماذج العامة والنص بشكل افتراضي نتائج مطابقة غامضة إلى أقرب تسمية فئة ، يمكنك تعطيل هذا السلوك عن طريق تحديد fuzzy_match=False .

إذا كنت تريد تسريع مطابقة غامض ، فيجب عليك تثبيت python-Levenshtein .

الاستنتاج على GPU

من الإصدار 0.2.2 يمكنك تشغيل النماذج على GPU. يمكنك تحديد الجهاز عند تهيئة النموذج:

 classifier = Trooper ( "all-MiniLM-L6-v2" , device = "cuda:0" )

الاستدلال على وحدات معالجة الرسومات المتعددة

يمكنك تشغيل نموذج على أجهزة متعددة بترتيب أولوية GPU -> CPU + Ram -> Disk وعلى أجهزة متعددة باستخدام وسيطة device_map . لاحظ أن هذا لا يعمل إلا مع نص Text2Text والموديلات التوليدية.

 model = Trooper("HuggingFaceH4/zephyr-7b-beta", device_map="auto")