stormtrooper

Stormtrooper

Komponen pembelajaran nol/beberapa bidikan untuk pipa scikit-learn dengan model dan transformator berbahasa besar.

Dokumentasi

Baru di 1.0.0

Trooper

Antarmuka Trooper baru memungkinkan Anda untuk tidak harus menentukan jenis model apa yang ingin Anda gunakan. Stormtrooper akan secara otomatis mendeteksi tipe model dari nama yang ditentukan.

 from stormtrooper import Trooper

# This loads a setfit model
model = Trooper ( "all-MiniLM-L6-v2" )

# This loads an OpenAI model
model = Trooper ( "gpt-4" )

# This loads a Text2Text model
model = Trooper ( "google/flan-t5-base" )

Klasifikasi nol dan beberapa shot terpadu

Anda tidak lagi harus menentukan apakah suatu model harus beberapa atau classifier nol-shot saat menginisialisasi. Jika Anda tidak memberikan contoh pelatihan apa pun, itu akan secara otomatis diasumsikan bahwa model harus menjadi nol-tembakan.

 # This is a zero-shot model
model . fit ( None , [ "dog" , "cat" ])

# This is a few-shot model
model . fit ([ "he was a good boy" , "just lay down on my laptop" ], [ "dog" , "cat" ])

Jenis Model

Anda dapat menggunakan semua jenis model transformator untuk beberapa dan klasifikasi nol-shot di Stormtrooper.

1. Instruksi model generatif yang disempurnakan, misalnya Trooper("HuggingFaceH4/zephyr-7b-beta")
2. Model Encoder dengan SetFit, misalnya Trooper("all-MiniLM-L6-v2")
3. Text2Text Model EG Trooper("google/flan-t5-base")
4. Model Openai misalnya Trooper("gpt-4")
5. NLI Model EG Trooper("facebook/bart-large-mnli")

Contoh penggunaan

Temukan lebih banyak di dokumen kami.

pip install stormtrooper

 from stormtrooper import Trooper

class_labels = [ "atheism/christianity" , "astronomy/space" ]
example_texts = [
    "God came down to earth to save us." ,
    "A new nebula was recently discovered in the proximity of the Oort cloud."
]
new_texts = [ "God bless the reailway workers" , "The frigate is ready to launch from the spaceport" ]

# Zero-shot classification
model = Trooper ( "google/flan-t5-base" )
model . fit ( None , class_labels )
model . predict ( new_texts )
# ["atheism/christianity", "astronomy/space"]

# Few-shot classification
model = Trooper ( "google/flan-t5-base" )
model . fit ( example_texts , class_labels )
model . predict ( new_texts )
# ["atheism/christianity", "astronomy/space"]

Pencocokan fuzzy

Model Generatif dan Text2Text Secara default akan mencocokkan hasil dengan label kelas terdekat, Anda dapat menonaktifkan perilaku ini dengan menentukan fuzzy_match=False .

Jika Anda ingin speedup pencocokan fuzzy, Anda harus menginstal python-Levenshtein .

Inferensi tentang GPU

Dari versi 0.2.2 Anda dapat menjalankan model di GPU. Anda dapat menentukan perangkat saat menginisialisasi model:

 classifier = Trooper ( "all-MiniLM-L6-v2" , device = "cuda:0" )

Kesimpulan di beberapa GPU

Anda dapat menjalankan model pada beberapa perangkat dalam urutan prioritas perangkat GPU -> CPU + Ram -> Disk dan pada beberapa perangkat dengan menggunakan argumen device_map . Perhatikan bahwa ini hanya berfungsi dengan model Text2Text dan generatif.

 model = Trooper("HuggingFaceH4/zephyr-7b-beta", device_map="auto")