stormtrooper

stormtroopher

Composants d'apprentissage zéro / peu de tir pour les pipelines Scikit-Learn avec des modèles et transformateurs à grande langue.

Documentation

Nouveau en 1.0.0

Trooper

La toute nouvelle interface Trooper vous permet de ne pas avoir à spécifier le type de modèle que vous souhaitez utiliser. Stormtrooper détectera automatiquement le type de modèle à partir du nom spécifié.

 from stormtrooper import Trooper

# This loads a setfit model
model = Trooper ( "all-MiniLM-L6-v2" )

# This loads an OpenAI model
model = Trooper ( "gpt-4" )

# This loads a Text2Text model
model = Trooper ( "google/flan-t5-base" )

Classification unifiée zéro et à quelques coups

Vous n'avez plus à spécifier si un modèle doit être quelques-uns ou un classificateur à tirs zéro lors de l'initialisation. Si vous ne réussissez aucun exemple de formation, il sera automatiquement supposé que le modèle doit être zéro-shot.

 # This is a zero-shot model
model . fit ( None , [ "dog" , "cat" ])

# This is a few-shot model
model . fit ([ "he was a good boy" , "just lay down on my laptop" ], [ "dog" , "cat" ])

Types de modèles

Vous pouvez utiliser toutes sortes de modèles de transformateurs pour quelques et zéro-shot Classification dans Stormtrooper.

1. Instruction Modèles génératifs affinés, par exemple Trooper("HuggingFaceH4/zephyr-7b-beta")
2. Modèles d'encodeur avec setFit, par exemple Trooper("all-MiniLM-L6-v2")
3. Modèles text2text par exemple Trooper("google/flan-t5-base")
4. Modèles Openai, par exemple Trooper("gpt-4")
5. Modèles NLI par exemple Trooper("facebook/bart-large-mnli")

Exemple d'utilisation

Trouvez plus dans nos documents.

pip install stormtrooper

 from stormtrooper import Trooper

class_labels = [ "atheism/christianity" , "astronomy/space" ]
example_texts = [
    "God came down to earth to save us." ,
    "A new nebula was recently discovered in the proximity of the Oort cloud."
]
new_texts = [ "God bless the reailway workers" , "The frigate is ready to launch from the spaceport" ]

# Zero-shot classification
model = Trooper ( "google/flan-t5-base" )
model . fit ( None , class_labels )
model . predict ( new_texts )
# ["atheism/christianity", "astronomy/space"]

# Few-shot classification
model = Trooper ( "google/flan-t5-base" )
model . fit ( example_texts , class_labels )
model . predict ( new_texts )
# ["atheism/christianity", "astronomy/space"]

Correspondance floue

Les modèles génératifs et text2text par défaut seront les résultats Fuzzy Fuzzy à l'étiquette de classe la plus proche, vous pouvez désactiver ce comportement en spécifiant fuzzy_match=False .

Si vous voulez une accélération de correspondance floue, vous devez installer python-Levenshtein .

Inférence sur le GPU

À partir de la version 0.2.2, vous pouvez exécuter des modèles sur GPU. Vous pouvez spécifier l'appareil lors de l'initialisation d'un modèle:

 classifier = Trooper ( "all-MiniLM-L6-v2" , device = "cuda:0" )

Inférence sur plusieurs GPU

Vous pouvez exécuter un modèle sur plusieurs périphériques dans l'ordre de la priorité de périphérique GPU -> CPU + Ram -> Disk et sur plusieurs périphériques en utilisant l'argument device_map . Notez que cela ne fonctionne qu'avec Text2Text et des modèles génératifs.

 model = Trooper("HuggingFaceH4/zephyr-7b-beta", device_map="auto")