stormtrooper

Stormtrooper

Null/wenige Schuss-Lernkomponenten für Scikit-Learn-Pipelines mit großsprachigen Modellen und Transformatoren.

Dokumentation

Neu in 1.0.0

Trooper

Mit der brandneuen Trooper müssen Sie nicht angeben, welchen Modelltyp Sie verwenden möchten. Stormtrooper erkennt den Modelltyp automatisch aus dem angegebenen Namen.

 from stormtrooper import Trooper

# This loads a setfit model
model = Trooper ( "all-MiniLM-L6-v2" )

# This loads an OpenAI model
model = Trooper ( "gpt-4" )

# This loads a Text2Text model
model = Trooper ( "google/flan-t5-base" )

Einheitliche Klassifizierung von Null- und wenigen Shots

Sie müssen nicht mehr angeben, ob ein Modell bei der Initialisierung einiger oder ein Klassifizierer mit Nullschotten sein sollte. Wenn Sie keine Schulungsbeispiele verabschieden, wird automatisch angenommen, dass das Modell null Schuss sein sollte.

 # This is a zero-shot model
model . fit ( None , [ "dog" , "cat" ])

# This is a few-shot model
model . fit ([ "he was a good boy" , "just lay down on my laptop" ], [ "dog" , "cat" ])

Modelltypen

Sie können alle Arten von Transformatormodellen für nur wenige und null-Shot-Klassifizierung in Stormtrooper verwenden.

1. Befehl fein abgestimmte generative Modelle, z Trooper("HuggingFaceH4/zephyr-7b-beta")
2. Encodermodelle mit SetFit, z Trooper("all-MiniLM-L6-v2")
3. Text2Text-Modelle zB Trooper("google/flan-t5-base")
4. OpenAI-Modelle zB Trooper("gpt-4")
5. NLI-Modelle z Trooper("facebook/bart-large-mnli")

Beispiel Verwendung

Finden Sie mehr in unseren Dokumenten.

pip install stormtrooper

 from stormtrooper import Trooper

class_labels = [ "atheism/christianity" , "astronomy/space" ]
example_texts = [
    "God came down to earth to save us." ,
    "A new nebula was recently discovered in the proximity of the Oort cloud."
]
new_texts = [ "God bless the reailway workers" , "The frigate is ready to launch from the spaceport" ]

# Zero-shot classification
model = Trooper ( "google/flan-t5-base" )
model . fit ( None , class_labels )
model . predict ( new_texts )
# ["atheism/christianity", "astronomy/space"]

# Few-shot classification
model = Trooper ( "google/flan-t5-base" )
model . fit ( example_texts , class_labels )
model . predict ( new_texts )
# ["atheism/christianity", "astronomy/space"]

Fuzzy Matching

Generative und Text2Text -Modelle standardmäßig stimmen die Ergebnisse der Ergebnisse mit der nächstgelegenen Klassenkennzeichnung über. Sie können dieses Verhalten deaktivieren, indem Sie fuzzy_match=False angeben.

Wenn Sie Fuzzy-passende Geschwindigkeit wünschen, sollten Sie python-Levenshtein installieren.

Schlussfolgerung bei GPU

Aus Version 0.2.2 können Sie Modelle auf GPU ausführen. Sie können das Gerät bei der Initialisierung eines Modells angeben:

 classifier = Trooper ( "all-MiniLM-L6-v2" , device = "cuda:0" )

Schlussfolgerung auf mehrere GPUs

Sie können ein Modell auf mehreren Geräten in der Reihenfolge der Geräte -Prioritäts GPU -> CPU + Ram -> Disk und auf mehreren Geräten ausführen, indem Sie das Argument device_map verwenden. Beachten Sie, dass dies nur mit Text2Text- und Generativmodellen funktioniert.

 model = Trooper("HuggingFaceH4/zephyr-7b-beta", device_map="auto")