stormtrooper

ストームトルーパー

大規模モデルとトランスを備えたScikit-Learnパイプラインのゼロ/少数のショット学習コンポーネント。

ドキュメント

1.0.0で新品

Trooper

真新しいTrooperインターフェイスを使用すると、使用するモデルタイプを指定する必要がありません。 StormTrooperは、指定された名前からモデルタイプを自動的に検出します。

 from stormtrooper import Trooper

# This loads a setfit model
model = Trooper ( "all-MiniLM-L6-v2" )

# This loads an OpenAI model
model = Trooper ( "gpt-4" )

# This loads a Text2Text model
model = Trooper ( "google/flan-t5-base" )

統一されたゼロおよび少数のショット分類

モデルを初期化するときに、モデルが少数であるかゼロショット分類器であるかを指定する必要はなくなりました。トレーニングの例に合格しない場合、モデルがゼロショットである必要があると自動的に想定されます。

 # This is a zero-shot model
model . fit ( None , [ "dog" , "cat" ])

# This is a few-shot model
model . fit ([ "he was a good boy" , "just lay down on my laptop" ], [ "dog" , "cat" ])

モデルタイプ

StormTrooperでは、あらゆる種類の変圧器モデルを使用して、ゼロショット分類を使用できます。

1. 指導微調整された生成モデル、例： Trooper("HuggingFaceH4/zephyr-7b-beta")
2. SetFitを使用したエンコーダーモデル、例： Trooper("all-MiniLM-L6-v2")
3. Text2TextモデルEG Trooper("google/flan-t5-base")
4. OpenaiモデルEG Trooper("gpt-4")
5. nliモデルEG Trooper("facebook/bart-large-mnli")

使用の例

ドキュメントで詳細をご覧ください。

pip install stormtrooper

 from stormtrooper import Trooper

class_labels = [ "atheism/christianity" , "astronomy/space" ]
example_texts = [
    "God came down to earth to save us." ,
    "A new nebula was recently discovered in the proximity of the Oort cloud."
]
new_texts = [ "God bless the reailway workers" , "The frigate is ready to launch from the spaceport" ]

# Zero-shot classification
model = Trooper ( "google/flan-t5-base" )
model . fit ( None , class_labels )
model . predict ( new_texts )
# ["atheism/christianity", "astronomy/space"]

# Few-shot classification
model = Trooper ( "google/flan-t5-base" )
model . fit ( example_texts , class_labels )
model . predict ( new_texts )
# ["atheism/christianity", "astronomy/space"]

ファジーマッチング

デフォルトで生成およびtext2textモデルは、最も近いクラスラベルに一致する結果をファジーにします。Fuzzy_match fuzzy_match=Falseを指定することでこの動作を無効にできます。

ファジーマッチングスピードアップが必要な場合は、 python-Levenshteinをインストールする必要があります。

GPUへの推論

バージョン0.2.2から、GPUでモデルを実行できます。モデルを初期化するときにデバイスを指定できます。

 classifier = Trooper ( "all-MiniLM-L6-v2" , device = "cuda:0" )

複数のGPUへの推論

device_map引数を使用して、デバイスの優先度GPU -> CPU + Ram -> Diskおよび複数のデバイスで複数のデバイスでモデルを実行できます。これは、Text2Textおよび生成モデルでのみ機能することに注意してください。

 model = Trooper("HuggingFaceH4/zephyr-7b-beta", device_map="auto")