stormtrooper

突擊隊員

Scikit-Learn管道的零/少數射擊學習組件，具有大型模型和變壓器。

文件

新的1.0.0

Trooper

全新的Trooper接口使您無需指定要使用的型號類型。 Stormtrooper將自動從指定名稱檢測模型類型。

 from stormtrooper import Trooper

# This loads a setfit model
model = Trooper ( "all-MiniLM-L6-v2" )

# This loads an OpenAI model
model = Trooper ( "gpt-4" )

# This loads a Text2Text model
model = Trooper ( "google/flan-t5-base" )

統一的零和幾乎沒有分類

初始化時，您不再需要指定模型是少數還是零彈分的分類器。如果您不通過任何培訓示例，將自動假定該模型應為零。

 # This is a zero-shot model
model . fit ( None , [ "dog" , "cat" ])

# This is a few-shot model
model . fit ([ "he was a good boy" , "just lay down on my laptop" ], [ "dog" , "cat" ])

型號類型

您可以在Stormtroper中使用各種變壓器模型進行少量和零射擊分類。

1. 指令微調生成模型，例如Trooper("HuggingFaceH4/zephyr-7b-beta")
2. 帶有SetFit的編碼器模型，例如Trooper("all-MiniLM-L6-v2")
3. Text2Text模型例如Trooper("google/flan-t5-base")
4. Openai型號，例如Trooper("gpt-4")
5. NLI模型例如Trooper("facebook/bart-large-mnli")

示例用法

在我們的文檔中找到更多。

pip install stormtrooper

 from stormtrooper import Trooper

class_labels = [ "atheism/christianity" , "astronomy/space" ]
example_texts = [
    "God came down to earth to save us." ,
    "A new nebula was recently discovered in the proximity of the Oort cloud."
]
new_texts = [ "God bless the reailway workers" , "The frigate is ready to launch from the spaceport" ]

# Zero-shot classification
model = Trooper ( "google/flan-t5-base" )
model . fit ( None , class_labels )
model . predict ( new_texts )
# ["atheism/christianity", "astronomy/space"]

# Few-shot classification
model = Trooper ( "google/flan-t5-base" )
model . fit ( example_texts , class_labels )
model . predict ( new_texts )
# ["atheism/christianity", "astronomy/space"]

模糊匹配

默認情況下，生成和text2Text模型將模糊的結果與最接近的類標籤匹配，您可以通過指定fuzzy_match=False禁用此行為。

如果您想要模糊的匹配加速，則應安裝python-Levenshtein 。

推斷GPU

從0.2.2版本，您可以在GPU上運行型號。您可以在初始化模型時指定設備：

 classifier = Trooper ( "all-MiniLM-L6-v2" , device = "cuda:0" )

對多個GPU的推斷

您可以使用device_map參數在多個設備優先級GPU -> CPU + Ram -> Disk以及多個設備上運行模型。請注意，這僅適用於Text2Text和生成模型。

 model = Trooper("HuggingFaceH4/zephyr-7b-beta", device_map="auto")