setfit
v1.1.0 - Sentence Transformers as the finetuning backend; tackle deprecations of other dependencies
? Modelle | Datensätze | Dokumentation | Blog | ? Papier
SetFit ist ein effizientes und prompt-freier Framework für wenige Schussfeineinstellungen von Satztransformatoren. Es erreicht eine hohe Genauigkeit mit wenig beschrifteten Daten - zum Beispiel mit nur 8 beschrifteten Beispielen pro Klasse im Setiment -Datensatz von Kundenbewertungen ist SetFit wettbewerbsfähig mit der Feinabstimmung Roberta Large auf dem vollständigen Trainingset von 3K -Beispielen?!
Im Vergleich zu anderen wenigen Lernmethoden verfügt SetFit über mehrere einzigartige Funktionen:
Weitere Informationen finden Sie in der SetFit -Dokumentation!
Download und installieren Sie setfit , indem Sie ausführen:
pip install setfitWenn Sie stattdessen die Blutungsversion möchten, installieren Sie von Source durch Ausführen:
pip install git+https://github.com/huggingface/setfit.gitDer QuickStart ist ein guter Ort, um über das Training, das Speichern, Laden und Durchführen von Inferenz mit SetFit -Modellen zu lernen.
Weitere Beispiele finden Sie im notebooks -Verzeichnis, die Tutorials oder die Anleitungen.
setfit ist in den Umarmungs -Face -Hub integriert und bietet zwei Hauptklassen:
SetFitModel : Ein Wrapper, der einen vorgezogenen Körper aus sentence_transformers und einem Klassifizierungskopf aus scikit-learn oder SetFitHead kombiniert (ein differenzierbarer Kopf, der auf PyTorch mit ähnlichen APIs wie sentence_transformers baut).Trainer : Eine Helferklasse, die den Feinabstimmungsprozess von SetFit umhüllt. Hier ist ein einfaches Beispiel für das End-to-End-Training mit dem Standardklassifizierungskopf von scikit-learn :
from datasets import load_dataset
from setfit import SetFitModel , Trainer , TrainingArguments , sample_dataset
# Load a dataset from the Hugging Face Hub
dataset = load_dataset ( "sst2" )
# Simulate the few-shot regime by sampling 8 examples per class
train_dataset = sample_dataset ( dataset [ "train" ], label_column = "label" , num_samples = 8 )
eval_dataset = dataset [ "validation" ]. select ( range ( 100 ))
test_dataset = dataset [ "validation" ]. select ( range ( 100 , len ( dataset [ "validation" ])))
# Load a SetFit model from Hub
model = SetFitModel . from_pretrained (
"sentence-transformers/paraphrase-mpnet-base-v2" ,
labels = [ "negative" , "positive" ],
)
args = TrainingArguments (
batch_size = 16 ,
num_epochs = 4 ,
eval_strategy = "epoch" ,
save_strategy = "epoch" ,
load_best_model_at_end = True ,
)
trainer = Trainer (
model = model ,
args = args ,
train_dataset = train_dataset ,
eval_dataset = eval_dataset ,
metric = "accuracy" ,
column_mapping = { "sentence" : "text" , "label" : "label" } # Map dataset columns to text/label expected by trainer
)
# Train and evaluate
trainer . train ()
metrics = trainer . evaluate ( test_dataset )
print ( metrics )
# {'accuracy': 0.8691709844559585}
# Push model to the Hub
trainer . push_to_hub ( "tomaarsen/setfit-paraphrase-mpnet-base-v2-sst2" )
# Download from Hub
model = SetFitModel . from_pretrained ( "tomaarsen/setfit-paraphrase-mpnet-base-v2-sst2" )
# Run inference
preds = model . predict ([ "i loved the spiderman movie!" , "pineapple on pizza is the worst ?" ])
print ( preds )
# ["positive", "negative"] Wir stellen Skripte zur Verfügung, um die Ergebnisse für SetFit und verschiedene Baselines zu reproduzieren, die in Tabelle 2 unseres Papiers dargestellt werden. Schauen Sie sich die Setup- und Trainingsanweisungen in den scripts/ Verzeichnissen an.
Um den Code in diesem Projekt auszuführen, erstellen Sie zunächst eine virtuelle Python -Umgebung mit EG Conda:
conda create -n setfit python=3.9 && conda activate setfitInstallieren Sie dann die Grundanforderungen mit:
pip install -e ' .[dev] ' Dadurch werden obligatorische Pakete für SetFit -wie datasets sowie Entwicklungspakete wie black und isort installiert, mit denen wir eine konsistente Codeformatierung gewährleisten.
Wir verwenden black und isort , um eine konsistente Codeformatierung zu gewährleisten. Nachdem Sie die Installationsschritte befolgt haben, können Sie Ihren Code lokal überprüfen, indem Sie ausgeführt werden:
make style && make quality
├── LICENSE
├── Makefile <- Makefile with commands like `make style` or `make tests`
├── README.md <- The top-level README for developers using this project.
├── docs <- Documentation source
├── notebooks <- Jupyter notebooks.
├── final_results <- Model predictions from the paper
├── scripts <- Scripts for training and inference
├── setup.cfg <- Configuration file to define package metadata
├── setup.py <- Make this project pip installable with `pip install -e`
├── src <- Source code for SetFit
└── tests <- Unit tests
@misc { https://doi.org/10.48550/arxiv.2209.11055 ,
doi = { 10.48550/ARXIV.2209.11055 } ,
url = { https://arxiv.org/abs/2209.11055 } ,
author = { Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren } ,
keywords = { Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences } ,
title = { Efficient Few-Shot Learning Without Prompts } ,
publisher = { arXiv } ,
year = { 2022 } ,
copyright = { Creative Commons Attribution 4.0 International }
}
