setfit

? Modelos | Conjuntos de dados | Documentação | Blog | ? Papel

Setfit - aprendizado eficiente de poucos tiro com transformadores de frases

O Setfit é uma estrutura eficiente e sem prontuária para o ajuste fino dos transformadores de frases. Ele atinge alta precisão com poucos dados rotulados - por exemplo, com apenas 8 exemplos rotulados por aula no conjunto de dados de sentimentos do cliente, o Setfit é competitivo com o Roberta Large, de ajuste fino, no conjunto completo de treinamento de exemplos 3K?!

Comparado a outros métodos de aprendizado de poucos tiros, o Setfit possui vários recursos exclusivos:

• ? Sem avisos ou verbalizadores: as técnicas atuais para o ajuste fino com poucas fotos requerem prompts ou verbalizadores artesanais para converter exemplos em um formato adequado para o modelo de idioma subjacente. O Setfit dispensa completamente os avisos, gerando incorporações ricas diretamente a partir de exemplos de texto.
• ? Rápido para treinar: o setFit não requer modelos de larga escala, como T0 ou GPT-3, para obter alta precisão. Como resultado, normalmente é uma ordem de magnitude (ou mais) mais rápida para treinar e executar a inferência.
• ? Suporte multilíngue : o setFit pode ser usado com qualquer transformador de frase no hub, o que significa que você pode classificar o texto em vários idiomas simplesmente ajustando um ponto de verificação multilíngue.

Confira a documentação do setFit para obter mais informações!

Instalação

Faça o download e instale setfit em execução:

pip install setfit

Se você deseja a versão de borda sangrando, instale da fonte em execução:

pip install git+https://github.com/huggingface/setfit.git

Uso

O Quickstart é um bom lugar para aprender sobre treinamento, economia, carregamento e realização de inferência nos modelos Setfit.

Para mais exemplos, consulte o diretório notebooks , os tutoriais ou os guias de instruções.

Treinando um modelo Setfit

setfit é integrado ao hub de face Hugging e oferece duas classes principais:

• SetFitModel : um invólucro que combina um corpo pré-terenciado de sentence_transformers e uma cabeça de classificação de scikit-learn ou SetFitHead (uma cabeça diferenciável construída sobre PyTorch com APIs semelhantes para sentence_transformers ).
• Trainer : Uma classe auxiliar que envolve o processo de ajuste fino do setFit.

Aqui está um exemplo de treinamento de ponta a ponta simples usando o chefe de classificação padrão da scikit-learn :

 from datasets import load_dataset
from setfit import SetFitModel , Trainer , TrainingArguments , sample_dataset


# Load a dataset from the Hugging Face Hub
dataset = load_dataset ( "sst2" )

# Simulate the few-shot regime by sampling 8 examples per class
train_dataset = sample_dataset ( dataset [ "train" ], label_column = "label" , num_samples = 8 )
eval_dataset = dataset [ "validation" ]. select ( range ( 100 ))
test_dataset = dataset [ "validation" ]. select ( range ( 100 , len ( dataset [ "validation" ])))

# Load a SetFit model from Hub
model = SetFitModel . from_pretrained (
    "sentence-transformers/paraphrase-mpnet-base-v2" ,
    labels = [ "negative" , "positive" ],
)

args = TrainingArguments (
    batch_size = 16 ,
    num_epochs = 4 ,
    eval_strategy = "epoch" ,
    save_strategy = "epoch" ,
    load_best_model_at_end = True ,
)

trainer = Trainer (
    model = model ,
    args = args ,
    train_dataset = train_dataset ,
    eval_dataset = eval_dataset ,
    metric = "accuracy" ,
    column_mapping = { "sentence" : "text" , "label" : "label" }  # Map dataset columns to text/label expected by trainer
)

# Train and evaluate
trainer . train ()
metrics = trainer . evaluate ( test_dataset )
print ( metrics )
# {'accuracy': 0.8691709844559585}

# Push model to the Hub
trainer . push_to_hub ( "tomaarsen/setfit-paraphrase-mpnet-base-v2-sst2" )

# Download from Hub
model = SetFitModel . from_pretrained ( "tomaarsen/setfit-paraphrase-mpnet-base-v2-sst2" )
# Run inference
preds = model . predict ([ "i loved the spiderman movie!" , "pineapple on pizza is the worst ?" ])
print ( preds )
# ["positive", "negative"] 

Reproduzindo os resultados do artigo

Fornecemos scripts para reproduzir os resultados do Setfit e várias linhas de base apresentadas na Tabela 2 do nosso artigo. Confira as instruções de configuração e treinamento no scripts/ diretório.

Instalação do desenvolvedor

Para executar o código neste projeto, primeiro crie um ambiente virtual do Python usando o EG CONDA:

conda create -n setfit python=3.9 && conda activate setfit

Em seguida, instale os requisitos básicos com:

pip install -e ' .[dev] '

Isso instalará pacotes obrigatórios para o setFit, como datasets , bem como pacotes de desenvolvimento como black e isort que usamos para garantir a formatação consistente de código.

Formatando seu código

Usamos black e isort para garantir formatação consistente de código. Depois de seguir as etapas de instalação, você pode verificar seu código localmente executando:

 make style && make quality

Estrutura do projeto

 ├── LICENSE
├── Makefile        <- Makefile with commands like `make style` or `make tests`
├── README.md       <- The top-level README for developers using this project.
├── docs            <- Documentation source
├── notebooks       <- Jupyter notebooks.
├── final_results   <- Model predictions from the paper
├── scripts         <- Scripts for training and inference
├── setup.cfg       <- Configuration file to define package metadata
├── setup.py        <- Make this project pip installable with `pip install -e`
├── src             <- Source code for SetFit
└── tests           <- Unit tests

Trabalho relacionado

• https://github.com/pmbargartner/setfit - uma versão da API scikit-learn do setfit.
• JXPress/Setfit-Pytorch-Lightning-Uma implementação do Pytorch Lightning do setFit.
• Davidberenstein1957/Spacy -Setfit - Uma abordagem fácil e intuitiva para usar o Setfit em combinação com o Spacy.

Citação

 @misc { https://doi.org/10.48550/arxiv.2209.11055 ,
  doi = { 10.48550/ARXIV.2209.11055 } ,
  url = { https://arxiv.org/abs/2209.11055 } ,
  author = { Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren } ,
  keywords = { Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences } ,
  title = { Efficient Few-Shot Learning Without Prompts } ,
  publisher = { arXiv } ,
  year = { 2022 } ,
  copyright = { Creative Commons Attribution 4.0 International }
}