setfit

? Модели | Наборы данных | Документация | Блог | ? Бумага

SetFit - эффективное обучение с несколькими выстрелами с трансформаторами предложений

SetFit-это эффективная и неправомерная платформа для нескольких выстрелов из тонкой настройки предложений. Он достигает высокой точности с небольшими помеченными данными - например, только с 8 помеченными примерами на класс в наборе данных об отчетах клиентов, SetFit конкурирует с точной настройкой Roberta Large на полном учебном наборе примеров 3K?!

По сравнению с другими методами обучения с несколькими выстрелами, SetFit имеет несколько уникальных функций:

• ? Никаких подсказок или вербализаторов: текущие методы для нескольких выстрелов требуют подсказок ручной работы или вербализаторов для преобразования примеров в формат, подходящего для базовой языковой модели. SetFit Dispense с подсказками вообще, генерируя богатые встроены непосредственно из текстовых примеров.
• ? Быстрый для обучения: SetFit не требует крупномасштабных моделей, таких как T0 или GPT-3 для достижения высокой точности. В результате, как правило, это на порядок (или более) быстрее, чтобы тренировать и выполнять вывод.
• ? Многоязычная поддержка : SetFit может использоваться с любым трансформатором предложений на концентраторе, что означает, что вы можете классифицировать текст на нескольких языках, просто настраивая многоязычную контрольную точку.

Проверьте документацию SetFit для получения дополнительной информации!

Установка

Загрузите и установите setfit с помощью работы:

pip install setfit

Если вы хотите вместо этого версия с кратой, установите из Source, работая:

pip install git+https://github.com/huggingface/setfit.git

Использование

QuickStart - это хорошее место для изучения обучения, сохранения, загрузки и выполнения вывода с моделями SetFit.

Для получения дополнительных примеров ознакомьтесь с каталогом notebooks , учебниками или руководствами по праву.

Обучение модели SetFit

setfit интегрирован с концентратором обнимающегося лица и предоставляет два основных класса:

• SetFitModel : обертка, которая объединяет предварительно подготовленное тело из sentence_transformers и классификационную головку от scikit-learn или SetFitHead (дифференцируемая голова, построенная на PyTorch с аналогичными API-интерфейсами к sentence_transformers ).
• Trainer : вспомогательный класс, который завершает процесс тонкой настройки SetFit.

Вот простой пример обучения с использованием классификации по умолчанию от scikit-learn :

 from datasets import load_dataset
from setfit import SetFitModel , Trainer , TrainingArguments , sample_dataset


# Load a dataset from the Hugging Face Hub
dataset = load_dataset ( "sst2" )

# Simulate the few-shot regime by sampling 8 examples per class
train_dataset = sample_dataset ( dataset [ "train" ], label_column = "label" , num_samples = 8 )
eval_dataset = dataset [ "validation" ]. select ( range ( 100 ))
test_dataset = dataset [ "validation" ]. select ( range ( 100 , len ( dataset [ "validation" ])))

# Load a SetFit model from Hub
model = SetFitModel . from_pretrained (
    "sentence-transformers/paraphrase-mpnet-base-v2" ,
    labels = [ "negative" , "positive" ],
)

args = TrainingArguments (
    batch_size = 16 ,
    num_epochs = 4 ,
    eval_strategy = "epoch" ,
    save_strategy = "epoch" ,
    load_best_model_at_end = True ,
)

trainer = Trainer (
    model = model ,
    args = args ,
    train_dataset = train_dataset ,
    eval_dataset = eval_dataset ,
    metric = "accuracy" ,
    column_mapping = { "sentence" : "text" , "label" : "label" }  # Map dataset columns to text/label expected by trainer
)

# Train and evaluate
trainer . train ()
metrics = trainer . evaluate ( test_dataset )
print ( metrics )
# {'accuracy': 0.8691709844559585}

# Push model to the Hub
trainer . push_to_hub ( "tomaarsen/setfit-paraphrase-mpnet-base-v2-sst2" )

# Download from Hub
model = SetFitModel . from_pretrained ( "tomaarsen/setfit-paraphrase-mpnet-base-v2-sst2" )
# Run inference
preds = model . predict ([ "i loved the spiderman movie!" , "pineapple on pizza is the worst ?" ])
print ( preds )
# ["positive", "negative"] 

Воспроизводить результаты бумаги

Мы предоставляем сценарии для воспроизведения результатов для SetFit и различных базовых показателей, представленных в таблице 2 нашей статьи. Проверьте инструкции по настройке и обучению в scripts/ каталоге.

Установка разработчика

Чтобы запустить код в этом проекте, сначала создайте виртуальную среду Python, используя EG Conda:

conda create -n setfit python=3.9 && conda activate setfit

Затем установите базовые требования с:

pip install -e ' .[dev] '

Это установит обязательные пакеты для таких datasets SetFit, а также пакеты разработки, такие как black и isort , которые мы используем для обеспечения согласованного форматирования кода.

Форматирование вашего кода

Мы используем black и isort для обеспечения последовательного форматирования кода. После выполнения шагов установки вы можете проверить свой код локально, запустив:

 make style && make quality

Структура проекта

 ├── LICENSE
├── Makefile        <- Makefile with commands like `make style` or `make tests`
├── README.md       <- The top-level README for developers using this project.
├── docs            <- Documentation source
├── notebooks       <- Jupyter notebooks.
├── final_results   <- Model predictions from the paper
├── scripts         <- Scripts for training and inference
├── setup.cfg       <- Configuration file to define package metadata
├── setup.py        <- Make this project pip installable with `pip install -e`
├── src             <- Source code for SetFit
└── tests           <- Unit tests

Связанная работа

• https://github.com/pmbaumgartner/setfit - версия API Scikit-learn API.
• JXPRESS/SETFIT-PYTORCH-Lightning-Pytorch Lightning реализация SetFit.
• Davidberenstein1957/Spacy -SetFit - простой и интуитивно понятный подход к использованию SetFit в сочетании со Spacy.

Цитирование

 @misc { https://doi.org/10.48550/arxiv.2209.11055 ,
  doi = { 10.48550/ARXIV.2209.11055 } ,
  url = { https://arxiv.org/abs/2209.11055 } ,
  author = { Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren } ,
  keywords = { Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences } ,
  title = { Efficient Few-Shot Learning Without Prompts } ,
  publisher = { arXiv } ,
  year = { 2022 } ,
  copyright = { Creative Commons Attribution 4.0 International }
}