SimCSE with CARDS

Улучшение контрастного изучения встроенных предложений с учетом положений и получения негатива

Этот репозиторий реализует увеличение переключения и жесткое негативное извлечение из статьи «Улучшение контрастного изучения встроенных предложений с режимами, подтвержденными режимами и полученными негативами». Объединение двух подходов с Simcse приводит к модели, называемой контрастным обучением с дополненными и извлеченными данными для встраивания предложений (карт).

Таблица 1. Пример переключенного и извлеченного образца предложений.

Тип	Предложение
Оригинал	История первой книги продолжается.
Переключен	История первой книги продолжается.
Получено	История начинается как типичная история любви.
Случайный	Это удерживается как временный результат.

Результаты и контрольные точки

Таблица 2. Производительность по внедрению предложений.

Предварительная подготовка	Тонкая настройка	STS12	STS13	STS14	STS15	STS16	STSB	Больной	Ав.
Роберта-баз	Simcse + Cards	72,65	84,26	76.52	82,98	82,73	82.04	70.66	78.83
Роберта-Ларж	Simcse + Cards	74,63	86.27	79,25	85,93	83,17	83,86	72,77	80.84

Ссылка на скачивание: карты-Roberta-Base (скачать, 440 МБ), карты-роберта-широкий (скачать, 1.23gb).

Таблица 3. Производительность по задачам клея

Предварительная подготовка	Тонкая настройка	Mnli-m	QQP	Qnli	SST-2	Кола	STS-B	MRPC	Rte	Ав.
debertav2-xxlarge	R-Drop + переключатель	92.0	93.0	96.3	97.2	75,5	93,6	93,9	94.2	91.7

Использование

Этот репо изготовлен на основе трансформаторов Huggingface и Simcse. См. TEDS.TXT для пакетных версий.

Подготовка данных

 # 1. Download wiki-1m dataset: 
# - use wget -P target_folder in data/datasets/download_wiki.sh, and run
bash data/datasets/download_wiki.sh
# - modify train_file in scripts/bert/run_simcse_pretraining_v2.sh

# 2. preprocess wiki-1m dataset for negative retrieval
# - deduplicate the wiki-1m dataset, and (optionally) remove sentences with less than three words
# - modify paths in data/datasets/simcse_utils.py then run it to get model representations for all sentences in dataset
python data/datasets/simcse_utils.py

# 3. Download SentEval evaluation data:
# - use wget -P target_folder in data/datasets/download_senteval.sh, and run
bash data/datasets/download_senteval.sh

Тонкая настройка Роберта с картами

Перед запуском кода пользователю может потребоваться изменить контрольную точку модели по умолчанию и пути ввода -вывода, включая:

• scripts/bert/run_simcse_grid.sh : строка 42-50 (train_file, train_file_dedupl (необязательно), output_dir, tensorboard_dir, sent_rep_cache_file, senteval_data_dir)
• scripts/bert/run_simcse_pretraining.sh : строка 17-20 (train_file, output_dir, tensorboard_dir, senteval_data_dir), строка 45 (sent_rep_cache_files), строка 166-213 (model_name_path, config_name).

Fine-Tune + оценка

 # MUST cd to the folder which contains data/, examples/, models/, scripts/, training/ and utils/
cd YOUR_CARDS_WORKING_DIRECTORY

# roberta-base
new_train_file=path_to_wiki1m
sent_rep_cache_file=path_to_sentence_representation_file  # generated by data/datasets/simcse_utils.py 

# run a model with a single set of hyper-parameters
# when running the model for the very first time, need to add overwrite_cache=True, this will produce a processed training data cache.
bash scripts/bert/run_simcse_grid.sh 
    model_type=roberta model_size=base 
    cuda=0,1,2,3 seed=42 learning_rate=4e-5 
    new_train_file= ${new_train_file} sent_rep_cache_file= ${sent_rep_cache_file} 
    dyn_knn=65 sample_k=1 knn_metric=cos 
    switch_case_probability=0.05 switch_case_method=v2 
    print_only=False

# grid-search on hyper-parameters
bash scripts/bert/run_simcse_grid.sh 
    model_type=roberta model_size=base 
    cuda=0,1,2,3 seed=42 learning_rate=1e-5,2e-5,4e-5 
    new_train_file= ${new_train_file} sent_rep_cache_file= ${sent_rep_cache_file} 
    dyn_knn=0,9,65 sample_k=1 knn_metric=cos 
    switch_case_probability=0,0.05,0.1,0.15 switch_case_method=v2 
    print_only=False

# roberta-large
bash scripts/bert/run_simcse_grid.sh 
    model_type=roberta model_size=large 
    cuda=0,1,2,3 seed=42 learning_rate=7.5e-6 
    new_train_file= ${new_train_file} sent_rep_cache_file= ${sent_rep_cache_file} 
    dyn_knn=9 sample_k=1 knn_metric=cos 
    switch_case_probability=0.1 switch_case_method=v1 
    print_only=False

Только оценка

 # provide train_file, output_dir, tensorboard_dir if different to the default values
model_name=name_of_saved_mdoel  # e.g., roberta_large_bs128x4_lr2e-5_switchcase0.1_v2
bash ./scripts/bert/run_simcse_pretraining.sh 
    model_name_or_path= ${output_dir} / ${model_name} model_name= ${model_name} config_name= ${output_dir} / ${model_name} /config.json 
    train_file= ${train_file} output_dir= ${output_dir} /test_only tensorboard_dir= ${tensorboard_dir} 
    model_type=roberta model_size=base do_train=False 
    cuda=0 ngpu=1

Известные проблемы

По неизвестным причинам набор хорошей модели гиперпараметров отличался при работе с трансформаторами guggingface v4.11.3 и v4.15.0. Гиперпараметры, перечисленные выше, были поисками с сетью на трансформаторах 4.11.3.

Цитирование

 @inproceedings{cards,
    title = "Improving Contrastive Learning of Sentence Embeddings with Case-Augmented Positives and Retrieved Negatives",
    author = "Wei Wang and Liangzhu Ge and Jingqiao Zhang and Cheng Yang",
    booktitle = "The 45th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR)",
    year = "2022"
}