COCO LM

Коко-лм

Этот репозиторий содержит сценарии для тонкой настройки моделей Coco-LM на критериях Glue and Squad 2.0.

Бумага: Coco-LM: исправление и контрастные текстовые последовательности для языковой модели предварительно

Обзор

Мы предоставляем сценарии в двух версиях, основанных на двух широко используемых кодовых базах с открытым исходным кодом, библиотеки Fairseq и библиотеки Transformers HuggingFace. Две кодовые версии в основном эквивалентны функциональности, и вы можете использовать любой из них. Тем не менее, мы отмечаем, что версия Fairseq - это то, что мы использовали в наших экспериментах, и она лучше всего воспроизводит результаты в статье; Версия Huggingface реализована позже, чтобы обеспечить совместимость с библиотекой Trangingface Transformers, и может дать немного разные результаты.

Пожалуйста, следуйте файлам readme в соответствии с двумя каталогами для запуска кода.

Клей с тонкой настройкой

Оценка общего языка (клей).

Glue Dev Set Results of Coco-LM Base ++ и больших моделей ++ следующие (медиана из 5 различных случайных семян):

Модель	Mnli-m/mm	QQP	Qnli	SST-2	Кола	Rte	MRPC	STS-B	Ав
Coco-LM Base ++	90.2/90.0	92.2	94.2	94.6	67.3	87.4	91.2	91.8	88.6
Coco-lm Lagry ++	91.4/91.6	92,8	95,7	96.9	73,9	91.0	92.2	92.7	90.8

Набор тестов клей результаты моделей Coco-LM Base ++ и больших ++ следующие (без ансамбля, специфичных для задач трюков и т. Д.):

Модель	Mnli-m/mm	QQP	Qnli	SST-2	Кола	Rte	MRPC	STS-B	Ав
Coco-LM Base ++	89,8/89,3	89,8	94.2	95,6	68.6	82.3	88.5	90.3	87.4
Coco-lm Lagry ++	91.6/91.1	90.5	95,8	96.7	70,5	89,2	88.4	91.8	89.3

Результаты тонкой настройки Squad 2.0

Стэнфордский набор данных ответа на вопрос (Squad) - это набор данных по пониманию прочитанного, состоящий из вопросов, заданных толщинами, на наборе статей Википедии, где ответ на каждый вопрос представляет собой сегмент текста или пролета, из соответствующего отрывка для чтения, или вопрос может быть без ответа.

Squad 2.0 DEV устанавливает результаты моделей Coco-LM BASE ++ и LAGIC ++ следующие (медиана из 5 различных случайных семян):

Модель	ЭМ	F1
Coco-LM Base ++	85,4	88.1
Coco-lm Lagry ++	88.2	91.0

Цитирование

Если вы найдете код и модели, полезные для исследования, пожалуйста, укажите следующую статью:

 @inproceedings{meng2021cocolm,
  title={{COCO-LM}: Correcting and contrasting text sequences for language model pretraining},
  author={Meng, Yu and Xiong, Chenyan and Bajaj, Payal and Tiwary, Saurabh and Bennett, Paul and Han, Jiawei and Song, Xia},
  booktitle={Conference on Neural Information Processing Systems},
  year={2021}
}

Внося

Этот проект приветствует вклады и предложения. Большинство взносов требуют, чтобы вы согласились с лицензионным соглашением о участнике (CLA), заявив, что вы имеете право и фактически предоставить нам права на использование вашего вклада. Для получения подробной информации, посетите https://cla.opensource.microsoft.com.

Когда вы отправляете запрос на привлечение, бот CLA автоматически определит, нужно ли вам предоставить CLA и правильно украсить PR (например, проверка состояния, комментарий). Просто следуйте инструкциям, предоставленным ботом. Вам нужно будет сделать это только один раз во всех репо, используя наш CLA.

Этот проект принял код поведения с открытым исходным кодом Microsoft. Для получения дополнительной информации см. Кодекс поведения FAQ или свяжитесь с [email protected] с любыми дополнительными вопросами или комментариями.