tldr transformers

TLDR-трансформаторы

«TL; DR» на нескольких известных документах о трансформаторах и современном НЛП.

Это жизнь Репо, чтобы сохранить вкладки в различных исследовательских темах.

Последнее обновление : 20 сентября 2021 года.

Модели : Gpt- *, *Bert *, Adapter- *, *T5, Megatron, Dall-e, Codex и т. Д.

Темы : Трансформерные архитектуры + обучение; состязательные атаки; Масштабирование законов; выравнивание; запоминание; Несколько ярлыков; причинность.

Bert , T5 , бумага по масштабированию законов (искусство из оригинальных документов)

Каждый набор заметок включает в себя ссылки на статью, оригинальную реализацию кода (если доступно) и Huggingface? выполнение.

Вот несколько примеров ---> T5, Byt5, Depuping Transformer Trainer Set.

Этот репо также включает в себя таблицу, определяющую различия между документами трансформаторов Все в одной таблице Полем

Документы трансформаторов представлены несколько хронологически ниже. Перейдите в «: point_right: Примечания: point_left:» в столбце ниже, чтобы найти примечания для каждой статьи.

Содержимое

• Быстрое примечание
• Мотивация
• Документы :: Трансформерные документы
• Документы :: 1 таблица, чтобы управлять ими всеми
• Документы :: Долдские атаки
• Документы :: Прекрасная настройка бумаги
• Документы :: Документы выравнивания
• Документы :: Причинные документы
• Документы :: Масштабирование юридических документов
• Документы :: LM Запоминание
• Документы :: Ограниченные учебные документы
• Как внести свой вклад
• Как указать наши ошибки
• Цитирование
• Лицензия

Quick_note

Это не вступление в глубокое обучение в НЛП. Если вы ищете это, я рекомендую один из следующих: быстрый курс AI, один из курсов Coursera, или, может быть, эта старая вещь. Приходите сюда после этого.

Мотивация

В результате взрыва в документах о трансформаторах всех вещей в последние несколько лет, кажется, полезно каталогизировать различные особенности/результаты/идеи каждой статьи в усвояемом формате. Отсюда этот репо.

Модели

Модель	Год	Институт	Бумага	Примечания ?	Исходный код	Объятие?	Другое репо
Трансформатор	2017	Google	Внимание - это все, что вам нужно	Пропущен, слишком много хороших рецензий: Гарвардская группа НЛП Джей Аламар Лилиан Вэн Что -то старое		?
GPT-3	2018	Openai	Языковые модели - это неконтролируемые многозадачные ученики	Дел	Х	Х
GPT-J-6B	2021	Eleutherai	GPT-J-6B: 6B Transformer на основе JAX ( Public GPT-3 )	Х	здесь	х	х
БЕРТ	2018	Google	Берт: предварительное обучение глубоких двунаправленных трансформаторов для понимания языка	Берт Примечания	здесь	здесь
Дистильберт	2019	Объятие	Дистилберт, дистиллированная версия Bert: меньше, быстрее, дешевле и легче	Примечания Дистильберта		здесь
Альберт	2019	Google/Toyota	Альберт: Lite Bert для самоотверженного изучения языковых представлений	Альберт отмечает	здесь	здесь
Роберта	2019	Facebook	Роберта: надежно оптимизированный берт -подход	Роберта отмечает	здесь	здесь
БАРТ	2019	Facebook	BART: дженочная последовательность к последовательности предварительной тренировки для генерации, перевода и понимания естественного языка	БАРТ ПРИМЕЧАНИЯ	здесь	здесь
T5	2019	Google	Изучение пределов обучения передачи с помощью унифицированного трансформатора текста в текст	T5 Примечания	здесь	здесь
Адаптер-Берт	2019	Google	Параметр эффективного переноса обучения для NLP	Адаптер-Берт Примечания	здесь	-	здесь
Мегатрон-лм	2019	Нвидия	Megatron-LM: обучение многомиллиардных моделей языков параметров с использованием модели параллелизма	Мегатрон отмечает	здесь	-	здесь
Реформатор	2020	Google	Реформатор: эффективный трансформатор	Реформаторные примечания		здесь
байт5	2021	Google	BYT5: к будущему без токенов с предварительно обученными байтовыми моделями	BYT5 Примечания	здесь	здесь
Клип	2021	Openai	Передаваемые визуальные модели обучения от надзора естественного языка	Записывание	здесь	здесь
Далл-э	2021	Openai	Ноль выстрела текста до изображения	Dall-e Примечания	здесь	-
Кодекс	2021	Openai	Оценка крупных языковых моделей, обученных коду	Кодекс Примечания	Х	-

BigTable

Все резюме таблицы, найденные, сложены здесь на один действительно большой стол.

Атт

Бумага	Год	Институт	Примечания ?	Коды
Атаки на основе градиента против текстовых трансформаторов	2021	Facebook	Градиентные примечания атаки	Никто

Тонкая настройка

Бумага	Год	Институт	Примечания ?	Коды
Контрольное контрастное обучение для предварительно обученной языковой модели тонкая настройка	2021	Facebook	SCL Примечания	Никто

Выравнивание

Бумага	Год	Институт	Примечания ?	Коды
Чико настраивающие языковые модели от человеческих предпочтений	2019	Openai	Человеческие примечания	Никто

Масштабирование

Бумага	Год	Институт	Примечания ?	Коды
Масштабирование законов для моделей нейронного языка	2020	Openai	Законы масштабирования примечания	Никто

Запоминание

Бумага	Год	Институт	Примечания ?	Коды
Извлечение данных обучения из моделей крупных языков	2021	Google et al.	Дел	Никто
Дедупликация обучающих данных делает языковые модели лучше	2021	Google et al.	Примечания	Никто

Несоответствие

Бумага	Год	Институт	Примечания ?	Коды
Эмпирическое обследование увеличения данных для ограниченного обучения данных в НЛП	2021	Git/unc	Дел	Никто
Обучение с меньшим количеством маркированных примеров	2021	Кевин Мерфи и Колин Раффел (Препринт: «Вероятностное машинное обучение», глава 19)	Стоит прочитать, не суммируйте здесь.	Никто

Способствовать

Если вы заинтересованы в участии в этом репо, не стесняйтесь делать следующее:

1. Вилка репо.
2. Создайте проект PR с интересующей статьей (чтобы предотвратить «в полете»).
3. Используйте предложенный шаблон, чтобы написать свой «TL; DR». Если это архитектурная бумага, вы также можете добавить здесь большую таблицу.
4. Отправьте свой PR.

Ошибки

Несомненно, здесь есть информация, которая неверна. Пожалуйста, откройте проблему и укажите ее.

Цитирование

 @ misc { cliff - notes - transformers ,
  author = { Thompson , Will },
  url = { https : // github . com / will - thompson - k / cliff - notes - transformers },
  year = { 2021 }
}

Для примечаний выше я связал оригинальные бумаги.

Лицензия

Грань