Transformers Recipe
1.0.0
Трансформеры ускорили разработку новых методов и моделей для задач обработки естественного языка (NLP). Несмотря на то, что он в основном использовался для задач NLP, в настоящее время он видит тяжелое принятие в других областях, таких как компьютерное зрение и обучение подкреплению. Это делает его одним из самых важных современных концепций, чтобы понять и иметь возможность применять.
Я знаю, что многие студенты и студенты и практики НЛП заинтересованы в изучении трансформаторов. Поэтому я подготовил учебное пособие в форме списка ресурсов и учебных материалов, чтобы помочь студентам, заинтересованным в изучении мира трансформаторов.
Начнем с того, что я подготовил несколько ссылок на материалы, которые я использовал, чтобы лучше понять и реализовать модели трансформаторов с нуля.
Во-первых, попробуйте получить очень высокое введение о трансформаторах. Некоторые ссылки, которые стоит посмотреть:
Введение в Transformer - заметки лекции (Элвис Саравия)
Трансформеры с нуля (Брэндон Рорер)
Как трансформеры работают в глубоком обучении и НЛП: интуитивно понятное введение (AI Summer)
Стэнфорд CS25 - Transformers United
Глубокое обучение для понимания языка (DeepMind)
Модели трансформаторов: введение и каталог (Ксавье Аматриаин)
Иллюстрированные объяснения Джея Аламмара являются исключительными. Как только вы получите это высокоуровневое понимание трансформаторов, вы можете перейти к этому популярному подробному и иллюстрированному объяснению трансформеров:
Иллюстрированный трансформатор
Эта следующая статья также разбивает трансформаторы в свои компоненты, объясняя и подробно иллюстрируя то, что делает каждая часть:
Разбивая трансформатор
На этом этапе вы можете искать техническую резюме и обзор трансформаторов. Посты в блоге Лилиана Венга - это драгоценный камень и предоставленные краткие технические объяснения/резюме:
Семья Трансформеров
Семейная версия Transformer 2.0
После теории важно проверить знания. Я обычно предпочитаю понимать вещи более подробно, поэтому я предпочитаю реализовать алгоритмы с нуля. Для реализации трансформаторов я в основном полагался на этот урок:
Аннотированный трансформатор | (Google Colab | Github)
Языковое моделирование с NN.Transformer и Torchtext
Если вы ищете углубленные реализации некоторых из последних трансформаторов, вы также можете найти документы с коллекцией методов кода для трансформаторов полезными.
Эта статья Vaswani et al. представил архитектуру трансформатора. Прочитайте его после того, как у вас будет понимание высокого уровня и вы хотите получить подробности. Обратите внимание на другие ссылки в газете для погружения в глубокий.
Внимание - это все, что вам нужно
После некоторого времени изучения и понимания теории трансформеров, вы можете быть заинтересованы в применении их к различным проектам или исследованиям НЛП. В настоящее время лучше всего - библиотека Transformers By HuggingFice.
Трансформеры
Команда «Объявающее лицо» также опубликовала новую книгу о НЛП с трансформаторами, так что вы, возможно, захотите проверить это здесь.
В качестве бонуса, вот отличный список чтения на LLMS от Себастьяна Рашки.
Понимание больших языковых моделей - трансформирующий список чтения
Не стесняйтесь предлагать учебный материал. В следующем обновлении я собираюсь добавить более полную коллекцию приложений и документов трансформаторов. Кроме того, также идет реализация кода для легких экспериментов. Следите за обновлениями!
Чтобы регулярно обновлять новые ресурсы ML и NLP, следуйте за мной в Twitter.
