Transformers Recipe
1.0.0
Os transformadores aceleraram o desenvolvimento de novas técnicas e modelos para tarefas de processamento de linguagem natural (PNL). Embora tenha sido usado principalmente para tarefas de PNL, agora está vendo uma forte adoção em outras áreas, como visão computacional e aprendizado de reforço. Isso o torna um dos conceitos modernos mais importantes para entender e ser capaz de aplicar.
Estou ciente de que muitos estudantes e profissionais de aprendizado de máquina e PNL estão interessados em aprender sobre transformadores. Portanto, preparei um guia de estudo na forma de uma lista de recursos e materiais de estudo para ajudar a orientar os alunos interessados em aprender sobre o mundo dos transformadores.
Para começar, preparei alguns links para materiais que costumava entender e implementar melhor os modelos de transformadores do zero.
Primeiro, tente obter uma introdução de alto nível sobre Transformers. Algumas referências que valem a pena analisar:
Introdução ao transformador - Notas de aula (Elvis Saravia)
Transformadores do zero (Brandon Rohrer)
Como os Transformers funcionam em Deep Learning e PNL: uma introdução intuitiva (AI Summer)
Stanford CS25 - Transformers United
Aprendizagem profunda para o entendimento da linguagem (DeepMind)
Modelos de transformadores: uma introdução e catálogo (Xavier Amatriain)
As explicações ilustradas de Jay Alammar são excepcionais. Depois de obter esse entendimento de alto nível dos transformadores, você pode pular nessa popular explicação detalhada e ilustrada dos transformadores:
O transformador ilustrado
Este próximo artigo também divide os transformadores em seus componentes, explicando e ilustrando em detalhes o que cada parte faz:
Quebrando o transformador
Neste ponto, você pode estar procurando um resumo técnico e uma visão geral dos transformadores. As postagens do blog de Lilian Weng são uma jóia e fornecem explicações/resumos técnicos concisos:
A família do transformador
A Família do Transformer versão 2.0
Após a teoria, é importante testar o conhecimento. Normalmente, prefiro entender as coisas com mais detalhes, então prefiro implementar algoritmos do zero. Para implementar transformadores, confiei principalmente neste tutorial:
O transformador anotado | (Google Colab | Github)
Modelagem de idiomas com nn.Transformer e Torchtext
Se você estiver procurando implementações detalhadas em alguns dos mais recentes Transformers, também poderá encontrar os artigos com a coleção de métodos de código para transformadores úteis.
Este artigo de Vaswani et al. introduziu a arquitetura do transformador. Leia depois de ter um entendimento de alto nível e deseja entrar nos detalhes. Preste atenção a outras referências no artigo para mergulhar profundamente.
Atenção é tudo que você precisa
Depois de algum tempo estudando e compreendendo a teoria por trás dos Transformers, você pode estar interessado em aplicá -los a diferentes projetos ou pesquisas da PNL. Neste momento, sua melhor aposta é a Biblioteca Transformers, Huggingface.
Transformadores
A equipe do Hugging Face também publicou um novo livro sobre PNL com Transformers, então você pode querer verificar isso aqui.
Como bônus, aqui está uma ótima lista de leituras no LLMS de Sebastian Raschka.
Entendendo os grandes modelos de linguagem - uma lista de leitura transformadora
Sinta -se à vontade para sugerir material de estudo. Na próxima atualização, pretendo adicionar uma coleção mais abrangente de aplicativos e artigos de transformadores. Além disso, uma implementação de código para facilitar a experimentação também está chegando. Fique atento!
Para obter atualizações regulares sobre novos recursos de ML e PNL, siga -me no Twitter.
