Transformers Recipe
1.0.0
Los transformadores han acelerado el desarrollo de nuevas técnicas y modelos para las tareas de procesamiento del lenguaje natural (PNL). Si bien se ha utilizado principalmente para tareas de PNL, ahora está viendo una gran adopción en otras áreas, como la visión por computadora y el aprendizaje de refuerzo. Eso lo convierte en uno de los conceptos modernos más importantes para comprender y poder aplicar.
Soy consciente de que muchos estudiantes y profesionales de aprendizaje automático y PNL están interesados en aprender sobre los transformadores. Por lo tanto, he preparado una guía de estudio en forma de una lista de recursos y materiales de estudio para ayudar a guiar a los estudiantes interesados en aprender sobre el mundo de los transformadores.
Para empezar, he preparado algunos enlaces a materiales que usé para comprender mejor e implementar modelos de transformadores desde cero.
Primero, intente obtener una introducción de muy alto nivel sobre los transformadores. Algunas referencias que vale la pena mirar:
Introducción al transformador - Notas de conferencia (Elvis Saravia)
Transformadores desde Scratch (Brandon Rohrer)
Cómo funcionan los transformadores en el aprendizaje profundo y la PNL: una introducción intuitiva (AI Summer)
Stanford CS25 - Transformers United
Aprendizaje profundo para la comprensión del lenguaje (profundo)
Modelos de transformadores: una introducción y catálogo (Xavier Amatriain)
Las explicaciones ilustradas de Jay Alammar son excepcionales. Una vez que obtenga esa comprensión de alto nivel de los transformadores, puede saltar a esta popular explicación detallada e ilustrada de Transformers:
El transformador ilustrado
Este siguiente artículo también desglosa transformadores en sus componentes, explicando e ilustrando en detalle lo que hace cada parte:
Desglosando el transformador
En este punto, puede estar buscando un resumen técnico y una visión general de los transformadores. Las publicaciones de blog de Lilian Weng son una joya y proporcionan explicaciones/resúmenes técnicos concisos:
La familia Transformer
La versión de la familia transformadora 2.0
Después de la teoría, es importante probar el conocimiento. Por lo general, prefiero entender las cosas con más detalle, por lo que prefiero implementar algoritmos desde cero. Para la implementación de Transformers, me basé principalmente en este tutorial:
El transformador anotado | (Google Colab | Github)
Modelado de idiomas con NN.Transformer y TorchText
Si está buscando implementaciones en profundidad en algunos de los últimos transformadores, también puede encontrar los documentos con la colección de métodos de código para transformadores útiles.
Este artículo de Vaswani et al. introdujo la arquitectura del transformador. Léelo después de tener una comprensión de alto nivel y desea entrar en los detalles. Presta atención a otras referencias en el documento para bucear profundamente.
La atención es todo lo que necesitas
Después de un tiempo estudiando y comprendiendo la teoría detrás de Transformers, puede estar interesado en aplicarlos a diferentes proyectos o investigaciones de PNL. En este momento, su mejor apuesta es la Biblioteca Transformers de Huggingface.
Transformadores
El equipo de Hugging Face también ha publicado un nuevo libro sobre PNL con Transformers, por lo que es posible que desee verlo aquí.
Como beneficio adicional, aquí hay una gran lista de lectura en LLM de Sebastian Raschka.
Comprensión de los modelos de idiomas grandes: una lista de lectura transformadora
Siéntase libre de sugerir material de estudio. En la próxima actualización, estoy buscando agregar una colección más completa de aplicaciones y documentos de transformadores. Además, también viene una implementación de código para una fácil experimentación. ¡Manténganse al tanto!
Para obtener actualizaciones periódicas sobre nuevos recursos de ML y NLP, sígueme en Twitter.
