Tutorial para International Summer School on Deep Learning, 2019 en Gdansk, Polonia
https://docs.google.com/presentation/d/1dji1yx4u5igapgwavt0amoclwwwso7ou1un93smuawma/
Actualmente hay 3 secciones prácticas para este tutorial.
La primera sección cubre incrustaciones de palabras previamente capacitadas (Colab)
La segunda sección cubre emedios contextuales previamente capacitados (Colab)
La tercera sección cubre ajuste de un modelo previamente capacitado (Colab)
Abril de 2022 Si está interesado en aprender a construir diferentes arquitecturas de transformadores desde cero, tengo un nuevo conjunto de tutoriales con detalles en profundidad e implementaciones completas de varios modelos de transformadores populares. Muestran cómo construir modelos paso a paso, cómo predecirlos y cómo usarlos para tareas aguas abajo. Hay un paquete de pitón que lo acompaña que contiene todas las piezas del tutorial juntas
Julio de 2020 he publicado un conjunto de tutoriales de Colab usando Mead que se hace referencia en estos tutoriales. Este nuevo conjunto de cuadernos cubre material similar, incluido el aprendizaje de transferencia para la clasificación y los etiquetadores, así como los modelos basados en transformadores desde cero utilizando la API Mead con TPUS. ¡Mead facilita el entrenamiento de muchos modelos poderosos para PNL utilizando una configuración YAML simple y facilita la extensión del código con nuevos modelos mientras se compara con líneas de base fuertes!