transformers tutorials
1.0.0
El campo de la PNL se revolucionó en el año 2018 por la introducción de Bert y sus amigos Transformer (Roberta, XLM, etc.).
Estas novedosas arquitecturas de redes neuronales basadas en transformadores y nuevas formas de capacitar una red neuronal en datos de lenguaje natural introdujeron el aprendizaje de transferencia a problemas de PNL. El aprendizaje de transferencia había estado dando resultados de última generación en el dominio de la visión por computadora durante algunos años y la introducción de modelos de transformadores para PNL provocó el mismo cambio de paradigma en la PNL.
Empresas como Google y Facebook capacitaron sus redes neuronales en grandes franjas de datos de lenguaje natural para comprender las complejidades del lenguaje, generando así un modelo de idioma. Finalmente, estos modelos se sintonizaron con un conjunto de datos de dominio específico para lograr resultados de última generación para una declaración de problema específica. También publicaron estos modelos capacitados para la comunidad de código abierto. Los miembros de la comunidad ahora podían ajustar estos modelos a sus casos de uso específicos.
Abrazar la cara facilitó a la comunidad acceder y ajustar estos modelos utilizando su paquete Python: Transformers.
A pesar de estos sorprendentes avances tecnológicos, aplicar estas soluciones a los problemas comerciales sigue siendo un desafío dado el conocimiento de nicho requerido para comprender y aplicar este método en declaraciones de problemas específicas. Por lo tanto, en los siguientes tutoriales demostraré cómo un usuario puede aprovechar las tecnologías junto con algunas otras herramientas de Python para ajustar estos modelos de lenguaje a un tipo de tareas específicas.
Antes de continuar, me gustaría mencionar los siguientes grupos para el fantástico trabajo que están haciendo y compartiendo que han hecho posibles estos cuadernos y tutoriales:
Revise estas increíbles fuentes de información y suscríbase a sus canales/fuentes.
Las declaraciones de problemas con las que trabajaré son:
| Computadora portátil | Enlace Github | Enlace de colab | Kernel kaggle |
|---|---|---|---|
| Clasificación de texto: múltiples clases | Github | Kaggle | |
| Clasificación de texto: múltiples etiquetas | Github | Kaggle | |
| Clasificación de sentimientos con seguimiento de experimentos en Wandb! | Github | ||
| Reconocimiento de entidad nombrado: ¡con procesamiento de TPU! | Github | Kaggle | |
| Respuesta de preguntas | |||
| Escritura resumida: ¡con el seguimiento del experimento en Wandb! | Github | Kaggle |
data : esta carpeta contiene todos los datos de juguete utilizados para el ajuste fino.utils : esta carpeta contendrá cualquier script diverso utilizado para prepararse para el ajuste fino.models : carpeta para guardar todos los artefactos después del ajuste fino.Intentaré cubrir los aspectos prácticos y de implementación del ajuste fino de estos modelos de lenguaje en varias tareas de PNL. Puede mejorar su conocimiento sobre este tema leyendo/observando los siguientes recursos.
Mirando
Lectura
