transformers stuff

transformadores-estufa

Este repositorio contiene códigos, scripts y cuadernos en varios aspectos de los modelos de transformadores. La implementación utiliza Pytorch.

• GPT_Transformer.ipynb contiene un recorrido detallado de la implementación del transformador mientras explica los conceptos centrales en el camino.
• GPT_Language_Model.ipynb construye y entrena un modelo de idioma desde cero utilizando datos wikipedia , incluyó un preprocesamiento relevante de los datos.