transformers stuff

Transformers-Stuff

Este repositório contém códigos, scripts e notebooks sobre vários aspectos dos modelos de transformadores. A implementação usa Pytorch.

• GPT_Transformer.ipynb contém uma passagem detalhada da implementação do transformador enquanto explica conceitos principais ao longo do caminho.
• GPT_Language_Model.ipynb constrói e treina um modelo de idioma do zero usando dados wikipedia , incluiu pré-processamento relevante dos dados.