transformers stuff

Transformateurs

Ce référentiel contient des codes, des scripts et des ordinateurs portables sur divers aspects des modèles de transformateurs. L'implémentation utilise Pytorch.

• GPT_Transformer.ipynb contient une promenade détaillée de la mise en œuvre du transformateur tout en expliquant les concepts de base en cours de route.
• GPT_Language_Model.ipynb construit et forme un modèle de langue à partir de zéro à l'aide de données wikipedia , inclus le prétraitement pertinent des données.