transformers stuff

变形金刚

该存储库包含有关变压器模型各个方面的代码，脚本和笔记本。实施使用Pytorch。

• GPT_Transformer.ipynb包含详细的变压器插入式插入，同时解释了沿途的核心概念。
• GPT_Language_Model.ipynb使用wikipedia数据从头开始构建并培训语言模型，其中包括数据的相关预处理。