transformers stuff

變形金剛

該存儲庫包含有關變壓器模型各個方面的代碼，腳本和筆記本。實施使用Pytorch。

• GPT_Transformer.ipynb包含詳細的變壓器插入式插入，同時解釋了沿途的核心概念。
• GPT_Language_Model.ipynb使用wikipedia數據從頭開始構建並培訓語言模型，其中包括數據的相關預處理。