transformers stuff

Transformers-Stuff

Dieses Repository enthält Codes, Skripte und Notizbücher zu verschiedenen Aspekten von Transformatormodellen. Implementierung verwendet Pytorch.

• GPT_Transformer.ipynb enthält einen detaillierten Durchgang der Transformator-Implematation und erklärt dabei Kernkonzepte auf dem Weg.
• GPT_Language_Model.ipynb baut ein Sprachmodell mit wikipedia Daten von Grund auf neu und beinhaltete die relevante Vorverarbeitung der Daten.