transformers stuff

Трансформеры-штанги

Этот репозиторий содержит коды, сценарии и ноутбуки по различным аспектам трансформатора. Реализация использует Pytorch.

• GPT_Transformer.ipynb содержит подробный сквозной прохождение трансформатора в реализации при объяснении основных концепций на этом пути.
• GPT_Language_Model.ipynb создает и обучает языковую модель с нуля с использованием данных wikipedia , включая соответствующую предварительную обработку данных.