Karpathy Neural Networks Zero to Hero

Нейронные сети: ноль для героя

Этот репозиторий содержит мои подробные реализации нейронных сетей Андрея Карпати: серия лекций и упражнений с нолью на YouTube в ноутбуке Юпитера. Записные книжки входят в чрезвычайные детали, чтобы обеспечить правильное, надежное фундаментальное понимание охватываемых концепций глубокого обучения. Эта серия лекций охватывает нейронные сети и как построить их с нуля в коде. Курс начинается с оснований обратного распространения, а затем переходит к многослойным персептронами (MLP), сверточными нейронными сетями (CNN) и, наконец, создается в современных глубоких нейронных сетях, таких как генеративные предварительно обученные трансформаторы (GPT). Курс также вводит и охватывает диагностические инструменты для понимания динамики и производительности нейронных сетей. Наконец, этот курс охватывает основы токенизации, кодировки байтовых пар (BPE) и как построить токенизатор с нуля. Сфера внимания в этом курсе - языковое моделирование (LM), потому что не только языковые модели являются превосходным местом для изучения глубокого обучения, но и большинство навыков, изученных здесь, немедленно передаются в другие области глубокого обучения, такие как компьютерное зрение (CV).

[ NN ] - - - > [ MLP ] - - - > [ CNN ] - - - > [ GPT ] - - - > [ BPE ]

	Блокнот	Упражнение
Микроград	Микроград	Микроградные упражнения
Makemore 1	Биграмс	Упражнения Bigrams
Makemore 2	MLP	Упражнения MLP
Makemore 3	Пакетный	Упражнения с парками
Makemore 4	Backprop	---
Makemore 5	Wavenet	Упражнения Wavenet
Гф	Гф	1, 2a, 2b, 3
Минбпе	Минбпе	---

Все еще продолжается ...

---

Ссылки

• Микроградный репозиторий
• Макмор репозиторий
• Репозиторий GPT
• Minbpe Repository

Благодарности

Спасибо, Андрей Карпати за создание и обмен серией лекций «Нейронные сети: ноль -герой» на YouTube & GitHub. Ваша преданность и опыт сделали этот ресурс возможным. Найдите больше работы Андрея над его GitHub, Twitter, веб -сайтом и местной школой ИИ, Eureka Labs.

Лицензия

Этот репозиторий лицензирован по лицензии MIT. Не стесняйтесь использовать предоставленные материалы для образовательных целей, но, пожалуйста, приписывайте оригинальный контент Andrej Karpathy.