Karpathy Neural Networks Zero to Hero

神经网络：零对英雄

该存储库包含我对Andrej Karpathy的神经网络的详细实现：Jupyter Notebook中的Hero YouTube讲座系列和练习为零。笔记本介绍了极端的细节，以确保对所涵盖的深度学习概念的适当，强大的基本理解。该讲座系列涵盖了神经网络以及如何在代码中从头开始构建它们。该课程始于反向传播的基础知识，然后继续进行多层感知器（MLP），卷积神经网络（CNN），并最终建立在现代的深层神经网络等现代深层神经网络（例如生成预培养的预训练器（GPT））。该课程还引入并涵盖了了解神经网络动态和性能的诊断工具。最后，本课程涵盖了令牌化，字节对编码（BPE）的基础知识，以及如何从头开始构建令牌。本课程中的重点领域是语言建模（LM），因为语言模型不仅是学习深度学习的绝佳场所，而且这里学到的大多数技能也可以立即转移到其他深度学习领域，例如计算机视觉（CV）。

[ NN ] - - - > [ MLP ] - - - > [ CNN ] - - - > [ GPT ] - - - > [ BPE ]

	笔记本	锻炼
微拉	微拉	微电练习
Makemore 1	Bigrams	Bigrams练习
Makemore 2	MLP	MLP练习
Makemore 3	批处理	批处理练习
Makemore 4	反向	---
Makemore 5	vavenet	维护运动
GPT	GPT	1、2a，2b，3
Minbpe	Minbpe	---

仍在进行...

---

参考

• 微电磁存储库
• Makemore存储库
• GPT存储库
• MINBPE存储库

致谢

感谢Andrej Karpathy在YouTube＆Github上创建和共享“神经网络：零对英雄”教程讲座系列。您的奉献精神和专业知识使这一资源成为可能。在他的Github，Twitter，网站和AI本地学校Eureka Labs上找到更多Andrej的工作。

执照

该存储库是根据MIT许可证获得许可的。请随时将提供的材料用于教育目的，但请将原始内容归因于Andrej Karpathy。