Karpathy Neural Networks Zero to Hero

神經網絡：零對英雄

該存儲庫包含我對Andrej Karpathy的神經網絡的詳細實現：Jupyter Notebook中的Hero YouTube講座系列和練習為零。筆記本介紹了極端的細節，以確保對所涵蓋的深度學習概念的適當，強大的基本理解。該講座系列涵蓋了神經網絡以及如何在代碼中從頭開始構建它們。該課程始於反向傳播的基礎知識，然後繼續進行多層感知器（MLP），卷積神經網絡（CNN），並最終建立在現代的深層神經網絡等現代深層神經網絡（例如生成預培養的預訓練器（GPT））。該課程還引入並涵蓋了了解神經網絡動態和性能的診斷工具。最後，本課程涵蓋了令牌化，字節對編碼（BPE）的基礎知識，以及如何從頭開始構建令牌。本課程中的重點領域是語言建模（LM），因為語言模型不僅是學習深度學習的絕佳場所，而且這裡學到的大多數技能也可以立即轉移到其他深度學習領域，例如計算機視覺（CV）。

[ NN ] - - - > [ MLP ] - - - > [ CNN ] - - - > [ GPT ] - - - > [ BPE ]

	筆記本	鍛煉
微拉	微拉	微電練習
Makemore 1	Bigrams	Bigrams練習
Makemore 2	MLP	MLP練習
Makemore 3	批處理	批處理練習
Makemore 4	反向	---
Makemore 5	vavenet	維護運動
GPT	GPT	1、2a，2b，3
Minbpe	Minbpe	---

仍在進行...

---

參考

• 微電磁存儲庫
• Makemore存儲庫
• GPT存儲庫
• MINBPE存儲庫

致謝

感謝Andrej Karpathy在YouTube＆Github上創建和共享“神經網絡：零對英雄”教程講座系列。您的奉獻精神和專業知識使這一資源成為可能。在他的Github，Twitter，網站和AI本地學校Eureka Labs上找到更多Andrej的工作。

執照

該存儲庫是根據MIT許可證獲得許可的。請隨時將提供的材料用於教育目的，但請將原始內容歸因於Andrej Karpathy。