Karpathy Neural Networks Zero to Hero
1.0.0
Dieses Repository enthält meine detaillierten Implementierungen der neuronalen Netzwerke von Andrej Karpathy: Zero to Hero YouTube Lecture Series & Übungen in Jupyter Notebook. Die Notizbücher gehen in extreme Details ein, um ein ordnungsgemäßes, robustes grundlegendes Verständnis der behandelnden Deep -Learning -Konzepte zu gewährleisten. Diese Vorlesungsreihe deckt neuronale Netzwerke ab und wie man sie im Code von Grund auf neu erstellt. Der Kurs beginnt mit den Grundlagen der Backpropagation, fährt dann zu Multi-Layer-Perzeptrons (MLPs), Faltungsnetzwerken (CNNs) fort und baut schließlich zu modernen tiefen neuronalen Netzwerken wie generativen vorgelösten Transformers (GPTs) auf. Der Kurs führt und deckt auch diagnostische Tools ein und umfasst, um neuronale Netzwerke Dynamik und Leistung zu verstehen. Schließlich deckt dieser Kurs die Grundlagen der Tokenisierung, der Byte-Pair-Codierung (BPE) und der Erstellung eines Tokenizers von Grund auf ab. Das Fokusfeld in diesem Kurs ist die Sprachmodellierung (LM), da nicht nur Sprachmodelle ein hervorragender Ort zum Lernen von Deep -Lernen sind, sondern auch die meisten hier erlernten Fähigkeiten sofort auf andere Bereiche des tiefen Lernens wie Computer Vision (CV) übertragen werden können.
[ NN ] - - - > [ MLP ] - - - > [ CNN ] - - - > [ GPT ] - - - > [ BPE ]| Notizbuch | Übung | |
|---|---|---|
| Mikrograd | Mikrograd | Mikrograd -Übungen |
| Makemore 1 | Bigrams | Bigrams Übungen |
| Makemore 2 | MLP | MLP -Übungen |
| Makemore 3 | Batchnorm | Batchnorm -Übungen |
| Makemore 4 | Backprop | --- |
| Makemore 5 | Wavenet | Wavenet -Übungen |
| Gpt | Gpt | 1, 2a, 2b, 3 |
| Minbpe | Minbpe | --- |
Immer noch weiter ...
Vielen Dank an Andrej Karpathy für das Erstellen und Teilen der Tutorial Lecture Series "Neural Networks: Zero to Hero" auf YouTube & Github. Ihr Engagement und Ihr Fachwissen haben diese Ressource ermöglicht. Finden Sie mehr von Andrejs Arbeiten an seinem Github, Twitter, Website und KI Native School Eureka Labs.
Dieses Repository ist unter der MIT -Lizenz lizenziert. Nutzen Sie die bereitgestellten Materialien für Bildungszwecke, aber bitte geben Sie den ursprünglichen Inhalt Andrej Karpathy zurück.
