Karpathy Neural Networks Zero to Hero
1.0.0
Ce référentiel contient mes implémentations détaillées des réseaux neuronaux d'Andrej Karpathy: Série de conférences YouTube Zero to Hero Hero dans Jupyter Notebook. Les cahiers entrent dans des détails extrêmes pour garantir une compréhension fondamentale appropriée et solide des concepts d'apprentissage en profondeur couverts. Cette série de conférences couvre les réseaux de neurones et comment les construire à partir de zéro dans le code. Le cours commence par les bases de la rétropropagation, puis procède aux perceptrons multi-couches (MLP), aux réseaux neuronaux convolutionnels (CNN), et se construit finalement à des réseaux de neurones profonds modernes comme les transformateurs génératifs pré-formés (GPT). Le cours introduit et couvre également les outils de diagnostic pour comprendre la dynamique et les performances des réseaux de neurones. Enfin, ce cours couvre les bases de la tokenisation, le codage des paires d'octets (BPE), et comment construire un tokenizer à partir de zéro. Le domaine de la mise au point dans ce cours est la modélisation des langues (LM) car non seulement les modèles de langue sont un endroit superbe pour apprendre l'apprentissage en profondeur, mais aussi la plupart des compétences acquises ici sont immédiatement transférables à d'autres domaines de l'apprentissage en profondeur tels que la vision par ordinateur (CV).
[ NN ] - - - > [ MLP ] - - - > [ CNN ] - - - > [ GPT ] - - - > [ BPE ]| Carnet de notes | Exercice | |
|---|---|---|
| Micrograd | Micrograd | Exercices de micrograd |
| Makemore 1 | Bigrams | Bigrams Exercices |
| Makemore 2 | MLP | Exercices MLP |
| Makemore 3 | Bac à lot | Exercices de batchnorm |
| Makemore 4 | Backprop | --- |
| Makemore 5 | Wavenet | Exercices de wavenet |
| Gp | Gp | 1, 2a, 2b, 3 |
| minbpe | minbpe | --- |
Toujours en cours ...
Merci Andrej Karpathy d'avoir créé et partagé la série de conférences de tutoriels "Neural Networks: Zero to Hero" sur YouTube & Github. Votre dévouement et votre expertise ont rendu cette ressource possible. Trouvez plus du travail d'Andrej sur son Github, Twitter, son site Web et son école indigène de l'IA, Eureka Labs.
Ce référentiel est concédé sous licence MIT. N'hésitez pas à utiliser le matériel fourni à des fins éducatives, mais veuillez attribuer le contenu original à Andrej Karpathy.
