Karpathy Neural Networks Zero to Hero
1.0.0
Este repositorio contiene mis implementaciones detalladas de las redes neuronales de Andrej Karpathy: series y ejercicios de conferencias de YouTube Zero to Hero en el cuaderno Jupyter. Los cuadernos entran en detalles extremos para garantizar una comprensión fundamental adecuada y robusta de los conceptos de aprendizaje profundo que se cubren. Esta serie de conferencias cubre redes neuronales y cómo construirlas desde cero en código. El curso comienza con los conceptos básicos de la backpropagation, luego procede a perceptrones de múltiples capas (MLP), redes neuronales convolucionales (CNN), y finalmente se acumula a las redes neuronales profundas modernas como los transformadores generativos previamente capacitados (GPT). El curso también presenta y cubre herramientas de diagnóstico para comprender la dinámica y el rendimiento de las redes neuronales. Finalmente, este curso cubre los conceptos básicos de la tokenización, la codificación de pares de bytes (BPE) y cómo construir un tokenizador desde cero. El campo de enfoque en este curso es el modelado de idiomas (LM) porque no solo los modelos de idiomas son un lugar excelente para aprender un aprendizaje profundo, sino que también la mayoría de las habilidades aprendidas aquí son inmediatamente transferibles a otros campos de aprendizaje profundo, como la visión por computadora (CV).
[ NN ] - - - > [ MLP ] - - - > [ CNN ] - - - > [ GPT ] - - - > [ BPE ]| Computadora portátil | Ejercicio | |
|---|---|---|
| Microgrado | Microgrado | Ejercicios de microgrado |
| Makemore 1 | Bigrams | Ejercicios de Bigrams |
| Makemore 2 | MLP | Ejercicios de MLP |
| Makemore 3 | Lotes de lotes | Ejercicios de lotes de lotes |
| Makemore 4 | Backprop | --- |
| Makemore 5 | Wavenet | Ejercicios de Wavenet |
| GPT | GPT | 1, 2a, 2b, 3 |
| minbpe | minbpe | --- |
Todavía en curso ...
Gracias Andrej Karpathy por crear y compartir la serie de conferencias del tutorial "Redes neuronales: Zero to Hero" en YouTube y Github. Su dedicación y experiencia ha hecho posible este recurso. Encuentre más del trabajo de Andrej en su Github, Twitter, Sitio web y AI Native School, Eureka Labs.
Este repositorio tiene licencia bajo la licencia MIT. Siéntase libre de usar los materiales proporcionados con fines educativos, pero atribuya el contenido original a Andrej Karpathy.
