Karpathy Neural Networks Zero to Hero

Redes neurais: zero para herói

Este repositório contém minhas implementações detalhadas das redes neurais de Andrej Karpathy: zero para a série de palestras e exercícios de zero à herói do YouTube no notebook Jupyter. Os notebooks entram em detalhes extremos para garantir uma compreensão fundamental adequada e robusta dos conceitos de aprendizado profundo que estão sendo abordados. Esta série de palestras cobre redes neurais e como construí -las do zero no código. O curso começa com o básico da retropropagação e depois passa a perceptrons de várias camadas (MLPs), redes neurais convolucionais (CNNs) e, finalmente, constrói modernas redes neurais profundas, como transformadores pré-treinados generativos (GPTs). O curso também apresenta e abrange ferramentas de diagnóstico para entender a dinâmica e o desempenho das redes neurais. Finalmente, este curso abrange o básico da tokenização, codificação de pares de byte (BPE) e como construir um tokenizador do zero. O campo de foco neste curso é a modelagem de idiomas (LM), porque não apenas os modelos de idiomas são um lugar excelente para aprender aprendizado profundo, mas também a maioria das habilidades aprendidas aqui é imediatamente transferível para outros campos de aprendizado profundo, como a visão computacional (CV).

[ NN ] - - - > [ MLP ] - - - > [ CNN ] - - - > [ GPT ] - - - > [ BPE ]

	Caderno	Exercício
Microgrado	Microgrado	Exercícios de microgrado
Makemore 1	Bigrams	Exercícios de Bigrams
Makemore 2	MLP	Exercícios do MLP
Makemore 3	BatchNorm	Exercícios de BatchNorm
Makemore 4	Backprop	----
Makemore 5	Wavenet	Exercícios de wavenet
Gpt	Gpt	1, 2a, 2b, 3
minbpe	minbpe	----

Ainda em andamento ...

---

Referências

• repositório de micrograd
• Repositório Makemore
• Repositório GPT
• Repositório MinBPE

Agradecimentos

Obrigado Andrej Karpathy por criar e compartilhar as séries tutoriais "Redes Neurais: Zero To Hero" sobre o YouTube & Github. Sua dedicação e experiência tornaram esse recurso possível. Encontre mais o trabalho de Andrej em seu Github, Twitter, site e escola nativa da IA, Eureka Labs.

Licença

Este repositório é licenciado sob a licença do MIT. Sinta -se à vontade para usar os materiais fornecidos para fins educacionais, mas atribua o conteúdo original a Andrej Karpathy.