Karpathy Neural Networks Zero to Hero
1.0.0
이 저장소에는 Andrej Karpathy의 Neural Networks : Zero to Hero YouTube 강의 시리즈 및 Jupyter Notebook의 자세한 구현이 포함되어 있습니다. 노트북은 극단적 인 세부 사항으로 진행하여 딥 러닝 개념에 대한 적절하고 강력한 근본적인 이해를 보장합니다. 이 강의 시리즈는 신경망과 코드에서 처음부터 구축하는 방법에 대해 다룹니다. 이 과정은 역전의 기본으로 시작한 다음 MLP (Multi-Layer Perceptrons), CNN (Convolutional Neural Networks)으로 진행되며, 마지막으로 생성 된 미리 훈련 된 변압기 (GPT)와 같은 현대적인 깊은 신경망으로 구축됩니다. 이 과정은 또한 신경망 역학 및 성능을 이해하기위한 진단 도구를 소개하고 다룹니다. 마지막으로,이 과정은 토큰 화의 기본, BYTE-PAIR Encoding (BPE) 및 토큰 화기를 처음부터 구축하는 방법을 다룹니다. 이 과정의 초점 분야는 언어 모델링 (LM)입니다. 언어 모델은 딥 러닝을 배우기위한 훌륭한 장소 일뿐 만 아니라 여기에서 배운 기술의 대부분은 컴퓨터 비전 (CV)과 같은 다른 딥 러닝 분야로 즉시 전송할 수 있기 때문입니다.
[ NN ] - - - > [ MLP ] - - - > [ CNN ] - - - > [ GPT ] - - - > [ BPE ]| 공책 | 운동 | |
|---|---|---|
| 마이크로 그라드 | 마이크로 그라드 | 마이크로 그라드 운동 |
| Makemore 1 | Bigrams | Bigrams 운동 |
| Makemore 2 | MLP | MLP 운동 |
| Makemore 3 | Batchnorm | Batchnorm 운동 |
| Makemore 4 | 역전 | --- |
| Makemore 5 | Wavenet | 파동 운동 |
| gpt | gpt | 1, 2a, 2b, 3 |
| Minbpe | Minbpe | --- |
여전히 진행 중 ...
YouTube & Github에서 "Neural Networks : Zero to Hero" 튜토리얼 강의 시리즈를 만들고 공유해 주신 Andrej Karpathy에게 감사드립니다. 귀하의 헌신과 전문 지식으로 인해이 자원이 가능해졌습니다. 그의 Github, Twitter, 웹 사이트 및 AI 원주민 인 Eureka Labs에서 Andrej의 작업을 더 찾으십시오.
이 저장소는 MIT 라이센스에 따라 라이센스가 부여됩니다. 교육 목적으로 제공된 자료를 자유롭게 사용하십시오. 그러나 원본 콘텐츠를 Andrej Karpathy에 귀속하십시오.
