Karpathy Neural Networks Zero to Hero
1.0.0
このリポジトリには、Andrej Karpathyのニューラルネットワークの詳細な実装が含まれています。HupyterNotebookでのHero YouTubeレクチャーシリーズとエクササイズゼロです。ノートブックは、カバーされている深い学習概念の適切で堅牢な基本的な理解を確保するために、極端な詳細になります。この講義シリーズは、ニューラルネットワークとコードでゼロからそれらを構築する方法をカバーしています。コースは、バックプロパゲーションの基本から始まり、その後、多層パーセプロン（MLPS）、畳み込みニューラルネットワーク（CNNS）に進み、最終的に生成事前トレーニングトランス（GPT）などの最新の深いニューラルネットワークに積み上げられます。このコースでは、ニューラルネットワークのダイナミクスとパフォーマンスを理解するための診断ツールも紹介およびカバーしています。最後に、このコースでは、トークン化、バイトペアエンコード（BPE）、およびトークン剤をゼロから構築する方法をカバーしています。このコースの焦点は言語モデリング（LM）です。言語モデルは深い学習を学ぶための素晴らしい場所であるだけでなく、ここで学んだスキルのほとんどは、コンピュータービジョン（CV）などの他のディープラーニングの分野に直ちに移転できるためです。
[ NN ] - - - > [ MLP ] - - - > [ CNN ] - - - > [ GPT ] - - - > [ BPE ]| ノート | エクササイズ | |
|---|---|---|
| マイクログラード | マイクログラード | マイクログラードエクササイズ |
| マケモア1 | bigrams | BigRamsエクササイズ |
| マケモア2 | MLP | MLPエクササイズ |
| マケモア3 | batchnorm | バッチノームエクササイズ |
| マケモア4 | backprop | --- |
| マケモア5 | Wavenet | Wavenetエクササイズ |
| gpt | gpt | 1、2a、2b、3 |
| Minbpe | Minbpe | --- |
まだ進行中...
YouTube＆Githubで「ニューラルネットワーク：Zero to Hero」チュートリアルレクチャーシリーズを作成して共有してくれたAndrej Karpathyに感謝します。あなたの献身と専門知識がこのリソースを可能にしました。彼のGitHub、Twitter、Webサイト、AIネイティブスクール、Eureka LabsのAndrejの作品の詳細をご覧ください。
このリポジトリは、MITライセンスの下でライセンスされています。教育目的で提供された資料を自由に使用してください。しかし、元のコンテンツはAndrej Karpathyに起因してください。
