dl_note

• 項目概述
• 一，數學和編程基礎專欄
• 二，神經網絡基礎部件
• 三，經典卷積神經網絡模型
• 四，深度學習煉丹
• 五，深度學習模型壓縮
• 六，模型推理部署
• 七，進階課程
• 參考資料

項目概述

本倉庫項目是個人總結的計算機視覺和大語言模型學習筆記，包含深度學習基礎知識、神經網絡基礎部件詳解、深度學習煉丹策略、深度學習模型壓縮算法、深度學習推理框架代碼解析及動手實戰。

LLM基礎及推理優化的專欄筆記請參考llm_note倉庫。

一，數學和編程基礎專欄

• 深度學習數學基礎-概率與信息論
• 深度學習基礎-機器學習基本原理
• 隨機梯度下降法的數學基礎
• Python 編程思維導航

二，神經網絡基礎部件

1，神經網絡基礎部件：

1. 神經網絡基礎部件-卷積層詳解
2. 神經網絡基礎部件-BN 層詳解
3. 神經網絡基礎部件-激活函數詳解

2，深度學習基礎：

• 反向傳播與梯度下降詳解
• 深度學習基礎-參數初始化詳解
• 深度學習基礎-損失函數詳解
• 深度學習基礎-優化算法詳解

三，經典卷積神經網絡模型

1，卷積神經網絡的經典backbone ：

• ResNet網絡詳解
• DenseNet 網絡詳解
• ResNetv2 網絡詳解
• 經典backbone 網絡總結

2，輕量級網絡詳解：

• MobileNetv1論文詳解
• ShuffleNetv2論文詳解
• RepVGG論文詳解
• CSPNet論文詳解
• VoVNet論文解讀
• 輕量級模型設計總結

四，深度學習煉丹

1. 深度學習煉丹-數據標準化
2. 深度學習煉丹-數據增強
3. 深度學習煉丹-不平衡樣本的處理
4. 深度學習煉丹-超參數設定
5. 深度學習煉丹-正則化策略

五，深度學習模型壓縮

1. 深度學習模型壓縮算法綜述
2. 模型壓縮-輕量化網絡設計與部署總結
3. 模型壓縮-剪枝算法詳解
4. 模型壓縮-知識蒸餾詳解
5. 模型壓縮-量化算法詳解

六，模型推理部署

1，模型推理部署：

• 卷積神經網絡複雜度分析
• 模型壓縮部署概述
• 矩陣乘法詳解
• 模型推理加速技巧-融合卷積和BN層

2， ncnn框架源碼解析：

• ncnn 源碼解析-sample 運行
• ncnn 源碼解析-Net 類

3，異構計算

1. 移動端異構計算： neon編程
2. GPU 端異構計算： cuda編程，比如gemm算法解析與優化

七，進階課程

1，推薦幾個比較好的深度學習模型壓縮與加速的倉庫和課程資料：

1. 神經網絡基本原理教程
2. AI-System: 深度學習系統，主要從底層方向講解深度學習系統等原理、加速方法、矩陣成乘加計算等。
3. pytorch-deep-learning：很好的pytorch 深度學習教程。

2，一些筆記好的博客鏈接：

• The Illustrated Transformer: 國內比較好的博客大都參考這篇文章。
• C++ 並發編程（從C++11到C++17）: 不錯的C++ 並發編程教程。
• What are Diffusion Models?
• annotated_deep_learning_paper_implementations

3，最後，持續高質量創作不易，有5秒空閒時間的，可以掃碼關注我的公眾號-嵌入式視覺，記錄CV 算法工程師成長之路，分享技術總結、讀書筆記和個人感悟。

公眾號不會寫標題黨文章，也不輸出給大家帶來的焦慮的內容！

4，Star History Chart：

參考資料

• 《深度學習》
• 《機器學習》
• 《動手學深度學習》
• 《機器學習系統：設計和實現》
• 《AI-EDU》
• 《AI-System》
• 《PyTorch_tutorial_0.0.5_餘霆嵩》
• 《動手編寫深度學習推理框架Planer》
• distill：知識精要和在線可視化
• LLVM IR入門指南
• nanoPyC
• ClassifyTemplate
• pytorch-classification