首頁>編程相關>Python
下載

News：新課發布，《動手自製大模型推理框架》，全手寫cuda算子，課程框架支持LLama2和3.x以及Qwen2.5模型

Hi，各位朋友們好！我是KuiperInfer 的作者。 KuiperInfer 作為一門開源課程，迄今已經在GitHub 上已斬獲2.5k star。 如今在原課程的基礎上，我們全新推出了《動手自製大模型推理框架》， 新課程支持Llama系列大模型（包括最新的LLama3.2）以及Qwen2.5系列大模型，同時支持Cuda 加速和Int8 量化，自推出以來便廣受好評。

《動手自製大模型推理框架》課程目錄：

https://l0kzvikuq0w.feishu.cn/docx/ZF2hd0xfAoaXqaxcpn2c5oHAnBc

《動手自製大模型推理框架》課程優勢

  1. 採用最新的C++ 20標準去寫代碼，統一、美觀的代碼風格，良好的錯誤處理；
  2. 優秀的項目管理形式，我們採用CMake+Git的方式管理項目，接軌大廠；
  3. 授人以漁，教大家怎麼設計一個現代C++項目，同時教大家怎麼用單元測試和Benchmark去測試驗證自己的項目；
  4. CPU算子和CUDA雙后端實現，對時新的大模型（LLama3和Qwen系列）有非常好的支持。

如果你對大模型推理感興趣，想要深入了解並掌握相關技術，想在校招、秋招面試當中脫穎而出，那麼這門《動手自製大模型推理框架》課程絕對不容錯過。快來加入我們，一起開啟學習之旅吧！ 感興趣的同學歡迎掃一掃課程下方二維碼或者添加微信lyrry1997 參加課程

帶領你親手打造一個深度學習推理框架。關注我的B站空間，獲取最新視頻更新。

跟隨本項目，從零開始自製深度學習推理框架，你將有以下收穫：

  1. 學習一個深度學習框架背後的知識，掌握現代C++項目的寫法，調試技巧和工程經驗；
  2. 如何設計、編寫一個計算圖；
  3. 實現常見的算子，卷積算子、池化算子、全連接算子等；
  4. 在3的基礎上，學會常見的優化手段加速算子的執行；
  5. 最後你將獲得一個屬於自己的推理框架，可以推理resnet, unet, yolov5, mobilenet等模型，對面試和知識進階大有裨益。

視頻課程鏈接： https://space.bilibili.com/1822828582

課程大綱

第二次課程是第一次課程的重置版，內容更加充實和完善，第一次課程大綱見下方章節。

課程節數進度課程鏈接
第一講項目預覽和環境配置完成https://www.bilibili.com/video/BV118411f7yM
第二講張量(Tensor)的設計與實現完成https://www.bilibili.com/video/BV1hN411k7q7
第三講計算圖的定義完成https://www.bilibili.com/video/BV1vc411M7Yp
第四講構建計算圖關係和執行順序完成https://www.bilibili.com/video/BV19s4y1r7az
第五講KuiperInfer中的算⼦和註冊⼯⼚完成https://www.bilibili.com/video/BV1gx4y1o7pj
第六講卷積和池化算子的實現完成https://www.bilibili.com/video/BV1hx4y197dS
第七講表達式層中詞法分析和語法分析以及算子的實現完成https://www.bilibili.com/video/BV1j8411o7ao
第八講自製推理框架支持Resnet網絡的推理完成https://www.bilibili.com/video/BV1o84y1o7ni
第九講自製推理框架支持YoloV5網絡的推理完成https://www.bilibili.com/video/BV1Qk4y1A7XL

Demo效果

Unet語義分割

? KuiperInfer當前已支持Unet網絡的推理，採用carvana的預訓練權重

推理復現可參考文末的運行Kuiper 的demo

Yolov5目標檢測

Demo直接使用yolov5-s的預訓練權重(coco數據集)，使用KuiperInfer推理

第一次課程大綱

我在b站上開了一門教學課程，目前是課程的前13次課程。課程大綱如下，主頁是: https://space.bilibili.com/1822828582 , 歡迎大家關注支持。進學習群的方式如上圖的二維碼。

課程節數主要內容進度課程鏈接
第一次課整體框架解讀和開發環境配置完成https://www.bilibili.com/video/BV1HV4y1A7H8/
第二次課張量Tensor類的解析和輸入數據的內存排布完成https://www.bilibili.com/video/BV1Ed4y1v7Gb/
第三次課從CSV文件中初始化張量Tensor一個實例完成https://www.bilibili.com/video/BV1Pg411J7V5/
第四次課手寫第一個算子Relu並完成算子註冊工廠類完成https://www.bilibili.com/video/BV1bG4y1J7sQ/
第五次課Im2col的原理和卷積算子的實現完成https://www.bilibili.com/video/BV1F841137Ct
第六次課照貓畫虎，完成MaxPooling算子完成https://www.bilibili.com/video/BV1m3411S7yy
第七次課圖結構(PNNX)講解和計算圖初步完成https://www.bilibili.com/video/BV1VW4y1V7vp
第八次課讀取PNNX並構建自己的計算圖完成https://www.bilibili.com/video/BV1HY4y1Z7S3
第九次課卷積算子的實現和im2col加速計算的原理完成https://www.bilibili.com/video/BV1F841137Ct
第十次課再探Tensor類，構建計算圖的圖關係以及對算子的輸入輸出預分配完成https://www.bilibili.com/video/BV1M54y1K7AG
第十一次課算子的執行流程完成https://www.bilibili.com/video/BV1wY411C7Kv
第十二次課用我們自製的推理框架完成ResNet網絡的推理和圖片的分類完成https://www.bilibili.com/video/BV1jD4y1M772
第十三次課用自製的推理框架支持Yolov5模型的推理完成https://www.bilibili.com/video/BV1xs4y1J7t2

項目貢獻

貢獻者列表

感謝以下同學對Kuiperinfer的付出

  • zjhellofss
  • liuxubit
  • Azusachan
  • wfs2010
  • mlmz
  • Tigerrr07
  • zyt1024
  • zpye
  • cmcamdy
  • superCB
  • sanbuphy
  • TypeFloat
  • Jasmine-up
  • PerrySkywalker
  • delve-wang
  • z-learner
  • Meihongtao

如何參與項目貢獻？

  1. 提交代碼增加新功能或修改bug；
  2. 提出特別有用的建議；
  3. 完善文檔或增加單元測試。

本項目和視頻課程的關係

  • 本項目相當於課程的上游或者預研項目

  • 這裡的每一個功能都有可能成為視頻課程中的知識點，無論是我開發的還是其他同學完善的。

使用的技術和開發環境

  • 開發語言：C++ 17
  • 數學庫：Armadillo + OpenBlas(或者更快的Intel MKL)
  • 加速庫：OpenMP
  • 單元測試：Google Test
  • 性能測試：Google Benchmark

安裝過程(使用Docker)

  1. docker pull registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:latest
  2. sudo docker run -t -i registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:latest /bin/bash
  3. cd code
  4. git clone --recursive https://github.com/zjhellofss/KuiperInfer.git
  5. cd KuiperInfer
  6. git checkout -b 你的新分支study_version_0.02 (如果想抄本項目的代碼，請使用這一步切換到study tag)
  7. mkdir build
  8. cd build
  9. cmake -DCMAKE_BUILD_TYPE=Release -DDEVELOPMENT=OFF ..
  10. make -j$(nproc)

Tips:

  1. 如果需要對KuiperInfer進行開發，請使用git clone --recursive https://github.com/zjhellofss/KuiperInfer.git 同時下載子文件夾tmp, 並在cmake文件中設置$DEVELOPMENT或者指定-DDEVELOPMENT=ON
  2. 如果國內網速卡頓，請使用git clone https://gitee.com/fssssss/KuiperInferGitee.git
  3. 如果想獲得更快地運行體驗，請在本機重新編譯openblas或apt install intel-mkl

安裝過程(構建Docker鏡像)

  1. docker build -t kuiperinfer:latest .
  2. docker run --name kuiperinfer -it kuiperinfer:latest /bin/bash
  3. cd /app
  4. 餘下步驟參考上述安裝過程的步驟4-10

安裝過程(不使用docker)

  1. git clone --recursive https://github.com/zjhellofss/KuiperInfer.git
  2. git checkout -b 你的新分支study_version_0.01 (如果想抄本項目的代碼，請使用這一步切換到study tag)
  3. 安裝必要環境(openblas推薦編譯安裝，可以獲得更快的運行速度，或者使用apt install intel-mkl替代openblas) 
 apt install cmake, libopenblas-dev, liblapack-dev, libarpack-dev, libsuperlu-dev
  1. 下載並編譯armadillo https://arma.sourceforge.net/download.html
  2. 編譯安裝gloggoogle testgoogle benchmark
  3. 餘下步驟和上述一致

Tips:

  1. google benchmark編譯過程中，如果遇到關於gtest缺失的報錯，可以在google benchmark的cmake中關閉gtest選項

運行Kuiper 的demo

運行Unet的推理

請在編譯後復制tmp/unet/demo文件夾下的test.png 圖片絕對地址或相對地址， 隨後在build/demos中按下列格式運行推理程序

./unet_test test.png unet_demo.pnnx.param unet_demo.pnnx.bin

其中pnnx 模型的下載地址：https://cowtransfer.com/s/09c7f337bab443

若推理成功，你將會在文件夾內看到原圖的分割後結果unet_output.jpg .

運行Yolov5的推理

請在demos文件夾下的yolo_test.cpp文件夾中以下代碼進行修改

 const std::string& image_path = " imgs/car.jpg " ;
const std::string& param_path = " tmp/yolo/demo/yolov5s_batch8.pnnx.param " ;
const std::string& bin_path = " tmp/yolo/demo/yolov5s_batch8.pnnx.bin " ;

  • image_path指定圖像目錄， param_path為模型的參數文件， bin_path為模型的權重文件，請替換為自己本地的路徑。

  • 模型定義和權重下載地址如下： https://cowtransfer.com/s/9bc43e0905cb40

  • 編譯完成後，在項目目錄調用./build/demos/yolo_test

已經支持的算子

總體理念：逐步優化已經有的算子；有需要的時候再對未實現的算子進行開發

  • Convolution
  • AdaptivePooling
  • MaxPooling
  • Expression(抽象語法樹)
  • Flatten, View(維度展平和變形)
  • Sigmoid
  • HardSigmoid
  • HardSwish
  • ReLU
  • Linear(矩陣相乘)
  • Softmax
  • BatchNorm
  • Upsample
  • SiLU
  • Concat
  • ConvTranspose

目錄

source是源碼目錄

  1. data/是張量類Tensor的實現和Tensor初始化方法
  2. layer/是算子的實現
  3. parser/是Pnnx表達式的解析類
  4. runtime/是計算圖結構，解析和運行時相關

test是單元測試目錄，基本做到public方法單元測試權覆蓋

bench是google benchmark, 包含對MobilenetV3, Resnet18和yolov5s的性能測試。

性能測試

測試設備

15 核心的AMD EPYC 7543(霄龍) 32-Core Processor (Docker 容器，宿主機共有32核心)

編譯環境

gcc (Ubuntu 9.4.0-1ubuntu1~20.04.1) 9.4.0

性能結果

耗時通過連續五次運行,並以求平均的方式計算

input size模型名稱計算設備耗時
224×224 batch = 8 MobileNetV3Small CPU(armadillo + openblas) 6.76ms / image
224×224 batch = 8 ResNet18 CPU(armadillo + openblas) 23.53ms / image
224×224 batch =16 ResNet18 CPU(armadillo + openblas) 13.52ms / image
640×640 batch = 8 Yolov5nano CPU(armadillo + openblas) 78.37ms / image
640×640 batch = 8 Yolov5s CPU(armadillo + openblas) 177.54ms / image
640×640 batch = 16 Yolov5s CPU(armadillo + openblas) 134.57ms / image

致謝

推理框架NCNN，已經在藉鑑的代碼中保留了NCNN的BSD協議https://github.com/Tencent/ncnn

優秀的數學庫Openblas: https://github.com/xianyi/OpenBLAS

優秀的數學庫Armadillo: https://arma.sourceforge.net/docs.html

給予我靈感的Caffe框架: https://github.com/BVLC/caffe

fmath框架：https://github.com/herumi/fmath/

展開
附加信息
相關應用
爲您推薦
相關資訊 全部