หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

ข่าว: การเปิดตัวหลักสูตรใหม่ "กรอบการอนุมานแบบจำลองด้วยมือทำด้วยมือ" ผู้ดำเนินการ CUDA ที่เขียนด้วยลายมือเต็มรูปแบบกรอบการทำงานของหลักสูตรรองรับ LLAMA2 และ 3.x และ QWEN2.5 รุ่น

สวัสดีสวัสดีเพื่อน! ฉันเป็นผู้แต่ง Kuiperinfer ในฐานะที่เป็นหลักสูตรโอเพ่นซอร์ส Kuiperinfer ได้รับรางวัล 2.5K ดาวบน GitHub จนถึงตอนนี้ ตอนนี้ขึ้นอยู่กับหลักสูตรดั้งเดิม เราได้เปิดตัว "Hand-on Hands-On Making Making Framework Framework" หลักสูตรใหม่รองรับซีรี่ส์ Llama Series (รวมถึง LLAMA3.2 ล่าสุด) และ QWEN2.5 ซีรีส์ของแบบจำลองและรองรับการเร่งความเร็วของ CUDA และ InT8 Quantization ซึ่งได้รับการยกย่องอย่างกว้างขวางนับตั้งแต่เปิดตัว

แคตตาล็อกหลักสูตรของ "กรอบการอนุมาน Mockup ทำด้วยมือ":

https://l0kzvikuq0w.feishu.cn/docx/zf2hd0xfaoaxqaxcpn2c5ohanbc

ข้อได้เปรียบของหลักสูตร

  1. ใช้มาตรฐาน C ++ 20 ล่าสุดในการเขียนโค้ดด้วยรูปแบบรหัสแบบครบวงจรและสวยงามและการจัดการข้อผิดพลาดที่ดี
  2. สำหรับการจัดการโครงการที่ยอดเยี่ยมเราใช้ CMake+Git เพื่อจัดการโครงการและเชื่อมต่อกับ บริษัท ขนาดใหญ่
  3. สอนผู้คนถึงวิธีการออกแบบโครงการ C ++ ที่ทันสมัยและสอนวิธีใช้การทดสอบหน่วยและมาตรฐานเพื่อทดสอบและตรวจสอบโครงการของคุณ
  4. ผู้ให้บริการ CPU และการใช้งานแบ็กเอนด์ Cuda คู่มีการสนับสนุนที่ดีมากสำหรับรุ่นใหญ่ใหม่ (Llama3 และ Qwen Series)

หากคุณมีความสนใจในการใช้เหตุผลแบบจำลองขนาดใหญ่ต้องการมีความเข้าใจในเชิงลึกและเทคโนโลยีที่เกี่ยวข้องกับต้นแบบและต้องการที่จะโดดเด่นในการสรรหาบุคลากรในโรงเรียนและการสัมภาษณ์การรับสมัครในฤดูใบไม้ร่วงหลักสูตรนี้ "กรอบการอนุมานแบบจำลองขนาดใหญ่ที่ทำด้วยมือ" มาร่วมกับเราและเริ่มต้นการเดินทางการเรียนรู้ของคุณด้วยกัน! นักเรียนที่สนใจสามารถสแกนรหัส QR ด้านล่างหลักสูตรหรือเพิ่ม WeChat Lyrry1997 เพื่อเข้าร่วมหลักสูตร

นำคุณไปสู่การสร้างกรอบการใช้เหตุผลการเรียนรู้อย่างลึกซึ้งด้วยมือของคุณเอง ติดตามพื้นที่สถานี B ของฉันเพื่อรับการอัปเดตวิดีโอล่าสุด

ทำตามโครงการนี้และเริ่มต้นด้วยกรอบการใช้เหตุผลการเรียนรู้เชิงลึกของคุณเองตั้งแต่เริ่มต้นคุณจะได้รับสิ่งต่อไปนี้:

  1. เรียนรู้ความรู้เบื้องหลังกรอบการเรียนรู้อย่างลึกซึ้งเชี่ยวชาญวิธีการเขียนทักษะการดีบักและประสบการณ์ทางวิศวกรรมของโครงการ C ++ ที่ทันสมัย
  2. วิธีการออกแบบและเขียนแผนภาพการคำนวณ
  3. ใช้ผู้ให้บริการทั่วไปผู้ให้บริการ Convolution ผู้ประกอบการรวมตัวดำเนินการที่เชื่อมต่ออย่างสมบูรณ์ ฯลฯ ;
  4. ขึ้นอยู่กับ 3 ให้เรียนรู้วิธีการเพิ่มประสิทธิภาพทั่วไปเพื่อเร่งการดำเนินการของผู้ประกอบการ
  5. ในที่สุดคุณจะได้รับกรอบการใช้เหตุผลของคุณเองซึ่งอาจให้เหตุผลว่า Resnet, UNET, YOLOV5, Mobilenet และโมเดลอื่น ๆ ซึ่งจะเป็นประโยชน์อย่างมากต่อการสัมภาษณ์และความก้าวหน้าความรู้

ลิงค์หลักสูตรวิดีโอ: https://space.bilibili.com/1822828582

เค้าโครงหลักสูตร

หลักสูตรที่สองเป็นเวอร์ชันรีเซ็ตของหลักสูตรแรกและเนื้อหานั้นเติมเต็มและสมบูรณ์แบบมากขึ้น ดูบทด้านล่างสำหรับโครงร่างหลักสูตรแรก

จำนวนหลักสูตร กำหนดการ ลิงค์หลักสูตร
การบรรยาย 1 ตัวอย่างโครงการและการกำหนดค่าสภาพแวดล้อม เสร็จ https://www.bilibili.com/video/bv118411f7ym
การบรรยาย 2 การออกแบบและการใช้งานของเทนเซอร์ เสร็จ https://www.bilibili.com/video/bv1hn411k7q7
การบรรยาย 3 คำจำกัดความของกราฟการคำนวณ เสร็จ https://www.bilibili.com/video/bv1vc411m7yp
การบรรยายที่ 4: การสร้างความสัมพันธ์กราฟการคำนวณและลำดับการดำเนินการ เสร็จ https://www.bilibili.com/video/bv19s4y1r7az
การบรรยาย 5: ผู้ประกอบการและพนักงานที่ลงทะเบียนใน Kuiperinfer เสร็จ https://www.bilibili.com/video/bv1gx4y1o7pj
การบรรยาย 6: การดำเนินการตามความเชื่อและผู้ประกอบการรวม เสร็จ https://www.bilibili.com/video/bv1hx4y197ds
การบรรยายที่ 7: การวิเคราะห์คำศัพท์และการวิเคราะห์ทางไวยากรณ์และการใช้งานตัวดำเนินการในเลเยอร์นิพจน์ เสร็จ https://www.bilibili.com/video/bv1j8411o7ao
การบรรยาย 8: กรอบการใช้เหตุผลแบบโฮมเมดสนับสนุนการใช้เหตุผลของเครือข่าย resnet เสร็จ https://www.bilibili.com/video/bv1o84y1o7ni
การบรรยาย 9: กรอบการใช้เหตุผลแบบโฮมเมดสนับสนุนการใช้เหตุผลของเครือข่าย YOLOV5 เสร็จ https://www.bilibili.com/video/bv1qk4y1a7xl

ผลการสาธิต

การแบ่งส่วนความหมายแบบไม่ใช้

- ปัจจุบัน KuiperInfer รองรับการอนุมานเครือข่าย UNET และใช้น้ำหนักก่อนการฝึกอบรมของ Carvana

การทำซ้ำการใช้เหตุผลสามารถอ้างถึง การสาธิตที่ใช้ Kuiper ในตอนท้ายของบทความ

การตรวจจับเป้าหมาย YOLOV5

การสาธิตโดยตรงใช้น้ำหนักที่ได้รับการฝึกอบรมล่วงหน้า (ชุดข้อมูล COCO) ของ YOLOV5-S และใช้ KuiperInfer เพื่อเหตุผล

เค้าโครงหลักสูตรแรก

ฉันมีหลักสูตรการสอนเกี่ยวกับ Bilibili และปัจจุบันเป็นหลักสูตร 13 หลักสูตรแรกในหลักสูตร โครงร่างหลักสูตรมีดังนี้หน้าแรกคือ: https://space.bilibili.com/1822828582 ทุกคนยินดีที่จะติดตามและสนับสนุน วิธีการเข้าสู่กลุ่มการเรียนรู้ดังแสดงในรหัส QR ในภาพด้านบน

จำนวนหลักสูตร เนื้อหาหลัก กำหนดการ ลิงค์หลักสูตร
ชั้นหนึ่ง การตีความกรอบการทำงานโดยรวมและการกำหนดค่าสภาพแวดล้อมการพัฒนา เสร็จ https://www.bilibili.com/video/bv1hv4y1a7h8/
บทเรียนที่สอง การวิเคราะห์คลาสเทนเซอร์เทนเซอร์และการจัดเรียงหน่วยความจำของข้อมูลอินพุต เสร็จ https://www.bilibili.com/video/bv1ed4y1v7gb/
บทเรียนที่สาม เริ่มต้นอินสแตนซ์ของเทนเซอร์เทนเซอร์จากไฟล์ CSV เสร็จ https://www.bilibili.com/video/bv1pg411j7v5/
บทที่ 4 เขียนด้วยลายมือผู้ให้บริการรายแรก Relu และจบคลาสโรงงานลงทะเบียนผู้ให้บริการ เสร็จ https://www.bilibili.com/video/bv1bg4y1j7sq/
บทเรียนที่ 5 หลักการของ IM2COL และการดำเนินการตามตัวดำเนินการ Convolution เสร็จ https://www.bilibili.com/video/bv1f841137ct
บทที่ 6 ทำ MaxPooling Operator โดยการวาดแมวและวาดเสือ เสร็จ https://www.bilibili.com/video/bv1m3411s7yy
บทที่ 7 คำอธิบายโครงสร้างกราฟ (PNNX) และกราฟการคำนวณเบื้องต้น เสร็จ https://www.bilibili.com/video/bv1vw4y1v7vp
บทที่ 8 อ่าน pnnx และสร้างแผนภาพการคำนวณของคุณเอง เสร็จ https://www.bilibili.com/video/bv1hy4y1z7s3
บทที่ 9 การดำเนินการตามตัวดำเนินการ Convolution และหลักการของการคำนวณแบบเร่งความเร็ว IM2COL เสร็จ https://www.bilibili.com/video/bv1f841137ct
บทเรียนที่ 10 สำรวจคลาส Tensor อีกครั้งสร้างความสัมพันธ์กราฟของกราฟการคำนวณและจัดสรรอินพุตและเอาต์พุตล่วงหน้าของตัวดำเนินการ เสร็จ https://www.bilibili.com/video/bv1m54y1k7k
บทที่ 11 กระบวนการดำเนินการของผู้ประกอบการ เสร็จ https://www.bilibili.com/video/bv1wy411c7kv
บทที่ 12 ใช้กรอบการใช้เหตุผลแบบโฮมเมดของเราเพื่อให้การอนุมานและการจำแนกรูปภาพของเครือข่าย resnet เสร็จสมบูรณ์ เสร็จ https://www.bilibili.com/video/bv1jd4y1m772
บทเรียนที่ 13 สนับสนุนการใช้เหตุผลของโมเดล YOLOV5 ด้วยกรอบการใช้เหตุผลแบบโฮมเมด เสร็จ https://www.bilibili.com/video/bv1xs4y1j7t2

การบริจาคโครงการ

รายชื่อผู้สนับสนุน

ขอบคุณนักเรียนต่อไปนี้สำหรับความพยายามในการ KuiperInfer

  • zjhellofss
  • liuxubit
  • อาซูเชน
  • WFS2010
  • MLMZ
  • Tigerrr07
  • zyt1024
  • zpye
  • cmcamdy
  • SuperCB
  • Sanbuphy
  • typefloat
  • ดอกมะลิขึ้น
  • Perryskywalker
  • Delve-wang
  • z-learner
  • Meihongtao

จะมีส่วนร่วมในการมีส่วนร่วมของโครงการได้อย่างไร?

  1. ส่งรหัสเพื่อเพิ่มคุณสมบัติใหม่หรือแก้ไขข้อบกพร่อง
  2. ให้คำแนะนำที่เป็นประโยชน์อย่างยิ่ง
  3. ปรับปรุงเอกสารหรือเพิ่มการทดสอบหน่วย

ความสัมพันธ์ระหว่างโครงการนี้และหลักสูตรวิดีโอ

  • โครงการนี้เทียบเท่ากับโครงการต้นน้ำหรือการวิจัยก่อนหลักสูตรของหลักสูตร

  • คุณลักษณะทุกอย่างที่นี่อาจกลายเป็นจุดความรู้ในหลักสูตรวิดีโอไม่ว่าจะเป็นการพัฒนาโดยฉันหรือปรับปรุงโดยนักเรียนคนอื่น ๆ

เทคโนโลยีและการพัฒนาสภาพแวดล้อมที่ใช้

  • ภาษาการพัฒนา: C ++ 17
  • คณิตศาสตร์ห้องสมุด: Armadillo + OpenBlas (หรือ Intel MKL ที่เร็วกว่า)
  • ห้องสมุดเร่งความเร็ว: OpenMP
  • การทดสอบหน่วย: การทดสอบของ Google
  • การทดสอบประสิทธิภาพ: Google Benchmark

กระบวนการติดตั้ง (ใช้ Docker)

  1. Docker Pull Registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:latest
  2. Sudo Docker Run -t -i Registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:latest/bin/bash
  3. รหัสซีดี
  4. Git Clone -recursive https://github.com/zjhellofss/kuiperinfer.git
  5. cd kuiperinfer
  6. Git Checkout -b สาขาใหม่ของคุณ Study_version_0.02 (หากคุณต้องการคัดลอกรหัสสำหรับโครงการโปรดใช้ขั้นตอนนี้เพื่อเปลี่ยนไปใช้แท็กการศึกษา)
  7. mkdir build
  8. บิลด์ซีดี
  9. cmake -dcmake_build_type = release -ddevelopment = ปิด ..
  10. ทำ -j $ (nproc)

เคล็ดลับ:

  1. -DDEVELOPMENT=ON คุณต้องการพัฒนา kuiperinfer โปรดใช้ git clone -recursive https://github.com/zjhellofss/kuiperinfer.git เพื่อดาวน์โหลด tmp โฟลเดอร์ $DEVELOPMENT ในเวลาเดียวกัน
  2. หากความเร็วอินเทอร์เน็ตในประเทศติดออม
  3. หากคุณต้องการประสบการณ์การรันที่เร็วขึ้น repompile openblas หรือ apt ติดตั้ง intel-mkl natively

กระบวนการติดตั้ง (Building Docker Image)

  1. Docker Build -t KuiperInfer: ล่าสุด
  2. Docker Run -Name KuiperInfer -it KuiperInfer: ล่าสุด /bin /bash
  3. ซีดี /แอป
  4. อ้างถึงขั้นตอนที่ 4-10 ของกระบวนการติดตั้งข้างต้นสำหรับส่วนที่เหลือของขั้นตอน

กระบวนการติดตั้ง (ไม่ได้ใช้ Docker)

  1. Git Clone -recursive https://github.com/zjhellofss/kuiperinfer.git
  2. git checkout -b สาขาใหม่ของคุณ study_version_0.01 (หากคุณต้องการคัดลอกรหัสสำหรับโครงการโปรดใช้ขั้นตอนนี้เพื่อเปลี่ยนไปใช้แท็กการศึกษา)
  3. ติดตั้งสภาพแวดล้อมที่จำเป็น (แนะนำให้ใช้ OpenBlas เพื่อรวบรวมและติดตั้งซึ่งสามารถใช้ความเร็วในการทำงานได้เร็วขึ้นหรือใช้ APT ติดตั้ง Intel-MKL แทน OpenBlas) 
 apt install cmake, libopenblas-dev, liblapack-dev, libarpack-dev, libsuperlu-dev
  1. ดาวน์โหลดและรวบรวม armadillo https://arma.sourceforge.net/download.html
  2. รวบรวมและติดตั้ง Glog Google Test Google Benchmark
  3. ขั้นตอนที่เหลือสอดคล้องกับข้างต้น

เคล็ดลับ:

  1. ในระหว่างกระบวนการรวบรวมของ Google Benchmark หากคุณพบข้อผิดพลาดเกี่ยวกับ GTEST ที่หายไปคุณสามารถปิดตัวเลือก GTEST ใน CMAKE ของ Google Benchmark

เรียกใช้การสาธิตของ Kuiper

เรียกใช้เหตุผลของ Unet

โปรดคัดลอกที่อยู่สัมบูรณ์หรือที่อยู่สัมพัทธ์ของรูปภาพ test.png ในโฟลเดอร์ tmp/unet/demo หลังจากการรวบรวมจากนั้นเรียกใช้โปรแกรมการอนุมานในรูปแบบต่อไปนี้ใน build/demos 

./unet_test test.png unet_demo.pnnx.param unet_demo.pnnx.bin

ที่อยู่ดาวน์โหลดของรุ่น PNNX: https://cowtransfer.com/s/09c7f337bab443

หากการใช้เหตุผลสำเร็จคุณจะเห็นผลลัพธ์ของการแยกภาพต้นฉบับในโฟลเดอร์ unet_output.jpg

การให้เหตุผลสำหรับการใช้งาน yolov5

โปรดแก้ไขรหัสต่อไปนี้ในโฟลเดอร์ yolo_test.cpp ภายใต้โฟลเดอร์ Demos 

 const std::string& image_path = " imgs/car.jpg " ;
const std::string& param_path = " tmp/yolo/demo/yolov5s_batch8.pnnx.param " ;
const std::string& bin_path = " tmp/yolo/demo/yolov5s_batch8.pnnx.bin " ;

  • image_path ระบุไดเรกทอรีรูปภาพ param_path เป็นไฟล์พารามิเตอร์ของโมเดลและ bin_path เป็นไฟล์น้ำหนักของโมเดล โปรดแทนที่ด้วยเส้นทางในพื้นที่ของคุณ

  • คำจำกัดความของรุ่นและที่อยู่ดาวน์โหลดน้ำหนักมีดังนี้: https://cowtransfer.com/s/9bc43e0905cb40

  • หลังจากการรวบรวมเสร็จสมบูรณ์แล้วโทร ./build/demos/yolo_test demos/yolo_test ในไดเรกทอรีโครงการ

ผู้ประกอบการที่ได้รับการสนับสนุน

แนวคิดโดยรวม: ค่อยๆเพิ่มประสิทธิภาพผู้ให้บริการที่มีอยู่ พัฒนาตัวดำเนินการที่ไม่ได้ใช้งานเมื่อจำเป็น

  • การสานต่อ
  • AdaptivePooling
  • maxpooling
  • นิพจน์ (แผนผังไวยากรณ์นามธรรม)
  • แบน, ดู (มิติความแบนและการเสียรูป)
  • sigmoid
  • hardsigmoid
  • ฮ่ำ
  • เพลง
  • เชิงเส้น (การคูณเมทริกซ์)
  • ซอฟต์แม็กซ์
  • batchnorm
  • การอัพ
  • ซิลลู
  • การต่อ
  • การถ่ายทอด

สารบัญ

แหล่งที่มา คือไดเรกทอรีต้นฉบับ

  1. ข้อมูล/ คือการใช้งานเทนเซอร์คลาสเทนเซอร์และวิธีการเริ่มต้นเทนเซอร์
  2. เลเยอร์/ คือการใช้งานของผู้ประกอบการ
  3. parser/ เป็นคลาส parser สำหรับนิพจน์ pnnx
  4. รันไทม์/ เป็นโครงสร้างกราฟการคำนวณการวิเคราะห์และการรันไทม์ที่เกี่ยวข้อง

การทดสอบ เป็นไดเรกทอรีการทดสอบหน่วยโดยทั่วไปใช้สิทธิ์การทดสอบหน่วยของวิธีการสาธารณะ

Benchmark เป็นเกณฑ์มาตรฐานของ Google ซึ่งมีการทดสอบประสิทธิภาพสำหรับ Mobilenetv3, Resnet18 และ YOLOV5S

การทดสอบประสิทธิภาพ

อุปกรณ์ทดสอบ

15 CORE AMD EPYC 7543 (Xiaolong) 32-Core Processor (Docker Container โฮสต์มีทั้งหมด 32 คอร์)

สภาพแวดล้อมการรวบรวม

GCC (Ubuntu 9.4.0-1ubuntu1 ~ 20.04.1) 9.4.0

ผลการปฏิบัติงาน

ใช้เวลานานและดำเนินการติดต่อกันห้าครั้งและคำนวณในทางเฉลี่ย

ขนาดอินพุต ชื่อนางแบบ อุปกรณ์คอมพิวเตอร์ ใช้เวลานาน
224 × 224 แบทช์ = 8 mobilenetv3small CPU (Armadillo + OpenBlas) 6.76ms/รูปภาพ
224 × 224 แบทช์ = 8 resnet18 CPU (Armadillo + OpenBlas) 23.53ms/รูปภาพ
224 × 224 แบทช์ = 16 resnet18 CPU (Armadillo + OpenBlas) 13.52ms/รูปภาพ
640 × 640 แบทช์ = 8 YOLOV5NANO CPU (Armadillo + OpenBlas) 78.37ms/รูปภาพ
640 × 640 แบทช์ = 8 YOLOV5S CPU (Armadillo + OpenBlas) 177.54ms/รูปภาพ
640 × 640 แบทช์ = 16 YOLOV5S CPU (Armadillo + OpenBlas) 134.57ms/รูปภาพ

กิตติกรรมประกาศ

กรอบการใช้เหตุผล NCNN ยังคงรักษาโปรโตคอล BSD ของ NCNN ไว้ในรหัสอ้างอิง https://github.com/tencent/ncnn

ห้องสมุดคณิตศาสตร์ที่ยอดเยี่ยม OpenBlas: https://github.com/xianyi/openblas

ห้องสมุดคณิตศาสตร์ที่ยอดเยี่ยม Armadillo: https://arma.sourceforge.net/docs.html

เฟรมเวิร์กคาเฟอีนที่เป็นแรงบันดาลใจให้ฉัน: https://github.com/bvlc/caffe

เฟรมเวิร์ก fmath: https://github.com/herumi/fmath/

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด