الصفحة الرئيسية>المتعلقة بالبرمجة>بايثون
تنزيل

الأخبار: إصدار جديد للدورة ، "إطار استدلال النموذج الجماعي المصنوع يدويًا" ، ومشغل CUDA المكتوبة بخط اليد ، وموديلات Course Llama2 و 3.x و QWEN2.5

مرحبا مرحبا أيها الأصدقاء! أنا مؤلف كتاب Kuiperinfer. كدورة مفتوحة المصدر ، فاز Kuiperinfer بنجوم 2.5k على Github حتى الآن. استنادًا الآن إلى الدورة الأصلية ، قمنا بإطلاق "إطار عمل استدلال متدرب على العمل اليدوية". تدعم الدورة الجديدة سلسلة من النماذج Llama (بما في ذلك أحدث سلسلة من الطرز LLAMA3.2) و QWEN2.5 ، ويدعم تسريع CUDA و int8 ، والتي تم الإشادة بها على نطاق واسع منذ إطلاقها.

كتالوج الدورة التدريبية من "إطار استنتاج النماذج النموذجية المصنوعة يدويًا":

https://l0kzvikuq0w.feishu.cn/docx/zf2hd0xfaoaxqcpn2c5ohanbc

مزايا الدورة من "إطار الاستدلال اليدوي المصنوع يدويًا"

  1. استخدم أحدث معايير C ++ 20 لكتابة الرمز ، بأسلوب رمز موحد وجميل ، ومعالجة خطأ جيدة ؛
  2. لإدارة المشاريع الممتازة ، نستخدم Cmake+Git لإدارة المشاريع والتواصل مع الشركات الكبيرة ؛
  3. تعليم الناس كيفية تصميم مشروع C ++ الحديث ، وتعليمك كيفية استخدام اختبارات الوحدة والمعيار لاختبار مشاريعك والتحقق منها ؛
  4. يتمتع مشغل وحدة المعالجة المركزية وتطبيق CUDA المزدوج الخلفي بدعم جيد للغاية لنماذج كبيرة جديدة (LLAMA3 و Qwen Series).

إذا كنت مهتمًا بالتفكير النموذجي الكبير ، فأنت تريد أن يكون لديك فهم متعمق وإتقان التقنيات ذات الصلة ، وتريد أن تبرز في مقابلات التوظيف في المدارس وتوظيف الخريف ، ثم يجب عدم تفويت "إطار استنتاج النموذج الكبير المصنوع يدويًا". تعال وانضم إلينا وابدأ رحلة التعلم معًا! نرحب الطلاب المهتمين لمسح رمز الاستجابة السريعة أسفل الدورة أو إضافة WeChat Lyrry1997 للمشاركة في الدورة التدريبية

تقودك إلى إنشاء إطار عمل تعليمي عميق بيديك. اتبع مساحة محطة B الخاصة بي للحصول على أحدث تحديثات الفيديو.

اتبع هذا المشروع وابدأ بإطار التفكير العميق الخاص بك من الصفر ، وسوف تكتسب ما يلي:

  1. تعلم المعرفة وراء إطار التعلم العميق ، إتقان أساليب الكتابة ، ومهارات التصحيح والخبرة الهندسية لمشاريع C ++ الحديثة ؛
  2. كيفية تصميم وكتابة مخطط حساب.
  3. تنفيذ المشغلين المشتركين ومشغلي الالتفاف ومشغلي التجميع والمشغلين المتصلين بالكامل وما إلى ذلك ؛
  4. استنادًا إلى 3 ، تعلم طرق التحسين الشائعة لتسريع تنفيذ المشغلين ؛
  5. أخيرًا ، ستحصل على إطار عمل التفكير الخاص بك ، والذي يمكن أن يفكر في Resnet و UNET و YOLOV5 و Mobilenet وغيرها من النماذج ، والتي ستكون ذات فائدة كبيرة للمقابلات والتقدم المعرفة.

رابط دورة الفيديو: https://space.bilibili.com/1822828582

الخطوط العريضة للدورة

الدورة الثانية هي نسخة إعادة تعيين من الدورة الأولى ، والمحتوى أكثر إرضاءً وكمالًا. انظر الفصل أدناه لمخطط الدورة الأولى.

عدد الدورات جدول رابط المسار
محاضرة 1 معاينة المشروع وتكوين البيئة ينهي https://www.bilibili.com/video/bv118411f7ym
محاضرة 2 تصميم وتنفيذ التوتر ينهي https://www.bilibili.com/video/bv1hn411k7q7
محاضرة 3 تعريف الرسم البياني الحسابي ينهي https://www.bilibili.com/video/bv1vc411m7yp
المحاضرة 4: بناء علاقات الرسم البياني الحسابي وترتيب التنفيذ ينهي https://www.bilibili.com/video/bv19s4y1r7az
المحاضرة 5: المشغلين والعمال المسجلين في كويبرنفير ينهي https://www.bilibili.com/video/bv1gx4y1o7pj
المحاضرة 6: تنفيذ مشغلي الالتفاف وتجميع ينهي https://www.bilibili.com/video/bv1hx4y197ds
المحاضرة 7: التحليل المعجمي والتحليل النحوي وتنفيذ المشغل في طبقة التعبير ينهي https://www.bilibili.com/video/bv1j8411o7ao
المحاضرة 8: يدعم إطار التفكير المنزلي المنزلي تفكير شبكات Resnet ينهي https://www.bilibili.com/video/bv1o84y1o7ni
المحاضرة 9: يدعم إطار التفكير المنزلي محلي الصنع التفكير في شبكة YOLOV5 ينهي https://www.bilibili.com/video/bv1qk4y1a7xl

التأثير التجريبي

تجزئة الدلالية UNET

؟ يدعم KuiperInfer حاليًا استدلال شبكة UNET ويستخدم أوزان Carvana قبل التدريب

يمكن أن يشير استنساخ المنطق إلى العرض التجريبي الذي يدير Kuiper في نهاية المقالة

yolov5 الكشف الهدف

يستخدم العرض التوضيحي مباشرة الأوزان التي تم تدريبها مسبقًا (مجموعة بيانات COCO) لـ YOLOV5-S وتستخدم kuiperinfer إلى العقل

الخطوط العريضة للدورة الأولى

لديّ دورة تدريسية على Bilibili ، وهي حاليًا أول 13 دورات في الدورة. مخطط الدورة التدريبية هو كما يلي ، الصفحة الرئيسية هي: https://space.bilibili.com/18228582. الجميع مرحب بهم للمتابعة والدعم. طريقة دخول مجموعة التعلم كما هو موضح في رمز الاستجابة السريعة في الصورة أعلاه.

عدد الدورات المحتوى الرئيسي جدول رابط المسار
الدرجة الأولى تكوين تفسير الإطار العام وبيئة التطوير ينهي https://www.bilibili.com/video/bv1hv4y1a7h8/
الدرس الثاني تحليل فئة الموتر الموتر وترتيب الذاكرة لبيانات الإدخال ينهي https://www.bilibili.com/video/bv1ed4y1v7gb/
الدرس الثالث تهيئة مثيل من موتر الموتر من ملف CSV ينهي https://www.bilibili.com/video/bv1pg411j7v5/
الدرس 4 مكتوبة بخط اليد أول مشغل إعادة تسليح وأكمل فئة مصنع تسجيل المشغل ينهي https://www.bilibili.com/video/bv1bg4y1j7sq/
الدرس 5 مبدأ IM2COL وتنفيذ مشغل الالتواء ينهي https://www.bilibili.com/video/bv1f841137ct
الدرس 6 أكمل مشغل MaxPooling عن طريق رسم قطة ورسم نمر ينهي https://www.bilibili.com/video/bv1m3411s7yy
الدرس 7 شرح بنية الرسم البياني (PNNX) ينهي https://www.bilibili.com/video/bv1vw4y1v7vp
الدرس 8 اقرأ pnnx وقم ببناء مخطط الحساب الخاص بك ينهي https://www.bilibili.com/video/bv1hy4y1z7s3
الدرس 9 تنفيذ مشغل الالتواء ومبدأ الحساب المتسارع IM2COL ينهي https://www.bilibili.com/video/bv1f841137ct
الدرس 10 استكشف فئة الموتر مرة أخرى ، قم بإنشاء علاقة الرسم البياني للرسم البياني الحساب وتخصيص إدخال وإخراج المشغل مسبقًا ينهي https://www.bilibili.com/video/bv1m54y1k7ag
الدرس 11 عملية تنفيذ المشغل ينهي https://www.bilibili.com/video/bv1wy411c7kv
الدرس 12 استخدم إطار التفكير المنزلي الخاص بنا لإكمال استدلال وتصنيف صور شبكات Resnet ينهي https://www.bilibili.com/video/bv1jd4y1m772
الدرس 13 دعم منطق نموذج YOLOV5 مع إطار التفكير محلي الصنع ينهي https://www.bilibili.com/video/bv1xs4y1j7t2

مساهمة المشروع

قائمة مساهم

بفضل الطلاب التاليين لجهودهم إلى KuiperInfer

  • Zjhellofss
  • liuxubit
  • Azusachan
  • WFS2010
  • MLMZ
  • tigerrr07
  • ZYT1024
  • زبي
  • cmcamdy
  • سوبر
  • Sanbuphy
  • kyploat
  • ياسمين
  • بيرسكيوكر
  • Delve-Wang
  • Z-Learner
  • ميهونغتا

كيف تشارك في مساهمات المشروع؟

  1. إرسال رمز لإضافة ميزات جديدة أو تعديل الأخطاء ؛
  2. تقديم اقتراحات مفيدة بشكل خاص ؛
  3. تحسين الوثائق أو إضافة اختبارات الوحدة.

العلاقة بين هذا المشروع ودورة الفيديو

  • هذا المشروع يعادل مشروع المنبع أو ما قبل البحث في الدورة التدريبية

  • قد تصبح كل ميزة هنا نقطة معرفة في دورة الفيديو ، سواء تم تطويرها من قِبل طلاب آخرين.

تستخدم بيئة التكنولوجيا والتنمية

  • لغة التطوير: C ++ 17
  • مكتبة الرياضيات: Armadillo + OpenBlas (أو أسرع Intel MKL)
  • مكتبة التسارع: OpenMP
  • اختبار الوحدة: اختبار Google
  • اختبار الأداء: google stistmark

عملية التثبيت (باستخدام Docker)

  1. Docker Pull Registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:latest
  2. Sudo Docker Run -T -i registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:latest/bin/bash
  3. رمز القرص المضغوط
  4. git clone -recursive https://github.com/zjhellofss/kuiperinfer.git
  5. CD KUIPERINFER
  6. GIT Checkout -B الخاص بك Branch Study_Version_0.02 (إذا كنت ترغب في نسخ الرمز للمشروع ، يرجى استخدام هذه الخطوة للتبديل إلى علامة الدراسة)
  7. MKDIR بناء
  8. بناء القرص المضغوط
  9. cmake -dcmake_build_type = الإصدار -ddevelopment = Off ..
  10. جعل -J $ (NPROC)

نصائح:

  1. إذا كنت بحاجة إلى تطوير kuiperinfer ، فيرجى استخدام Git Clone -https://github.com/zjhellofss/kuiperinfer.git لتنزيل TMP المجلد الفرعي في نفس الوقت ، وضبط $DEVELOPMENT أو تحديد -DDEVELOPMENT=ON في ملف Cmake.
  2. إذا كانت سرعة الإنترنت المحلية متعثرة ، فيرجى استخدام git clone https://gitee.com/fssssss/kuiperinfergite.git
  3. إذا كنت تريد تجربة تشغيل أسرع ، أو إعادة ترجمة OpenBlas أو apt تثبيت Intel-MKL أصلاً

عملية التثبيت (بناء صورة Docker)

  1. Docker Build -T Kuiperinfer: الأحدث.
  2. Docker Run -Name Kuiperinfer -it Kuiperinfer: أحدث /bin /bash
  3. CD /APP
  4. ارجع إلى الخطوات 4-10 من عملية التثبيت أعلاه لبقية الخطوات

عملية التثبيت (لم يتم استخدام Docker)

  1. git clone -recursive https://github.com/zjhellofss/kuiperinfer.git
  2. GIT Checkout -b الخاص بك Branch Study_Version_0.01 (إذا كنت ترغب في نسخ الرمز للمشروع ، يرجى استخدام هذه الخطوة للتبديل إلى علامة الدراسة)
  3. تثبيت البيئة اللازمة (يوصى بتجميع وتثبيت التثبيت ، والتي يمكن أن تحقق سرعة تشغيل أسرع ، أو استخدام تثبيت intel-MKL بدلاً من OpenBlas) 
 apt install cmake, libopenblas-dev, liblapack-dev, libarpack-dev, libsuperlu-dev
  1. تنزيل وتجميع Armadillo https://arma.sourceforge.net/download.html
  2. ترجمة وتثبيت glog Google Test Google Benchmark
  3. الخطوات المتبقية تتفق مع ما سبق

نصائح:

  1. أثناء عملية التجميع الخاصة بـ Google Benchmark ، إذا واجهت خطأً حول GTEST مفقود ، فيمكنك إيقاف تشغيل خيار GTEST في CMAKE OF Google Benchmark

قم بتشغيل العرض التوضيحي لكويبر

قم بتشغيل منطق Unet

يرجى نسخ العنوان المطلق أو النسبي لصورة test.png في المجلد tmp/unet/demo بعد التجميع ، ثم تشغيل برنامج الاستدلال بالتنسيق التالي في build/demos 

./unet_test test.png unet_demo.pnnx.param unet_demo.pnnx.bin

عنوان تنزيل نموذج PNNX: https://cowtransfer.com/s/09c7f337bab443

إذا نجح المنطق ، فسترى نتيجة تقسيم الصورة الأصلية في المجلد unet_output.jpg.

التفكير في تشغيل YOLOV5

يرجى تعديل الكود التالي في مجلد yolo_test.cpp ضمن مجلد التجو التجريبي 

 const std::string& image_path = " imgs/car.jpg " ;
const std::string& param_path = " tmp/yolo/demo/yolov5s_batch8.pnnx.param " ;
const std::string& bin_path = " tmp/yolo/demo/yolov5s_batch8.pnnx.bin " ;

  • image_path يحدد دليل الصورة ، param_path هو ملف معلمة النموذج ، و bin_path هو ملف وزن النموذج. الرجاء استبداله بالمسار المحلي الخاص بك.

  • تعريف النموذج وعنوان تنزيل الوزن كما يلي: https://cowtransfer.com/s/9bc43e0905cb40

  • بعد اكتمال التجميع ، اتصل ./build/demos/yolo_test في دليل المشروع

المشغلين الذين تم دعمهم

المفهوم العام: تحسين المشغلين الحاليين تدريجياً ؛ تطوير عوامل لا جدال فيها عند الحاجة

  • التفاف
  • AdaptivePooling
  • maxpooling
  • التعبير (شجرة بناء الجملة التجريدية)
  • مسطح ، عرض (تسطيح الأبعاد والتشوه)
  • sigmoid
  • Hardsigmoid
  • الصلبة
  • RELU
  • خطي (مضاعفة المصفوفة)
  • softmax
  • دفقة
  • upsample
  • سلو
  • CONCAT
  • convtranspose

جدول المحتويات

المصدر هو الدليل المصدر

  1. البيانات/ هي تنفيذ موتر فئة الموتر وطريقة تهيئة الموتر
  2. الطبقة/ هي تنفيذ المشغل
  3. محلل/ هو فئة محللات لتحليل تعبيرات pnnx
  4. وقت التشغيل/ هو بنية الرسم البياني الحساب والتحليل ووقت التشغيل المتعلق

الاختبار هو دليل اختبار الوحدة ، ويطبق بشكل أساسي حقوق اختبار الوحدة للطريقة العامة

Benchmark هو معايير Google ، والتي تحتوي على اختبارات أداء لـ Mobilenetv3 و Resnet18 و Yolov5s.

اختبار الأداء

معدات الاختبار

15 Core AMD EPYC 7543 (Xiaolong) 32-Core Processor (Docker Container ، يحتوي المضيف على 32 نوى)

بيئة التجميع

GCC (Ubuntu 9.4.0-1UBuntu1 ~ 20.04.1) 9.4.0

نتائج الأداء

تستغرق وقتًا طويلاً وتشغيل خمس مرات متتالية ويتم حسابها بطريقة متوسطة

حجم الإدخال اسم النموذج معدات الحوسبة يستغرق وقتا طويلا
224 × 224 دفعة = 8 mobilenetv3small وحدة المعالجة المركزية (Armadillo + OpenBlas) 6.76ms/الصورة
224 × 224 دفعة = 8 RESNET18 وحدة المعالجة المركزية (Armadillo + OpenBlas) 23.53ms/Image
224 × 224 دفعة = 16 RESNET18 وحدة المعالجة المركزية (Armadillo + OpenBlas) 13.52ms/الصورة
دفعة 640 × 640 = 8 Yolov5nano وحدة المعالجة المركزية (Armadillo + OpenBlas) 78.37ms/الصورة
دفعة 640 × 640 = 8 Yolov5s وحدة المعالجة المركزية (Armadillo + OpenBlas) 177.54ms/صورة
640 × 640 دفعة = 16 Yolov5s وحدة المعالجة المركزية (Armadillo + OpenBlas) 134.57ms/Image

شكر وتقدير

احتفظ إطار التفكير NCNN ببروتوكول BSD من NCNN في الكود المشار إليه https://github.com/tencent/ncnn

مكتبة رياضيات ممتازة OpenBlas: https://github.com/xianyi/openblas

مكتبة الرياضيات ممتازة Armadillo: https://arma.sourceforge.net/docs.html

إطار الكافيين الذي يلهمني: https://github.com/bvlc/caffe

FMATH Framework: https://github.com/herumi/fmath/

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل