تنزيل nanodet - تنزيل رمز مصدر nanodet

nanodet

بايثون

v1.0.0

تنزيل

نانوديت زائد

نموذج الكشف عن الكشف عن الكائن الخالي من مرساة خفيفة الوزن فائقة الدقة. الوقت الحقيقي على الأجهزة المحمولة.

⚡super Lightweight: ملف النموذج هو فقط 980 كيلو بايت (int8) أو 1.8 ميجابايت (FP16).
⚡Super Fast: 97 إطارًا في الثانية (10.23 مللي ثانية) على وحدة المعالجة المركزية ARM Mobile.
دقة عالية: ما يصل إلى 34.3 خريطة ^Val @0.5: 0.95 وما زالت في الوقت الفعلي على وحدة المعالجة المركزية.
؟ التدريب ودية: أقل بكثير من تكلفة ذاكرة وحدة معالجة الرسومات من النماذج الأخرى. حجم الدفعات = 80 متاح على GTX1060 6G.
؟ من السهل النشر: دعم العديد من الخلفية بما في ذلك NCNN و MNN و Openvino . أيضا توفير العرض التوضيحي Android على أساس إطار الاستدلال NCNN.

مقدمة

Nanodet هو نموذج الكشف عن الكائنات الخالية من المرساة على طراز FCOS والذي يستخدم فقدان البؤرة المعمم كتصنيف وفقدان الانحدار.

في nanodet-plus ، نقترح استراتيجية تخصيص تسمية جديدة مع وحدة توجيه بسيطة تعيين (AGM) ومُشكال تسمية ناعمة ديناميكية (DSLA) لحل مشكلة تعيين الملصقات المثلى في التدريب الخفيف النماذج. نقدم أيضًا هرم ميزة الضوء يسمى Ghost-Pan لتعزيز الانصهار الميزات متعددة الطبقات. هذه التحسينات تعزز دقة اكتشاف Nanodet السابقة من قبل 7 خريطة على مجموعة بيانات Coco.

nanodet-plus 知乎中文介绍

nanodet 知乎中文介绍

QQ ：： 908606542 (：：炼丹)

المعايير

نموذج	دقة	خريطة ^{فال 0.5: 0.95}	زمن انتقال وحدة المعالجة المركزية ^(i7-8700)	زمن انتقال الذراع ^(4xa76)	يتخبط	params	حجم النموذج
nanodet-m	320*320	20.6	4.98ms	10.23ms	0.72 جم	0.95m	1.8 ميغابايت (FP16) \| 980 كيلو بايت (int8)
nanodet-plus-m	320*320	27.0	5.25ms	11.97ms	0.9g	1.17m	2.3MB (FP16) \| 1.2 ميغابايت (int8)
nanodet-plus-m	416*416	30.4	8.32ms	19.77ms	1.52 جم	1.17m	2.3MB (FP16) \| 1.2 ميغابايت (int8)
nanodet-plus-m-m-1.5x	320*320	29.9	7.21ms	15.90ms	1.75g	2.44m	4.7MB (FP16) \| 2.3 ميغابايت (int8)
nanodet-plus-m-m-1.5x	416*416	34.1	11.50ms	25.49ms	2.97g	2.44m	4.7MB (FP16) \| 2.3 ميغابايت (int8)
Yolov3-Tiny	416*416	16.6	-	37.6 مللي ثانية	5.62g	8.86m	33.7 ميجابايت
Yolov4-tiny	416*416	21.7	-	32.81ms	6.96g	6.06m	23.0MB
يولوكس نانو	416*416	25.8	-	23.08ms	1.08g	0.91m	1.8 ميغابايت (FP16)
Yolov5-N	640*640	28.4	-	44.39ms	4.5g	1.9m	3.8 ميغابايت (FP16)
FBNETV5	320*640	30.4	-	-	1.8 جم	-	-
mobiledet	320*320	25.6	-	-	0.9g	-	-

قم بتنزيل النماذج التي تم تدريبها مسبقًا وابحث عن المزيد من النماذج في حديقة الحيوان النموذجية أو في ملفات الإصدار

ملاحظات (انقر للتوسع)

يتم قياس أداء ARM على Kirin 980 (4xa76+4xa55) ARM CPU على أساس NCNN. يمكنك اختبار الكمون على هاتفك باستخدام NCNN_Android_Benchmark.
يتم قياس أداء وحدة المعالجة المركزية Intel Intel Core-I7-8700 استنادًا إلى Openvino.
تم التحقق من صحة خريطة Nanodet (0.5: 0.95) على مجموعة بيانات Coco Val2017 مع عدم وجود تكبير لوقت الاختبار.
تشير خريطة YOLOV3 و YOLOV4 من الشبكة الجزئية للمرحلة المتقاطعة.

أخبار!!!

[2023.01.20] ترقية إلى Pytorch-Lightning-1.9. تمت ترقية إصدار Pytorch الأدنى إلى 1.10. دعم تدريب FP16 (شكرًا @crisp-snakey). الدعم تجاهل التسمية (شكرًا @Zero0Kiriyu).
[2022.08.26] ترقية إلى Pytorch-Lightning-1.7. تمت ترقية إصدار Pytorch الأدنى إلى 1.9. لاستخدام الإصدار السابق من Pytorch ، يرجى تثبيت nanodet <= v1.0.0-alpha-1
[2021.12.25] إصدار نانوديت زائد ! إضافة AGM (تعيين وحدة إرشادية) و DSLA (محيط التسمية الناعمة الديناميكية) لتحسين 7 خريطة بتكلفة صغيرة فقط.

ابحث عن المزيد من ملاحظات التحديث في ملاحظات التحديث.

العرض التوضيحي

Android Demo

Android_Demo

مشروع Android Demo في مجلد Demo_android_ncnn . يرجى الرجوع إلى دليل Android التجريبي.

فيما يلي تطبيق أفضل NCNN-Android-Nanodet

NCNN C ++ DEMO

C ++ العرض التوضيحي بناءً على NCNN في مجلد Demo_ncnn . يرجى الرجوع إلى دليل CPP التجريبي.

MNN DEMO

الاستدلال باستخدام إطار MNN الخاص بـ Alibaba في مجلد Demo_Mnn . يرجى الرجوع إلى دليل MNN التجريبي.

Openvino Demo

الاستدلال باستخدام Openvino في مجلد Demo_openvino . يرجى الرجوع إلى دليل Openvino التجريبي.

متصفح الويب التجريبي

https://nihui.github.io/ncnn-webassembly-nanodet/

Pytorch Demo

أولاً ، تثبيت المتطلبات وإعداد Nanodet بعد دليل التثبيت. ثم قم بتنزيل وزن Coco Pretrain من هنا

نقطة تفتيش كوكو قبل

تم تدريب الوزن الذي تم تدريبه مسبقًا بواسطة config config/nanodet-plus-m_416.yml .

صور الاستدلال

python demo/demo.py image --config CONFIG_PATH --model MODEL_PATH --path IMAGE_PATH

فيديو الاستدلال

python demo/demo.py video --config CONFIG_PATH --model MODEL_PATH --path VIDEO_PATH

كاميرا ويب الاستدلال

python demo/demo.py webcam --config CONFIG_PATH --model MODEL_PATH --camid YOUR_CAMERA_ID

علاوة على ذلك ، نقدم دفتر ملاحظات هنا لإظهار كيفية جعلها تعمل مع Pytorch.

ثَبَّتَ

متطلبات

Linux أو MacOS
CUDA> = 10.2
بيثون> = 3.7
pytorch> = 1.10.0 ، <2.0.0

خطوة

قم بإنشاء بيئة افتراضية كوندا ثم تنشطها.

 conda create -n nanodet python=3.8 -y
 conda activate nanodet

تثبيت Pytorch

conda install pytorch torchvision cudatoolkit=11.1 -c pytorch -c conda-forge

استنساخ هذا المستودع

git clone https://github.com/RangiLyu/nanodet.git
cd nanodet

تثبيت المتطلبات

pip install -r requirements.txt

إعداد nanodet

python setup.py develop

طراز حديقة الحيوان

نانوديت يدعم مجموعة متنوعة من العمود الفقري. انتقل إلى مجلد التكوين لمشاهدة ملفات تكوين تدريب عينة.

نموذج	العمود الفقري	دقة	خريطة كوكو	يتخبط	params	وزن ما قبل التدريب
nanodet-m	Shufflenetv2 1.0x	320*320	20.6	0.72 جم	0.95m	تحميل
nanodet-plus-m-320 ( جديد )	Shufflenetv2 1.0x	320*320	27.0	0.9g	1.17m	الوزن \| نقطة التفتيش
nanodet-plus-m-416 ( جديد )	Shufflenetv2 1.0x	416*416	30.4	1.52 جم	1.17m	الوزن \| نقطة التفتيش
nanodet-plus-m-1.5x-320 ( جديد )	Shufflenetv2 1.5x	320*320	29.9	1.75g	2.44m	الوزن \| نقطة التفتيش
nanodet-plus-m-m-1.5x-416 ( جديد )	Shufflenetv2 1.5x	416*416	34.1	2.97g	2.44m	الوزن \| نقطة التفتيش

إشعار : الفرق بين Weight ونقطة Checkpoint هو أن الوزن يوفر فقط المعاملات في وقت الاستدلال ، ولكن نقطة التفتيش تحتوي على معاملات وقت التدريب.

ZOO MODEL LEGACY

نموذج	العمود الفقري	دقة	خريطة كوكو	يتخبط	params	وزن ما قبل التدريب
Nanodet-M-416	Shufflenetv2 1.0x	416*416	23.5	1.2 جم	0.95m	تحميل
Nanodet-M-M-1.5x	Shufflenetv2 1.5x	320*320	23.5	1.44g	2.08m	تحميل
Nanodet-M-1.5x-416	Shufflenetv2 1.5x	416*416	26.8	2.42 جم	2.08m	تحميل
Nanodet-M-0.5x	Shufflenetv2 0.5x	320*320	13.5	0.3g	0.28 م	تحميل
nanodet-t	Shufflenetv2 1.0x	320*320	21.7	0.96g	1.36m	تحميل
nanodet-g	مخصص CSP Net	416*416	22.9	4.2 جم	3.81m	تحميل
نانوديت-كفاءة	كفاءة net-lite0	320*320	24.7	1.72 جم	3.11m	تحميل
نانوديت-كفاءة	كفاءة net-lite1	416*416	30.3	4.06g	4.01m	تحميل
نانوديت-كفاءة	كفاءة net-lite2	512*512	32.6	7.12g	4.71m	تحميل
nanodet-repvgg	Repvgg-A0	416*416	27.8	11.3 جم	6.75m	تحميل

كيف تتدرب

إعداد مجموعة البيانات
إذا كانت توضيحات مجموعة البيانات الخاصة بك هي تنسيق Pascal Voc XML ، راجع config/nanodet_custom_xml_dataset.yml
خلاف ذلك ، إذا كانت تعليقات مجموعة البيانات الخاصة بك هي تنسيق yolo (darknet txt) ، راجع config/nanodet-plus-m_416-yolo.yml
أو قم بتحويل تعليقات مجموعة البيانات الخاصة بك إلى تنسيق MS Coco (تفاصيل تنسيق التعليقات التوضيحية لجورصات).
إعداد ملف التكوين
انسخ وتعديل مثال ملف تكوين YML في المجلد/ المجلد.
قم بتغيير Save_dir إلى حيث تريد حفظ النموذج.
تغيير num_classes في الطراز-> القوس-> الرأس .
قم بتغيير مسار الصورة ومسار التعليقات التوضيحية في كل من البيانات-> القطار والبيانات- > VAL .
قم بتعيين معرفات GPU ، وعمال NUM وحجم الدُفعة في الجهاز لتناسب جهازك.
قم بتعيين Total_epochs و LR و LR_Schedule وفقًا لمجموعة البيانات الخاصة بك و BatchSize.
إذا كنت ترغب في تعديل الشبكة أو زيادة البيانات أو أشياء أخرى ، فيرجى الرجوع إلى تفاصيل ملف التكوين
ابدأ التدريب
تستخدم Nanodet الآن Pytorch Lightning للتدريب.
لكل من GPU واحد أو GPUs متعددة ، قم بتشغيل:
```
python tools/train.py CONFIG_FILE_PATH
```
تصور السجلات
يتم حفظ سجلات Tensorboard في save_dir التي قمت بتعيينها في ملف التكوين.
لتصور سجلات Tensorboard ، قم بتشغيل:
```
 cd < YOUR_SAVE_DIR >
tensorboard --logdir ./
```

كيفية النشر

يوفر Nanodet عرضًا متعدد المقاومة C ++ بما في ذلك NCNN و Openvino و MNN. هناك أيضًا عرض تجريبي Android يعتمد على مكتبة NCNN.

نموذج التصدير إلى ONNX

لتحويل طراز Nanodet Pytorch إلى NCNN ، يمكنك اختيار هذه الطريقة: Pytorch-> onnx-> ncnn

لتصدير نموذج ONNX ، قم بتشغيل tools/export_onnx.py .

python tools/export_onnx.py --cfg_path ${CONFIG_PATH} --model_path ${PYTORCH_MODEL_PATH}

قم بتشغيل nanodet في C ++ مع مكتبات الاستدلال

NCNN

يرجى الرجوع إلى demo_ncnn.

Openvino

يرجى الرجوع إلى demo_openvino.

mnn

يرجى الرجوع إلى demo_mnn.

تشغيل nanodet على Android

يرجى الرجوع إلى Android_Demo.

اقتباس

إذا وجدت هذا المشروع مفيدًا في بحثك ، فيرجى النظر في Cite:

 @misc { =nanodet ,
    title = { NanoDet-Plus: Super fast and high accuracy lightweight anchor-free object detection model. } ,
    author = { RangiLyu } ,
    howpublished = { url{https://github.com/RangiLyu/nanodet} } ,
    year = { 2021 }
}