الصفحة الرئيسية>المتعلقة بالبرمجة>بايثون
تنزيل

effientdet (pytorch)

تنفيذ Pytorch من كفاءة.

يعتمد على

  • تنفيذ TensorFlow الرسمي من خلال Mingxing Tan وفريق Brain Google
  • ورقة عن طريق mingxing tan ، ruroming pang ، Quoc V. le efficivedet: الكشف عن الكائنات القابلة للتطوير والفعالة

هناك تطبيقات أخرى Pytorch. إما أن نهجهم لم يتناسب مع هدفي لإعادة إنتاج نماذج Tensorflow بشكل صحيح (ولكن مع شعور Pytorch والمرونة) أو لا يمكنهم الاقتراب من تكرار تدريب MS Coco من الصفر.

بصرف النظر عن تكوينات النموذج الافتراضي ، هناك الكثير من المرونة لتسهيل التجارب والتحسينات السريعة هنا - بعض الخيارات القائمة على ضجة الموتر الرسمية ، بعضها الخاص:

  • توصيلات BIFPN ووضع المركب قابلة للتكوين بالكامل ولا تخبز في رمز النموذج
  • يمكن تبديل وحدات BIFPN و HEAD بين الالتزامات القابلة للفصل أو القياسي
  • التنشيطات ، طبقات المعيار الدُفعات قابلة للتبديل عبر الوسائط (تكوين قريبًا)
  • يمكن استخدام أي العمود الفقري في مجموعة طراز timm التي تدعم استخراج الميزات ( features_only arg arg) باعتبارها bacbkone.

التحديثات

2023-05-21

  • تعتمد على timm 0.9
  • إصلاحات الأخطاء البسيطة
  • الإصدار 0.4.1 الإصدار

2023-02-09

  • اختبار مع Pytorch 2.0 (Lightlies) ، إضافة -Torchcompile دعم لتدريب البرامج النصية والتحقق منها
  • تمريرة تنظيف رمز صغيرة ، ودعم Compat BWD/FWD عبر TIMM 0.8.x والإصدارات السابقة
  • استخدم وظيفة timm convert_sync_batchnorm لأنها تعالج النماذج المحدثة مع طبقات batchnormact2d

2022-01-06

  • efficientnetv2_ds جديد أوزان 50.1 خريطة @ 1024x0124 ، باستخدام AGC لقطات و timm 's efficientnetv2_rw_s backbone. تستخدم الذاكرة مماثلة لـ D3 ، السرعة بشكل أسرع من D4. أصغر من حجم دفعة التدريب الأمثل ، لذا ربما يمكن أن يكون أفضل ...

2021-11-30

  • تحديث أوزان efficientnetv2_dt إلى مجموعة جديدة ، 46.1 MAP @ 768x768 ، 47.0 MAP @ 896x896 باستخدام AGC Clipping.
  • أضف AGC (دعم التدرج التكيفي عبر timm ). فكرة من ( High-Performance Large-Scale Image Recognition Without Normalization https://arxiv.org/abs/2102.06171)
  • صدمت النسخة الدنيا timm حتى 0.4.12

2021-11-16

  • أضف DEFICTNETV2 Backbone Experience efficientnetv2_dt استنادًا إلى نموذج efficientnetv2_rw_t ( timm ). 45.8 MAP @ 768x768.
  • تم تحديث TF DeffienceDet-lite Model incl incls التي تم نقلها من ضفيرة رسمية (https://github.com/google/automl)
  • بالنسبة لنماذج Lite ، فإن رمز تغيير حجم الميزات المحدثة في FPN يعتمد على حجم الفذ بدلاً من نسب التخفيض ، اللازمة لدعم حجم الصورة الذي لا يمكن تقسيمه على 128.
  • تعديلات بسيطة ، إصلاحات الأخطاء

2021-07-28

  • أضف مثالًا للتدريب إلى ReadMe المقدمة من كريس هيوز للتدريب مع مجموعة البيانات المخصصة ورمز التدريب
    • منشور مدونة متوسطة
    • دفتر بيثون

2021-04-30

  • إضافة أوزان adventdet Advprop-AA لـ D0-D5 من TF Impl. أسماء النماذج tf_efficientdet_d?_ap
    • راجع https://github.com/google/automl/blob/master/ffortadet/det-advprop.md

2021-02-18

  • أضف بعض الأوزان النموذجية الجديدة مع الاستيفاء الثنائي للخطوط للأخبار والأسفل في FPN.
    • 40.9 MAP - efficientdet_q1 (استبدل نموذج PRED عند 40.6)
    • 43.2 MAP - cspresdet50
    • 45.2 MAP - cspdarkdet53m

2020-12-07

  • التدريب مع طراز JIT الكامل + مقعد ( --torchscript ) ممكن مع إدراج ModelEMav2 من timm وإضافات توافق Torchscript السابقة. مكاسب السرعة الكبيرة ل CPU التدريب ملزمة.
  • أضف أوزان لتخطيطات FPN البديلة. تجارب quadfpn ( efficientdet_q0/q1/q2 ) و CSPRESDEXT + PAN ( cspresdext50pan ). انظر الجدول المحدث أدناه. شكر خاص لـ Artus لتوفير الموارد لتدريب نموذج Q2.
  • يمكن أن يكون للرؤوس تنشيط مختلف من FPN عبر التكوين
  • يمكن تحديد عينة FPN (الاستيفاء) عبر التكوين وتضمين أي طريقة F.Interpolation أو max / avg POOL
  • تغيرت الخسارة البؤرية الافتراضية إلى new_focal ، استخدام --legacy-focal لاستخدام النسخة الأصلية. يستخدم Legacy ذاكرة أقل ، ولكن لديها المزيد من مشكلات الاستقرار العددية.
  • يمكن نقل التحويل المخصص للزيادة وتجميع FN إلى مصنع اللودر
  • timm > = 0.3.2 مطلوب ، لاحظ التحقق المزدوج أي تكوين نموذج محدد مخصص لكسر التغيير
  • Pytorch> = 1.6 مطلوب الآن

2020-11-12

  • أضف PAN التجريبي ورباع FPN يتكوين إلى DEFAICTDET BIFPN W/ اثنين من تكوينات نموذج الاختبار
  • تبديل النموذج التجريبي غير المدربين يتكوين لاستخدام تخطيط رأس Torchscript Compat BN افتراضيًا

2020-11-09

  • قم بتعيين تكوين النموذج على القراءة فقط بعد الخلق لتقليل احتمالية سوء الاستخدام
  • لا يوجد نموذج للوصول أو مقاعد البدلاء.
  • العديد من التغييرات الأصغر التي تسمح برمجة البرمجة النصية للنموذج أو القطار/التنبؤ بالمقاعد

2020-10-30

اندمج بضعة أشهر من الإصلاحات والإضافات المتراكمة.

  • نموذج التوافق المتوافق مع النموذج الصحيح (W/ فئات # المتغيرة والبدء المناسب ، تم تجريبه في Train.py)
  • واجهة مجموعة بيانات جديدة مع دعم مجموعة البيانات (عبر فئات المحللون) لكوكو ، VOC 2007/2012 ، و OpenImages V5/Challenge2019
  • خسارة محورية جديدة مع تجانس التسمية المتاحة كخيار ، ودعم JIT من الخسارة FN لسرعان (محتملة)
  • تحسن عدد قليل من النقاط الساخنة التي تتجاوز بضع ٪ من مكاسب الإنتاجية ، وارتفاع استخدام GPU
  • المقيمين Pascal / OpenImages استنادًا إلى إطار تقييم نماذج TensorFlow (قابلة للاستخدام في مجموعات البيانات الأخرى أيضًا)
  • دعم Pytorch الأصلي DDP ، syncbn ، و AMP في pytorch> = 1.6. لا تزال الإعدادات الافتراضية إلى Apex إذا تم تثبيتها.
  • يُسمح بأحجام صور الإدخال غير المربعة للنموذج (تخطيط المرساة). المحدد بواسطة image_size tuple في config model. حاليا لا يزال يقتصر على size % 128 = 0 على كل خافت.
  • السماح لتوليد الهدف المرساة بإجراء أي من عملية dataloader "عبر التجميع أو في النموذج كما في الماضي. يمكن أن تساعد في موازنة حساب.
  • قم بتصفية CLS/Box المستهدفة غير المستخدمة من شرح مربعات مجموعة البيانات في موتر دفعات ثابتة الحجم قبل الانتقال إلى المحدد المستهدف. يبدو أن يسرع التقارب.
  • تمت إضافة letterbox alking reassing upderation.
  • A (بطيء جدًا) ضمنيًا ضمنيًا للاستدلال/التحقق من الصحة. يمكن تمكينه يدويًا في الوقت الحالي ، يمكن إضافة ARG إذا الطلب.
  • تم اختباره مع Pytorch 1.7
  • أضف أوزان نموذج RESDET50 ، 41.6 خريطة.

بعض الأشياء في قائمة الأولوية التي لم أتعامل معها بعد:

  • زيادة الفسيفساء
  • Bbox IOU فقدان (جربت قليلاً ولكن حتى الآن ليست نتيجة رائعة ، تحتاج إلى وقت لتصحيح/تحسين)

لاحظ أن هناك بعض التغييرات المكسورة:

  • التنبؤ وتدريب المقاعد الآن إخراج صناديق xyxy ، وليس xywh كما كان من قبل. تم القيام بذلك لدعم مجموعات البيانات الأخرى حيث أن XYWH هو متطلبات Coco لتقييم.
  • يعمل تقييم نماذج TF على صناديق yxyx مثل النماذج. يتم التحويل من Xyxy حاليًا افتراضيًا. لماذا لا أحتفظ بكل شيء yxyx؟ لأن Pytorch GPU NMS يعمل في xyxy.
  • يجب عليك تحديث إصدار timm الخاص بك إلى أحدث (> = 0.3) ، حيث تغيرت بعض واجهات برمجة التطبيقات للمساعدين قليلاً.

تم إجراء عمليات فحص التدريب على VOC و OI

  • 80.0 @ 50 MAP Finetune على VOC0712 مع عدم وجود محاولة لضبط المعلمات (تقريبًا حسب الأمر أدناه)
  • 18.0 MAP @ 50 لـ OI Challenge2019 بعد يومين من التدريب (6 عصر فقط ، EEK!). إنه أكبر بكثير ، ويستغرق وقتًا طويلاً ، العديد من الفصول صعبة للغاية.

النماذج

يحتوي الجدول أدناه على نماذج ذات أوزان مسبقة. هناك عدد كبير من النماذج الأخرى التي حددتها في تكوينات النموذج التي تستخدم مختلف العمود الفقري timm .

البديل الخريطة (Val2017) الخريطة (اختبار DEV2017) الخريطة (TF الرسمية Val2017) الخريطة (TF الرسمي الاختبار DEV2017) params (M) حجم IMG
TF_EFFICTDET_LITE0 27.1 TBD 26.4 ن/أ 3.24 320
TF_EFFICTDET_LITE1 32.2 TBD 31.5 ن/أ 4.25 384
effaiDDET_D0 33.6 TBD ن/أ ن/أ 3.88 512
TF_EFFICTDET_D0 34.2 TBD 34.3 34.6 3.88 512
TF_EFFICTDETDET_D0_AP 34.8 TBD 35.2 35.3 3.88 512
effaiDDET_Q0 35.7 TBD ن/أ ن/أ 4.13 512
TF_EFFICTDET_LITE2 35.9 TBD 35.1 ن/أ 5.25 448
effaiDDET_D1 39.4 39.5 ن/أ ن/أ 6.62 640
TF_EFFICTDET_LITE3 39.6 TBD 38.8 ن/أ 8.35 512
TF_EFFICTDET_D1 40.1 TBD 40.2 40.5 6.63 640
TF_EFFICTDET_D1_AP 40.8 TBD 40.9 40.8 6.63 640
effaiDDET_Q1 40.9 TBD ن/أ ن/أ 6.98 640
CSPRESDEXT50PAN 41.2 TBD ن/أ ن/أ 22.2 640
RESDET50 41.6 TBD ن/أ ن/أ 27.6 640
effaiDDET_Q2 43.1 TBD ن/أ ن/أ 8.81 768
CSPRESDET50 43.2 TBD ن/أ ن/أ 24.3 768
TF_EFFICTDET_D2 43.4 TBD 42.5 43 8.10 768
TF_EFFICTDET_LITE3X 43.6 TBD 42.6 ن/أ 9.28 640
TF_EFFICTDET_LITE4 44.2 TBD 43.2 ن/أ 15.1 640
TF_EFFACTINGDET_D2_AP 44.2 TBD 44.3 44.3 8.10 768
CSPDARKDET53M 45.2 TBD ن/أ ن/أ 35.6 768
effaiDDETV2_DT 46.1 TBD ن/أ ن/أ 13.4 768
TF_EFFICTDET_D3 47.1 TBD 47.2 47.5 12.0 896
TF_EFFACTINGDET_D3_AP 47.7 TBD 48.0 47.7 12.0 896
TF_EFFICTDET_D4 49.2 TBD 49.3 49.7 20.7 1024
effaiDDETV2_DS 50.1 TBD ن/أ ن/أ 26.6 1024
TF_EFFACTINGDET_D4_AP 50.2 TBD 50.4 50.4 20.7 1024
TF_EFFICTDET_D5 51.2 TBD 51.2 51.5 33.7 1280
TF_EFFICTDET_D6 52.0 TBD 52.1 52.6 51.9 1280
TF_EFFACTINGDET_D5_AP 52.1 TBD 52.2 52.5 33.7 1280
TF_EFFICTDET_D7 53.1 53.4 53.4 53.7 51.9 1536
TF_EFFICTDET_D7X 54.3 TBD 54.4 55.1 77.1 1536

راجع تكوينات النموذج لعناوين URL واختلافات نقطة التفتيش النموذجية.

ملاحظة: الدرجات الرسمية لجميع الوحدات النمطية الآن باستخدام NMS Soft ، ولكن لا تزال تستخدم NMS العادية هنا.

ملاحظة: في تدريب بعض النماذج التجريبية ، لاحظت بعض المشكلات المحتملة مع مزيج من الثقاب المتزامن ( --sync-bn ) ونموذج EMA Weight ( --model-ema ) أثناء التدريب الموزع. والنتيجة هي إما نموذج يفشل في التقارب ، أو يبدو أنه يتلاقى (فقدان التدريب) ولكن فقدان eval (تشغيل BN Stats) هو القمامة. لم ألاحظ ذلك مع effictnets ، ولكن مع بعض العمود الفقري مثل cspresnext ، vovnet ، إلخ. يبدو أن تعطيل EMA أو Sync BN يزيل المشكلة ويؤدي إلى نماذج جيدة. لم أميز هذه المشكلة بالكامل.

إعداد البيئة

تم اختباره في بيئة Python 3.7 - 3.9 في Linux مع:

  • Pytorch 1.6 - 1.10
  • نماذج صور Pytorch (TIMM)> = 0.4.12 ، pip install timm أو تثبيت محلي من (https://github.com/rwightman/pytorch-emage-models)
  • Apex AMP Master (اعتبارًا من 2020-08). أوصي باستخدام Pytorch الأصلي AMP و DDP الآن.

ملاحظة - هناك تعارض/خطأ مع Numpy 1.18+ و Pycocotools 2.0 ، قوة تثبيت numpy <= 1.17.5 أو تأكد من تثبيت pycocotools> = 2.0.2

إعداد مجموعة البيانات والاستخدام

كوكو

MSCOCO 2017 بيانات التحقق من الصحة: 

 wget http://images.cocodataset.org/zips/val2017.zip
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zip
unzip val2017.zip
unzip annotations_trainval2017.zip

MSCOCO 2017 TEST DATA: 

 wget http://images.cocodataset.org/zips/test2017.zip
unzip -q test2017.zip
wget http://images.cocodataset.org/annotations/image_info_test2017.zip
unzip image_info_test2017.zip

تقييم كوكو

تشغيل التحقق من الصحة (Val2017 بشكل افتراضي) مع نموذج D2: python validate.py /localtion/of/mscoco/ --model tf_efficientdet_d2

تشغيل اختبار DEV2017: python validate.py /localtion/of/mscoco/ --model tf_efficientdet_d2 --split testdev

تدريب كوكو

./distributed_train.sh 4 /mscoco --model tf_efficientdet_d0 -b 16 --amp --lr .09 --warmup-epochs 5 --sync-bn --opt fusedmomentum --model-ema

ملحوظة:

  • يقوم البرنامج النصي بالتدريب حاليًا إلى نموذج لا يحتوي على طبقات تحيز زائدة عن الحاجة + BN مثل النماذج الرسمية ، قم بتعيين العلامة الصحيحة عند التحقق من التحقق منها.
  • لقد تدربت فقط مع متوسط IMG ( --fill-color mean ) كخلفية لملء المحاصيل/المقياس/الجانبين ، يستخدم الريبو الرسمي بكسل الأسود (0) ( --fill-color 0 ). كلاهما يعمل بشكل جيد على الأرجح.
  • يستخدم رمز التدريب الرسمي متوسط وزن EMA بشكل افتراضي ، فليس من الواضح أن هناك نقطة في القيام بذلك مع جدول جيب التمام LR ، أجد أن الأوزان غير الولادة تنتهي بشكل أفضل من EMA في آخر 10-20 ٪ من عصر التدريب
  • إن H-params الافتراضية قريبة جدًا من عدم الاستقرار (الخسارة المنفجرة) ، لا تحاول استخدام Nesterov Momentum. حاول الحفاظ على حجم الدُفعة ، استخدم Sync-BN.

Pascal Voc

2007 ، 2012 ، ومجمع 2007 + 2012 W/ تم دعم اختبار 2007 للتحقق من الصحة. 

 wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
find . -name '*.tar' -exec tar xf {} ;

يجب أن يكون هناك مجلد VOC2007 و VOC2012 داخل VOCdevkit ، سيكون جذر مجموعة البيانات لخط CMD هو vocdevkit.

روابط التنزيل البديلة ، أبطأ ولكن في كثير من الأحيان من ox.ac.uk: 

 http://pjreddie.com/media/files/VOCtrainval_11-May-2012.tar
http://pjreddie.com/media/files/VOCtrainval_06-Nov-2007.tar
http://pjreddie.com/media/files/VOCtest_06-Nov-2007.tar

تقييم VOC

تقييم على VOC2012 مجموعة التحقق من الصحة: python validate.py /data/VOCdevkit --model efficientdet_d0 --num-gpu 2 --dataset voc2007 --checkpoint mychekpoint.pth --num-classes 20

تدريب المركبات العضوية المتطايرة

نغمة الأوزان المسبقة لوزن كوكو إلى Voc 2007 + 2012: /distributed_train.sh 4 /data/VOCdevkit --model efficientdet_d0 --dataset voc0712 -b 16 --amp --lr .008 --sync-bn --opt fusedmomentum --warmup-epochs 3 --model-ema --model-ema-decay 0.9966 --epochs 150 --num-classes 20 --pretrained

OpenImages

إعداد DataSet OpenImages هو التزام. لقد حاولت أن أجعل الأمر أسهل قليلاً في التعليقات التوضيحية ، لكن الاستيلاء على مجموعة البيانات لا يزال سيستغرق بعض الوقت. سوف يستغرق حوالي 560 جيجابايت من مساحة التخزين.

لتنزيل بيانات الصورة ، أفضل عبوة CVDF. يمكن الاطلاع على صفحة بيانات OpenImages الرئيسية ، التعليقات التوضيحية ، معلومات ترخيص مجموعة البيانات على: https://storage.googleapis.com/openimages/web/index.html

صور CVDF تنزيل

اتبع توجيهات تنزيل S3 هنا: https://github.com/cvdfoundation/open-images dataset#download-images-with-bounding-boxes-annotations

يجب استخراج كل train_<x>.tar.gz train/<x> ، حيث X عبارة عن رقم سداسي من 0-F. يمكن استخراج validation.tar.gz كملفات مسطحة في validation/ .

تعليقات التعليقات التوضيحية

يمكن تنزيل التعليقات التوضيحية بشكل منفصل عن الصفحة الرئيسية OpenImages أعلاه. للراحة ، قمت بتعبئةها جميعًا مع بعض ملفات CSV الإضافية التي تحتوي على معرفات وإحصائيات لجميع ملفات الصور. تعتمد مجموعات البيانات الخاصة بي على ملفات <set>-info.csv . يرجى الاطلاع على https://storage.googleapis.com/openimages/web/factsfigures.html للحصول على ترخيص هذه التعليقات التوضيحية. يتم ترخيص التعليقات التوضيحية من قبل Google LLC بموجب CC بترخيص 4.0. يتم إدراج الصور على أنها تحتوي على رخصة CC بنسبة 2.0. 

 wget https://github.com/rwightman/efficientdet-pytorch/releases/download/v0.1-anno/openimages-annotations.tar.bz2
wget https://github.com/rwightman/efficientdet-pytorch/releases/download/v0.1-anno/openimages-annotations-challenge-2019.tar.bz2
find . -name '*.tar.bz2' -exec tar xf {} ;

تَخطِيط

بمجرد تنزيل كل شيء واستخراج جذر مجلد بيانات OpenImages يجب أن يحتوي على: 

 annotations/<csv anno for openimages v5/v6>
annotations/challenge-2019/<csv anno for challenge2019>
train/0/<all the image files starting with '0'>
.
.
.
train/f/<all the image files starting with 'f'>
validation/<all the image files in same folder>

التدريب OpenImages

التدريب مع التعليقات التوضيحية مع التحدي 2019 (500 ./distributed_train.sh 4 /data/openimages --model efficientdet_d0 --dataset openimages-challenge2019 -b 7 --amp --lr .042 --sync-bn --opt fusedmomentum --warmup-epochs 1 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.999966 --epochs 100 --remode pixel --reprob 0.15 --recount 4 --num-classes 500 --val-skip 2 ):. ./distributed_train.sh 4 /data/openimages --model efficientdet_d0 --dataset openimages-challenge2019 -b 7 --amp --lr .042 --sync-bn --opt fusedmomentum --warmup-epochs 1 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.999966 --epochs 100 --remode pixel --reprob 0.15 --recount 4 --num-classes 500 --val-skip 2

يشغل رأس فئة 500 (تحدي 2019) أو 601 (V5/V6) لـ OI المزيد من ذاكرة GPU مقابل COCO. من المحتمل أن تحتاج إلى نصف أحجام الدُفعات.

أمثلة على التدريب / الضبط على مجموعات البيانات المخصصة

تم استخدام النماذج هنا مع إجراءات التدريب المخصصة ومجموعات البيانات مع نتائج رائعة. هناك الكثير من التفاصيل لمعرفة ذلك ، لذا يرجى عدم تقديم أي "أحصل على نتائج هراء على مشكلات مجموعة البيانات المخصصة الخاصة بي". إذا تمكنت من توضيح مشكلة قابلة للتكرار على مجموعة بيانات عامة وغير مملوكة للقابلة للتنزيل ، مع شوكة GitHub العامة لهذا الريبو بما في ذلك تطبيقات مجموعة البيانات/المحللات ، قد يكون لدي وقت لإلقاء نظرة.

أمثلة:

  • قام كريس هيوز بتجميع مثال رائع على التدريب مع العمود timm TIMMENTNETV2 وأحدث الإصدارات من نماذج كفاءة هنا
    • منشور مدونة متوسطة
    • دفتر بيثون
  • يمتلك Alex Shonenkov Kaggle kernel واضحًا وموجزًا يوضح صياغة هذه النماذج لاكتشاف رؤوس القمح: https://www.kaggle.com/shonenkov/training-filedet (ملاحظة: هذا غير صحيح إلى أحدث الإصدارات هنا ، تم تغيير العديد من التفاصيل)

إذا كان لديك مثال جيد على برنامج نصي أو kernel تدريب هذه النماذج مع مجموعة بيانات مختلفة ، فلا تتردد في إخطاري لإدراجها هنا ...

نتائج

تدريبي

كفاءة DET-D0

آخر تدريبات تتم تشغيلها مع .336 لـ D0 (على 4x 1080ti) ./distributed_train.sh 4 /mscoco --model efficientdet_d0 -b 22 --amp --lr .12 --sync-bn --opt fusedmomentum --warmup-epochs 5 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.9999

أسفرت هذه hParams أعلاه عن نموذج جيد ، بضع نقاط:

  • بلغت الخريطة ذروتها في وقت مبكر جدًا (EPOCH 200 من 300) ثم بدا أنها تتغلب
  • لقد قمت بتمكين ضوضاء LR التجريبية التي تميل إلى العمل بشكل جيد مع EMA تمكين
  • LR الفعال أعلى قليلاً من المسؤول. المسؤول هو .08 للدفعة 64 ، وهذا يعمل إلى .0872
  • معدل drop_path (ويعرف أيضًا باسم Survival_Prob / drop_connect) من 0.1 ، وهو أعلى من 0.0 المقترح لـ D0 في الرسمية ، ولكن أقل من 0.2 للنماذج الأخرى
  • فترة EMA أطول من الافتراضي

Val2017 

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.336251
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.521584
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.356439
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.123988
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.395033
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.521695
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.287121
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.441450
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.467914
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.197697
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.552515
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.689297

كفاءة D1

آخر تشغيل مع خريطة .394 (على 4x 1080ti) ./distributed_train.sh 4 /mscoco --model efficientdet_d1 -b 10 --amp --lr .06 --sync-bn --opt fusedmomentum --warmup-epochs 5 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.99995

بالنسبة لهذا المدى ، استخدمت بعض التعزيزات المحسنة ، التي لا تزال تجربتها ، غير جاهزة للإفراج ، يجب أن تعمل بشكل جيد بدونها ، ولكن من المحتمل أن تبدأ في التغلب على النطاق في وقت قريب وربما ينتهي بها المطاف في نطاق .385-.39.

الأوزان المتوسطة النقل

اختبار DEV2017

ملاحظة: لقد حاولت فقط إرسال D7 إلى Dev Server للتحقق من العقل حتى الآن

TF-كفاءة D7 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.534
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.726
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.577
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.356
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.569
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.660
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.397
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.644
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.682
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.508
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.718
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.818

Val2017

TF-كفاءة D0 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.341877
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.525112
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.360218
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.131366
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.399686
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.537368
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.293137
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.447829
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.472954
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.195282
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.558127
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.695312
TF-كفاءة D1 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.401070
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.590625
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.422998
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.211116
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.459650
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.577114
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.326565
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.507095
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.537278
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.308963
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.610450
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.731814
TF-كفاءة D2 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.434042
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.627834
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.463488
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.237414
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.486118
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.606151
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.343016
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.538328
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.571489
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.350301
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.638884
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.746671
TF DEFAINTDET-D3 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.471223
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.661550
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.505127
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.301385
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.518339
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.626571
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.365186
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.582691
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.617252
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.424689
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.670761
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.779611
TF-كفاءة D4 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.491759
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.686005
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.527791
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.325658
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.536508
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.635309
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.373752
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.601733
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.638343
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.463057
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.685103
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.789180
TF-كفاءة D5 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.511767
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.704835
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.552920
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.355680
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.551341
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.650184
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.384516
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.619196
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.657445
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.499319
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.695617
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.788889
TF-كفاءة D6 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.520200
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.713204
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.560973
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.361596
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.567414
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.657173
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.387733
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.629269
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.667495
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.499002
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.711909
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.802336
TF-كفاءة D7 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.531256
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.724700
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.571787
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.368872
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.573938
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.668253
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.393620
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.637601
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.676987
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.524850
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.717553
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.806352
TF-كفاءة D7x 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.543
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.737
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.585
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.401
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.579
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.680
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.398
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.649
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.689
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.550
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.725
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.823

تودو

  • التدريب الأساسي (الكشف عن الكائن) إعادة تنفيذ
  • زيادة الفسيفساء
  • Rand/AutoAgment
  • Bbox IOU LOSS (GIOU ، DIOU ، CIOU ، إلخ)
  • تجارب التدريب (تجزئة الدلالي)
  • التكامل مع detectron2 / mmdetection codebases
  • إضافة وتنظيف نماذج U-NET و DEEPLAB القائمة
  • إضافة وتنظيف مجموعة البيانات/التدريب OpenImages من مشروع سابق
  • استكشاف إمكانيات تجزئة المثيل ...

إذا كنت منظمة مهتمة بالرعاية وأيًا من هذا العمل ، أو تحديد أولويات الاتجاهات المستقبلية المحتملة ، لا تتردد في الاتصال بي (المشكلة ، LinkedIn ، Twitter ، Hello at Rwightman Dot Com). سأقوم بإعداد راعي Github إذا كان هناك أي مصلحة.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل