Beranda>Terkait pemrograman>ular piton
Unduh

EfficientDet (Pytorch)

Implementasi Pytorch dari EfficientDet.

Itu didasarkan pada

  • Implementasi TensorFlow Resmi oleh Mingxing Tan dan Tim Otak Google
  • Kertas dengan Mingxing Tan, Ruoming Pang, Quoc V. Le Efficientdet: Deteksi Objek yang Dapat Diukur dan Efisien

Ada implementasi Pytorch lainnya. Entah pendekatan mereka tidak sesuai dengan tujuan saya untuk mereproduksi model TensorFlow dengan benar (tetapi dengan nuansa dan fleksibilitas Pytorch) atau mereka tidak dapat mendekati mereplikasi pelatihan MS Coco dari awal.

Selain konfigurasi model default, ada banyak fleksibilitas untuk memfasilitasi eksperimen dan perbaikan cepat di sini - beberapa opsi berdasarkan tensorflow resmi IMP, beberapa milik saya:

  • Koneksi BIFPN dan Mode Kombinasi sepenuhnya dapat dikonfigurasi dan tidak dipanggang ke dalam kode model
  • BIFPN dan modul kepala dapat diaktifkan antara konvolusi yang dapat dipisahkan atau standar secara dependis
  • Aktivasi, lapisan norma batch dapat dialihkan melalui argumen (segera konfigurasi)
  • Setiap tulang punggung dalam koleksi model timm saya yang mendukung ekstraksi fitur ( features_only arg) dapat digunakan sebagai bacbkone.

Pembaruan

2023-05-21

  • Bergantung pada timm 0.9
  • Perbaikan Bug Kecil
  • Rilis versi 0.4.1

2023-02-09

  • Menguji dengan Pytorch 2.0 (Nightlies), tambahkan -TorchCompile dukungan untuk melatih dan memvalidasi skrip
  • Pass pembersihan kode kecil, dukungan BWD/FWD Compat di Timm 0.8.x dan rilis sebelumnya
  • Gunakan fungsi timm Convert_Sync_BatchNorm saat menangani model yang diperbarui dengan lapisan Batchnormact2d

2022-01-06

  • Bobot efficientnetv2_ds baru 50.1 peta @ 1024x0124, menggunakan kliping AGC dan backbone efficientnetv2_rw_s timm Penggunaan memori sebanding dengan D3, kecepatan lebih cepat dari D4. Lebih kecil dari ukuran batch pelatihan optimal sehingga mungkin bisa melakukan lebih baik ...

2021-11-30

  • Perbarui Bobot efficientnetv2_dt ke set baru, 46.1 peta @ 768x768, 47.0 peta @ 896x896 Menggunakan AGC Clipping.
  • Tambahkan AGC (dukungan kliping gradien adaptif melalui timm ). Ide dari ( High-Performance Large-Scale Image Recognition Without Normalization -https://arxiv.org/abs/2102.06171)
  • Versi minimum timm menabrak hingga 0,4.12

2021-11-16

  • Tambahkan efisienNetV2 Eksperimen efficientnetv2_dt berdasarkan model timm efficientnetv2_rw_t (Tiny). 45.8 Peta @ 768x768.
  • TF EfficientDet-Lite Model DEFS Terputi termasuk bobot porting dari IMP resmi (https://github.com/google/automl)
  • Untuk model LITE, kode pengubah ukuran fitur yang diperbarui dalam FPN untuk didasarkan pada ukuran prestasi alih -alih rasio reduksi, diperlukan untuk mendukung ukuran gambar yang tidak dapat dibagi dengan 128.
  • Tweak kecil, perbaikan bug

2021-07-28

  • Tambahkan contoh pelatihan ke readme yang disediakan oleh Chris Hughes untuk pelatihan dengan kode pelatihan Dataset & Petir Kustom
    • Posting blog sedang
    • Notebook Python

2021-04-30

  • Tambahkan bobot EfficientDet Advprop-AA untuk D0-D5 dari TF IMP. Nama Model tf_efficientdet_d?_ap
    • Lihat https://github.com/google/automl/blob/master/eficientdet/det-advprop.md

2021-02-18

  • Tambahkan beberapa bobot model baru dengan interpolasi bilinear untuk sampel dan penurunan sampel di FPN.
    • 40.9 Peta - efficientdet_q1 (Ganti Model PREV pada 40.6)
    • 43.2 Peta - cspresdet50
    • 45.2 peta - cspdarkdet53m

2020-12-07

  • Pelatihan dengan model skrip sepenuhnya JIT + Bench ( --torchscript ) dimungkinkan dengan dimasukkannya ModeleMav2 dari timm dan penambahan Compat Torchscript sebelumnya. Keuntungan kecepatan besar untuk pelatihan terikat CPU.
  • Tambahkan bobot untuk tata letak FPN alternatif. Eksperimen QuadFPN ( efficientdet_q0/q1/q2 ) dan CSPRESDEXT + PAN ( cspresdext50pan ). Lihat tabel yang diperbarui di bawah ini. Terima kasih khusus kepada Artus karena telah menyediakan sumber daya untuk melatih model Q2.
  • Kepala dapat memiliki aktivasi yang berbeda dari FPN melalui konfigurasi
  • FPN Resample (interpolasi) dapat ditentukan melalui konfigurasi dan menyertakan metode f.interpolation atau max / avg pool apa pun
  • Kehilangan fokus default berubah kembali ke new_focal , gunakan --legacy-focal arg untuk menggunakan aslinya. Legacy menggunakan lebih sedikit memori, tetapi memiliki masalah stabilitas yang lebih numerik.
  • augmentasi kustom mengubah dan menyusun fn dapat diteruskan ke pabrik loader
  • timm > = 0.3.2 Diperlukan, Catatan Double Periksa Konfigurasi Model yang Ditentukan Kustom untuk Perubahan Breaking
  • Pytorch> = 1.6 sekarang diperlukan

2020-11-12

  • Tambahkan Konfigurasi Pan dan Quad FPN Eksperimental ke BIFPN EfficientDet BIFPN yang ada dengan dua konfigurasi model uji
  • Beralih konfigurasi model eksperimental yang tidak terlatih untuk menggunakan tata letak head bn torchscript bn secara default

2020-11-09

  • Setel model konfigurasi ke read-only setelah pembuatan untuk mengurangi kemungkinan penyalahgunaan
  • tidak ada model mengakses atau bangku .config attr in forward () rantai panggilan (untuk torcscript compat)
  • banyak perubahan kecil yang memungkinkan skrip JIT dari model atau melatih/memprediksi bangku

2020-10-30

Menggabungkan beberapa bulan terakumulasi perbaikan dan penambahan.

  • Model kompatibel fine-tuning yang tepat (w/ kelas yang dapat diubah dan init yang tepat, didemonstrasikan dalam train.py)
  • Antarmuka dataset baru dengan dukungan dataset (melalui kelas parser) untuk Coco, VOC 2007/2012, dan OpenImages v5/Challenge2019
  • Def Loss Fokus Baru W/ Label Smoothing Tersedia sebagai Opsi, Dukungan untuk JIT Loss FN untuk Speedup (Potensi)
  • Meningkatkan beberapa hot spot yang menyiapkan beberapa % dari keuntungan throughput, pemanfaatan GPU yang lebih tinggi
  • Evaluator Pascal / OpenImages Berdasarkan model TensorFlow Evaluator Framework (dapat digunakan untuk set data lainnya)
  • Dukungan untuk pytorch asli DDP, syncbn, dan amp di pytorch> = 1.6. Masih default ke Apex jika diinstal.
  • Ukuran gambar input non-square diperbolehkan untuk model (tata letak jangkar). Ditentukan oleh Image_Size tuple dalam konfigurasi model. Saat ini masih terbatas pada size % 128 = 0 pada setiap redup.
  • Izinkan pembuatan target jangkar dilakukan dalam proses dataloader 'melalui kolam atau dalam model seperti di masa lalu. Dapat membantu keseimbangan komputasi.
  • Saring CLS/kotak target yang tidak digunakan dari anotasi dataset dalam tensor batch ukuran tetap sebelum disampaikan ke penugasan target. Tampaknya mempercepat konvergensi.
  • Letterbox Aware Acew menghapus augmentasi ditambahkan.
  • Softnms (sangat lambat) IMP ditambahkan untuk penggunaan inferensi/validasi. Ini dapat diaktifkan secara manual sekarang, dapat menambahkan arg jika permintaan.
  • Diuji dengan Pytorch 1.7
  • Tambahkan bobot model resdet50, 41.6 peta.

Beberapa hal dalam daftar prioritas yang belum saya tangani:

  • Augmentasi mosaik
  • Kehilangan bbox iou (mencoba sedikit tetapi sejauh ini bukan hasil yang bagus, butuh waktu untuk men -debug/meningkatkan)

Perhatikan ada beberapa perubahan yang melanggar:

  • Memprediksi dan melatih bangku sekarang mengeluarkan kotak xyxy, bukan xywh seperti sebelumnya. Ini dilakukan untuk mendukung kumpulan data lain karena XYWH adalah persyaratan evaluator Coco.
  • Evaluator model TF beroperasi pada kotak YXYX seperti model. Konversi dari Xyxy saat ini dilakukan secara default. Mengapa saya tidak menyimpan semuanya yxyx? Karena Pytorch GPU NMS beroperasi dalam xyxy.
  • Anda harus memperbarui versi timm Anda ke yang terbaru (> = 0,3), karena beberapa API untuk pembantu berubah sedikit.

Pemeriksaan kewarasan pelatihan dilakukan pada VOC dan OI

  • 80.0 @ 50 peta finetune di voc0712 tanpa upaya untuk menyetel params (kira -kira sesuai perintah di bawah)
  • 18.0 Peta @ 50 untuk OI Challenge2019 Setelah beberapa hari pelatihan (hanya 6 zaman, Eek!). Ini jauh lebih besar, dan membutuhkan waktu lama, banyak kelas yang cukup menantang.

Model

Tabel di bawah ini berisi model dengan bobot pretrained. Ada cukup banyak model lain yang saya tentukan dalam konfigurasi model yang menggunakan berbagai tulang punggung timm .

Variasi Peta (Val2017) peta (test-dev2017) Peta (TF resmi Val2017) Peta (TF TEST RESMI-DEV2017) Params (m) Ukuran IMG
tf_efisientdet_lite0 27.1 Tbd 26.4 N/a 3.24 320
tf_efficientdet_lite1 32.2 Tbd 31.5 N/a 4.25 384
efisiensidet_d0 33.6 Tbd N/a N/a 3.88 512
tf_efficientdet_d0 34.2 Tbd 34.3 34.6 3.88 512
tf_eficientdet_d0_ap 34.8 Tbd 35.2 35.3 3.88 512
efisiensidet_q0 35.7 Tbd N/a N/a 4.13 512
tf_eficientdet_lite2 35.9 Tbd 35.1 N/a 5.25 448
efisiensidet_d1 39.4 39.5 N/a N/a 6.62 640
tf_efisientdet_lite3 39.6 Tbd 38.8 N/a 8.35 512
tf_efficientdet_d1 40.1 Tbd 40.2 40.5 6.63 640
tf_eficientdet_d1_ap 40.8 Tbd 40.9 40.8 6.63 640
efisiensidet_q1 40.9 Tbd N/a N/a 6.98 640
CSPRESDEXT50PAN 41.2 Tbd N/a N/a 22.2 640
resdet50 41.6 Tbd N/a N/a 27.6 640
efisiensidet_q2 43.1 Tbd N/a N/a 8.81 768
CSPRESDET50 43.2 Tbd N/a N/a 24.3 768
tf_efficientdet_d2 43.4 Tbd 42.5 43 8.10 768
tf_efisientdet_lite3x 43.6 Tbd 42.6 N/a 9.28 640
tf_efisientdet_lite4 44.2 Tbd 43.2 N/a 15.1 640
tf_eficientdet_d2_ap 44.2 Tbd 44.3 44.3 8.10 768
cspdarkdet53m 45.2 Tbd N/a N/a 35.6 768
efisiensidetv2_dt 46.1 Tbd N/a N/a 13.4 768
tf_eficientdet_d3 47.1 Tbd 47.2 47.5 12.0 896
tf_efficientdet_d3_ap 47.7 Tbd 48.0 47.7 12.0 896
tf_efficientdet_d4 49.2 Tbd 49.3 49.7 20.7 1024
efisiensidetv2_ds 50.1 Tbd N/a N/a 26.6 1024
tf_efficientdet_d4_ap 50.2 Tbd 50.4 50.4 20.7 1024
tf_efficientdet_d5 51.2 Tbd 51.2 51.5 33.7 1280
tf_efficientdet_d6 52.0 Tbd 52.1 52.6 51.9 1280
tf_efficientdet_d5_ap 52.1 Tbd 52.2 52.5 33.7 1280
tf_efficientdet_d7 53.1 53.4 53.4 53.7 51.9 1536
tf_eficientdet_d7x 54.3 Tbd 54.4 55.1 77.1 1536

Lihat Konfigurasi Model untuk URL dan Perbedaan Pos Pemeriksaan Model.

Catatan: Skor resmi untuk semua modul sekarang menggunakan Soft-NMS, tetapi masih menggunakan NMS normal di sini.

CATATAN: Dalam pelatihan beberapa model eksperimental, saya perhatikan beberapa masalah potensial dengan kombinasi batchnorm yang disinkronkan ( --sync-bn ) dan model EMA Weight Everaging ( --model-ema ) selama pelatihan terdistribusi. Hasilnya adalah model yang gagal menyatu, atau tampaknya bertemu (kehilangan pelatihan) tetapi kehilangan eval (menjalankan statistik BN) adalah sampah. Saya belum mengamati ini dengan EfficientNets, tetapi dengan beberapa tulang punggung seperti CSPresNext, VovNet, dll. Menonaktifkan EMA atau Sinkronisasi BN tampaknya menghilangkan masalah dan menghasilkan model yang baik. Saya belum sepenuhnya mengkarakterisasi masalah ini.

Pengaturan Lingkungan

Diuji dalam lingkungan Python 3.7 - 3.9 Conda di Linux dengan:

  • Pytorch 1.6 - 1.10
  • Model Gambar PyTorch (Timm)> = 0.4.12, pip install timm atau Instalasi Lokal dari (https://github.com/rwightman/pytorch-image-models)
  • Apex Amp Master (per 2020-08). Saya merekomendasikan menggunakan AMP dan DDP Pytorch asli sekarang.

Catatan - Ada konflik/bug dengan numpy 1.18+ dan pycocotools 2.0, paksa instal numpy <= 1.17.5 atau pastikan Anda menginstal pycocotools> = 2.0.2

Pengaturan dan Penggunaan Dataset

KELAPA

Data Validasi MSCOCO 2017: 

 wget http://images.cocodataset.org/zips/val2017.zip
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zip
unzip val2017.zip
unzip annotations_trainval2017.zip

MSCOCO 2017 Test-Dev Data: 

 wget http://images.cocodataset.org/zips/test2017.zip
unzip -q test2017.zip
wget http://images.cocodataset.org/annotations/image_info_test2017.zip
unzip image_info_test2017.zip

Evaluasi Coco

Jalankan Validasi (Val2017 Secara Default) dengan model D2: python validate.py /localtion/of/mscoco/ --model tf_efficientdet_d2

Jalankan test-dev2017: python validate.py /localtion/of/mscoco/ --model tf_efficientdet_d2 --split testdev

Pelatihan Coco

./distributed_train.sh 4 /mscoco --model tf_efficientdet_d0 -b 16 --amp --lr .09 --warmup-epochs 5 --sync-bn --opt fusedmomentum --model-ema

CATATAN:

  • Script pelatihan saat ini default ke model yang tidak memiliki lapisan bias Conv + BN yang berlebihan seperti model resmi, atur bendera yang benar saat memvalidasi.
  • Saya hanya berlatih dengan mean IMG ( --fill-color mean ) sebagai latar belakang untuk panen/skala/aspek, repo resmi menggunakan piksel hitam (0) ( --fill-color 0 ). Keduanya mungkin berfungsi dengan baik.
  • Kode pelatihan resmi menggunakan rata-rata berat EMA secara default, tidak jelas ada titik dalam melakukan ini dengan jadwal LR cosinus, saya menemukan bobot non-Esa berakhir lebih baik daripada EMA dalam 10-20% dari zaman pelatihan terakhir
  • H-Params default sangat dekat dengan yang tidak stabil (kehilangan yang meledak), jangan coba-coba menggunakan momentum Nesterov. Cobalah untuk menjaga ukuran batch tetap naik, gunakan Sync-BN.

VOC Pascal

2007, 2012, dan gabungan uji 2007 + 2012 w/ berlabel 2007 untuk validasi didukung. 

 wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
find . -name '*.tar' -exec tar xf {} ;

Harus ada folder VOC2007 dan VOC2012 di dalam VOCdevkit , root dataset untuk baris CMD akan menjadi VocDevKit.

Tautan unduhan alternatif, lebih lambat tetapi lebih sering daripada ox.ac.uk: 

 http://pjreddie.com/media/files/VOCtrainval_11-May-2012.tar
http://pjreddie.com/media/files/VOCtrainval_06-Nov-2007.tar
http://pjreddie.com/media/files/VOCtest_06-Nov-2007.tar

Evaluasi VOC

Evaluasi pada set validasi VOC2012: python validate.py /data/VOCdevkit --model efficientdet_d0 --num-gpu 2 --dataset voc2007 --checkpoint mychekpoint.pth --num-classes 20

Pelatihan VOC

Fine tune coco pretrained bobot ke VOC 2007 + 2012: /distributed_train.sh 4 /data/VOCdevkit --model efficientdet_d0 --dataset voc0712 -b 16 --amp --lr .008 --sync-bn --opt fusedmomentum --warmup-epochs 3 --model-ema --model-ema-decay 0.9966 --epochs 150 --num-classes 20 --pretrained

OpenImages

Menyiapkan Dataset OpenImages adalah komitmen. Saya sudah mencoba membuatnya sedikit lebih mudah WRT untuk anotasi, tetapi meraih dataset masih akan memakan waktu. Ini akan membutuhkan ruang penyimpanan sekitar 560GB.

Untuk mengunduh data gambar, saya lebih suka kemasan CVDF. Halaman Dataset OpenImages Utama, Anotasi, Info Lisensi Dataset dapat ditemukan di: https://storage.googleapis.com/openimages/web/index.html

Unduh gambar CVDF

Ikuti arahan unduhan S3 di sini: https://github.com/cvdfoundation/open-images-dataset#download-images-with-bounding-boxes-annotations

Setiap train_<x>.tar.gz harus diekstraksi untuk train/<x> folder, di mana x adalah digit hex dari 0-F. validation.tar.gz dapat diekstraksi sebagai file datar ke dalam validation/ .

Unduh Anotasi

Anotasi dapat diunduh secara terpisah dari halaman rumah OpenImages di atas. Untuk kenyamanan, saya telah mengemas semuanya bersama dengan beberapa file CSV 'info' tambahan yang berisi ID dan statistik untuk semua file gambar. Dataset saya bergantung pada file <set>-info.csv . Silakan lihat https://storage.googleapis.com/openimages/web/factsfigures.html untuk lisensi anotasi ini. Anotasi dilisensikan oleh Google LLC di bawah lisensi CC dengan 4.0. Gambar -gambar tersebut terdaftar memiliki lisensi CC dengan 2.0. 

 wget https://github.com/rwightman/efficientdet-pytorch/releases/download/v0.1-anno/openimages-annotations.tar.bz2
wget https://github.com/rwightman/efficientdet-pytorch/releases/download/v0.1-anno/openimages-annotations-challenge-2019.tar.bz2
find . -name '*.tar.bz2' -exec tar xf {} ;

Tata letak

Setelah semuanya diunduh dan diekstraksi, akar folder data OpenImages Anda harus berisi: 

 annotations/<csv anno for openimages v5/v6>
annotations/challenge-2019/<csv anno for challenge2019>
train/0/<all the image files starting with '0'>
.
.
.
train/f/<all the image files starting with 'f'>
validation/<all the image files in same folder>

Pelatihan OpenImages

Pelatihan dengan tantangan2019 anotasi (500 kelas): ./distributed_train.sh 4 /data/openimages --model efficientdet_d0 --dataset openimages-challenge2019 -b 7 --amp --lr .042 --sync-bn --opt fusedmomentum --warmup-epochs 1 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.999966 --epochs 100 --remode pixel --reprob 0.15 --recount 4 --num-classes 500 --val-skip 2

Kepala kelas 500 (tantangan2019) atau 601 (v5/v6) untuk OI mengambil lebih banyak memori GPU vs coco. Anda mungkin perlu setengah ukuran batch.

Contoh pelatihan / penyesuaian pada set data khusus

Model di sini telah digunakan dengan rutinitas pelatihan dan set data dengan hasil yang bagus. Ada banyak detail yang perlu diketahui jadi tolong jangan mengajukan 'Saya mendapatkan hasil omong kosong pada masalah dataset khusus saya'. Jika Anda dapat mengilustrasikan masalah yang dapat direproduksi pada dataset publik, non-kepemilikan, yang dapat diunduh, dengan garpu github publik dari repo ini termasuk implementasi dataset/parser yang berfungsi, saya mungkin punya waktu untuk melihatnya.

Contoh:

  • Chris Hughes telah mengumpulkan contoh yang bagus dari pelatihan dengan backbones EfficientNetv2 timm dan versi terbaru dari model EfficientDet di sini
    • Posting blog sedang
    • Notebook Python
  • Alex Shonenkov memiliki kernel kaggle yang jelas dan ringkas yang menggambarkan penyesuaian model ini untuk mendeteksi kepala gandum: https://www.kaggle.com/shonenkov/training-efientdet (Catatan: Ini sudah ketinggalan zaman untuk versi terbaru di sini, banyak detail telah berubah)

Jika Anda memiliki contoh skrip atau kernel yang baik melatih model -model ini dengan dataset yang berbeda, jangan ragu untuk memberi tahu saya untuk dimasukkan di sini ...

Hasil

Pelatihan saya

Efisiensidet-d0

Latest training run with .336 for D0 (on 4x 1080ti): ./distributed_train.sh 4 /mscoco --model efficientdet_d0 -b 22 --amp --lr .12 --sync-bn --opt fusedmomentum --warmup-epochs 5 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.9999

HPARAM di atas ini menghasilkan model yang baik, beberapa poin:

  • Peta memuncak sangat awal (Epoch 200 dari 300) dan kemudian tampaknya overfit, jadi kemungkinan masih ruang untuk perbaikan
  • Saya mengaktifkan kebisingan LR eksperimental saya yang cenderung bekerja dengan baik dengan EMA diaktifkan
  • LR yang efektif sedikit lebih tinggi dari resmi. Resmi adalah 0,08 untuk batch 64, ini berhasil hingga 0,0872
  • drop_path (alias survival_prob / drop_connect) laju 0,1, yang lebih tinggi dari 0,0 yang disarankan untuk D0 pada resmi, tetapi lebih rendah dari 0,2 untuk model lainnya
  • periode EMA lebih lama dari default

Val2017 

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.336251
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.521584
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.356439
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.123988
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.395033
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.521695
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.287121
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.441450
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.467914
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.197697
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.552515
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.689297

Efisiensidet-d1

Run terbaru dengan peta .394 (pada 4x 1080Ti): ./distributed_train.sh 4 /mscoco --model efficientdet_d1 -b 10 --amp --lr .06 --sync-bn --opt fusedmomentum --warmup-epochs 5 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.99995

Untuk menjalankan ini saya menggunakan beberapa augmentasi yang lebih baik, masih bereksperimen sehingga tidak siap untuk rilis, harus bekerja dengan baik tanpa mereka tetapi kemungkinan akan mulai overfitting sedikit lebih cepat dan mungkin berakhir di kisaran 0,385-.39.

Bobot tensorflow porting

Tes-dev2017

Catatan: Saya hanya mencoba mengirimkan D7 ke Dev Server untuk pemeriksaan kewarasan sejauh ini

TF-EFFICICEDDET-D7 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.534
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.726
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.577
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.356
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.569
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.660
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.397
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.644
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.682
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.508
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.718
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.818

Val2017

TF-EFFICICEDDET-D0 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.341877
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.525112
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.360218
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.131366
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.399686
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.537368
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.293137
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.447829
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.472954
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.195282
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.558127
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.695312
TF-EFFICICEDDET-D1 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.401070
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.590625
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.422998
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.211116
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.459650
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.577114
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.326565
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.507095
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.537278
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.308963
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.610450
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.731814
TF-efisiensidet-d2 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.434042
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.627834
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.463488
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.237414
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.486118
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.606151
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.343016
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.538328
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.571489
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.350301
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.638884
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.746671
TF efisiensidet-d3 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.471223
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.661550
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.505127
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.301385
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.518339
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.626571
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.365186
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.582691
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.617252
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.424689
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.670761
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.779611
TF-EFFICICEDDET-D4 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.491759
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.686005
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.527791
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.325658
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.536508
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.635309
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.373752
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.601733
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.638343
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.463057
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.685103
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.789180
TF-EFIFICICEDET-D5 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.511767
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.704835
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.552920
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.355680
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.551341
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.650184
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.384516
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.619196
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.657445
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.499319
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.695617
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.788889
TF-EFFICICEDDET-D6 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.520200
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.713204
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.560973
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.361596
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.567414
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.657173
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.387733
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.629269
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.667495
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.499002
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.711909
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.802336
TF-EFFICICEDDET-D7 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.531256
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.724700
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.571787
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.368872
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.573938
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.668253
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.393620
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.637601
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.676987
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.524850
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.717553
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.806352
TF-EFFICICEDDET-D7X 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.543
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.737
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.585
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.401
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.579
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.680
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.398
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.649
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.689
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.550
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.725
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.823

Todo

  • Pelatihan Dasar (Deteksi Objek) Penyimpangan
  • Augmentasi mosaik
  • Rand/Autoaugment
  • Kehilangan bbox iou (giou, diou, ciou, dll)
  • Eksperimen Pelatihan (Segmentasi Semantik)
  • Integrasi dengan basis kode detectron2 / mmdeteksi
  • Tambahan dan pembersihan model segmentasi u-net dan deeplab berbasis EfficientNet yang telah saya gunakan dalam proyek masa lalu
  • Tambahan dan pembersihan dataset/dukungan pelatihan OpenImages dari proyek sebelumnya
  • Eksplorasi kemungkinan segmentasi instan ...

Jika Anda adalah organisasi yang tertarik untuk mensponsori dan semua pekerjaan ini, atau memprioritaskan kemungkinan arah masa depan yang menarik minat Anda, jangan ragu untuk menghubungi saya (masalah, LinkedIn, Twitter, halo di Rwightman Dot Com). Saya akan mengatur sponser github jika ada minat.

Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua