Beranda>Terkait pemrograman>ular piton
Unduh

Implementasi Detektor Multibox Tembakan Tunggal di Pytorch

Repo ini mengimplementasikan SSD (detektor multibox tembakan tunggal). Implementasi ini sangat dipengaruhi oleh proyek SSD.Pytorch dan Detectron. Tujuan desainnya adalah modularitas dan ekstensibilitas.

Saat ini, ia memiliki implementasi SSD/SSD-Lite berbasis MobileNetV1, MobileNetV2, dan VGG.

Ini juga memiliki dukungan out-of-box untuk melatih kembali di dataset gambar Google Open.

Example of Mobile SSD

Dependensi

  1. Python 3.6+
  2. Opencv
  3. Pytorch 1.0 atau Pytorch 0.4+
  4. Caffe2
  5. Panda
  6. Boto3 Jika Anda ingin melatih model di dataset Google OpenImages.

Unduh model

Silakan unduh model dan masukkan ke dalam folder "./models". Bagian berikut akan membutuhkannya. URL: https://drive.google.com/drive/folders/1pkn-rifvjgwiox0zcrltcxm5gt5laluu?usp=sharing

Jalankan demo

Jalankan demo Live MobileNetV1 SSD 

 # If you haven't downloaded the models, please download from https://drive.google.com/drive/folders/1pKn-RifvJGWiOx0ZCRLtCXM5GT5lAluu?usp=sharing.
python run_ssd_live_demo.py mb1-ssd models/mobilenet-v1-ssd-mp-0_675.pth models/voc-model-labels.txt

Jalankan demo langsung di Caffe2 

 # If you haven't downloaded the models, please download from https://drive.google.com/drive/folders/1pKn-RifvJGWiOx0ZCRLtCXM5GT5lAluu?usp=sharing.
python run_ssd_live_caffe2.py models/mobilenet-v1-ssd_init_net.pb models/mobilenet-v1-ssd_predict_net.pb models/voc-model-labels.txt

Anda dapat melihat peningkatan kecepatan yang layak dengan menggunakan Caffe2.

Jalankan demo Live MobileNetV2 SSD Lite 

 # If you haven't downloaded the models, please download from https://drive.google.com/drive/folders/1pKn-RifvJGWiOx0ZCRLtCXM5GT5lAluu?usp=sharing.
python run_ssd_live_demo.py mb2-ssd-lite models/mb2-ssd-lite-mp-0_686.pth models/voc-model-labels.txt

Model MobileNetV2 SSD-Lite di atas tidak kompatibel dengan ONNX, karena menggunakan Relu6 yang tidak didukung oleh ONNX. Kode mendukung versi yang kompatibel dengan ONNX. Setelah saya melatih model MobileNetV2 yang cukup baik dengan Relu, saya akan mengunggah model Pytorch dan Caffe2 yang sesuai.

Anda mungkin melihat MobileNetV2 SSD/SSD-Lite lebih lambat daripada MobileNetV1 SSD/Lite pada PC. Namun, MobileNetV2 lebih cepat pada perangkat seluler.

Model pretrained

MobileNet V1 SSD

Jika Anda belum mengunduh model, silakan unduh dari https://drive.google.com/drive/folders/1pkn-rifvjgwiox0zcrltcxm5gt5laluu?usp=sharing.

Model: MobileNet-V1-SSD-MP-0_675.pth 

 Average Precision Per-class:
aeroplane: 0.6742489426027927
bicycle: 0.7913672875238116
bird: 0.612096015101108
boat: 0.5616407126931772
bottle: 0.3471259064860268
bus: 0.7742298893362103
car: 0.7284171192326804
cat: 0.8360675520354323
chair: 0.5142295855384792
cow: 0.6244090341627014
diningtable: 0.7060035669312754
dog: 0.7849252606216821
horse: 0.8202146617282785
motorbike: 0.793578272243471
person: 0.7042670984734087
pottedplant: 0.40257147509774405
sheep: 0.6071252282334352
sofa: 0.7549120254763918
train: 0.8270992920206008
tvmonitor: 0.6459903029666852

Average Precision Across All Classes:0.6755

MobileNetV2 SSD-Lite

Jika Anda belum mengunduh model, silakan unduh dari https://drive.google.com/drive/folders/1pkn-rifvjgwiox0zcrltcxm5gt5laluu?usp=sharing.

Model: MB2-SSD-Lite-MP-0_686.pth 

 Average Precision Per-class:
aeroplane: 0.6973327307871002
bicycle: 0.7823755921687233
bird: 0.6342429230125619
boat: 0.5478160937380846
bottle: 0.3564069147093762
bus: 0.7882037885117419
car: 0.7444122242934775
cat: 0.8198865557991936
chair: 0.5378973422880109
cow: 0.6186076149254742
diningtable: 0.7369559500950861
dog: 0.7848265495754562
horse: 0.8222948787839229
motorbike: 0.8057808854619948
person: 0.7176976451996411
pottedplant: 0.42802932547480066
sheep: 0.6259124005994047
sofa: 0.7840368059271103
train: 0.8331588002612781
tvmonitor: 0.6555051795079904
Average Precision Across All Classes:0.6860690100560214

Kode untuk memproduksi ulang model: 

 # If you haven't downloaded the models, please download from https://drive.google.com/drive/folders/1pKn-RifvJGWiOx0ZCRLtCXM5GT5lAluu?usp=sharing.
python train_ssd.py --dataset_type voc  --datasets ~ /data/VOC0712/VOC2007 ~ /data/VOC0712/VOC2012 --validation_dataset ~ /data/VOC0712/test/VOC2007/ --net mb2-ssd-lite --base_net models/mb2-imagenet-71_8.pth  --scheduler cosine --lr 0.01 --t_max 200 --validation_epochs 5 --num_epochs 200

VGG SSD

Model: VGG16-SSD-MP-0_7726.pth 

 Average Precision Per-class:
aeroplane: 0.7957406334737802
bicycle: 0.8305351156180996
bird: 0.7570969203281721
boat: 0.7043869846367731
bottle: 0.5151666571756393
bus: 0.8375121237865507
car: 0.8581508869699901
cat: 0.8696185705648963
chair: 0.6165431194526735
cow: 0.8066422244852381
diningtable: 0.7629391213959706
dog: 0.8444541531856452
horse: 0.8691922094815812
motorbike: 0.8496564646906418
person: 0.793785185549561
pottedplant: 0.5233462463152305
sheep: 0.7786762429478917
sofa: 0.8024887701948746
train: 0.8713861172265407
tvmonitor: 0.7650514925384194
Average Precision Across All Classes:0.7726184620009084

Kode untuk memproduksi ulang model: 

wget -P models https://s3.amazonaws.com/amdegroot-models/vgg16_reducedfc.pth
python train_ssd.py --datasets ~ /data/VOC0712/VOC2007/ ~ /data/VOC0712/VOC2012/ --validation_dataset ~ /data/VOC0712/test/VOC2007/ --net vgg16-ssd --base_net models/vgg16_reducedfc.pth  --batch_size 24 --num_epochs 200 --scheduler " multi-step” —-milestones “120,160”

Pelatihan 

python train_ssd.py --datasets ~ /data/VOC0712/VOC2007/ ~ /data/VOC0712/VOC2012/ --validation_dataset ~ /data/VOC0712/test/VOC2007/ --net mb1-ssd --base_net models/mobilenet_v1_with_relu_69_5.pth  --batch_size 24 --num_epochs 200 --scheduler cosine --lr 0.01 --t_max 200

Jalur dataset adalah direktori induk dari folder: anotasi, gambar, jpegimages, SegmentationClass dan SegmentationObject. Anda dapat menggunakan beberapa kumpulan data untuk berlatih.

Evaluasi 

python eval_ssd.py --net mb1-ssd  --dataset ~ /data/VOC0712/test/VOC2007/ --trained_model models/mobilenet-v1-ssd-mp-0_675.pth --label_file models/voc-model-labels.txt

Konversi model menjadi model Onnx dan Caffe2 

python convert_to_caffe2_models.py mb1-ssd models/mobilenet-v1-ssd-mp-0_675.pth models/voc-model-labels.txt

Model yang dikonversi adalah model/mobileNet-v1-ssd.onnx, model/mobileNet-v1-ssd_init_net.pb dan model/mobileNet-v1-ssd_predict_net.pb. Model dalam format PBTXT juga disimpan untuk referensi.

Latihan ulang pada dataset gambar buka

Mari kita membangun model untuk mendeteksi senjata untuk tujuan keamanan.

Sebelum Anda mulai, Anda dapat mencoba demo. 

python run_ssd_example.py mb1-ssd models/gun_model_2.21.pth models/open-images-model-labels.txt ~ /Downloads/big.JPG

Contoh deteksi senjata

Jika Anda berhasil mendapatkan lebih banyak data beranotasi, keakuratannya bisa menjadi jauh lebih tinggi.

Unduh data 

python open_images_downloader.py --root ~ /data/open_images --class_names " Handgun,Shotgun " --num_workers 20

Ini akan mengunduh data ke folder ~/data/open_images.

Konten direktori data terlihat sebagai berikut. 

 class-descriptions-boxable.csv       test                        validation
sub-test-annotations-bbox.csv        test-annotations-bbox.csv   validation-annotations-bbox.csv
sub-train-annotations-bbox.csv       train
sub-validation-annotations-bbox.csv  train-annotations-bbox.csv

Folder berlatih, menguji, validasi berisi gambar. File-file seperti Sub-Train-Annotations-Bbox.csv adalah file anotasi.

Pelatihan ulang 

python train_ssd.py --dataset_type open_images --datasets ~ /data/open_images --net mb1-ssd --pretrained_ssd models/mobilenet-v1-ssd-mp-0_675.pth --scheduler cosine --lr 0.01 --t_max 100 --validation_epochs 5 --num_epochs 100 --base_net_lr 0.001  --batch_size 5

Anda dapat membekukan jaring dasar, atau semua lapisan kecuali kepala prediksi. 

  --freeze_base_net     Freeze base net layers.
  --freeze_net          Freeze all the layers except the prediction head.

Anda juga dapat menggunakan tingkat pembelajaran yang berbeda untuk jaring dasar, lapisan tambahan dan kepala prediksi. 

  --lr LR, --learning-rate LR
  --base_net_lr BASE_NET_LR
                        initial learning rate for base net.
  --extra_layers_lr EXTRA_LAYERS_LR

Karena himpunan bagian dari data gambar terbuka bisa sangat tidak seimbang, ia juga menyediakan opsi praktis untuk menyeimbangkan data secara kasar. 

  --balance_data        Balance training data by down-sampling more frequent
                        labels.

Tes pada gambar 

python run_ssd_example.py mb1-ssd models/mobilenet-v1-ssd-Epoch-99-Loss-2.2184619531035423.pth models/open-images-model-labels.txt ~ /Downloads/gun.JPG

ONNX Friendly VGG16 SSD

Lai Model ini tidak benar-benar ramah-onnx karena masalah yang disebutkan di sini "#33 (komentar)"

Lapisan norma L2 yang diskalakan telah diganti dengan batchnorm untuk membuat NET ONNX kompatibel.

Kereta

Berbasis pretrained dipinjam dari https://s3.amazonaws.com/amdegroot-odels/vgg16_reducedfc.pth. 

python train_ssd.py --datasets ~ /data/VOC0712/VOC2007/ ~ /data/VOC0712/VOC2012/ --validation_dataset ~ /data/VOC0712/test/VOC2007/ --net " vgg16-ssd " --base_net models/vgg16_reducedfc.pth  --batch_size 24 --num_epochs 150 --scheduler cosine --lr 0.0012 --t_max 150 --validation_epochs 5

Evaluasi 

python eval_ssd.py --net vgg16-ssd  --dataset ~ /data/VOC0712/test/VOC2007/ --trained_model models/vgg16-ssd-Epoch-115-Loss-2.819455094383535.pth --label_file models/voc-model-labels.txt

Todo

  1. Model berbasis resnet34.
  2. Fusi Batchnorm.
Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua