ssd.pytorch

SSD: Detektor objek multibox tembakan tunggal, di Pytorch

Implementasi Pytorch dari detektor multibox tunggal dari makalah 2016 oleh Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang, dan Alexander C. Berg. Kode Caffe resmi dan asli dapat ditemukan di sini.

Daftar isi

• Instalasi
• Kumpulan data
• Kereta
• Mengevaluasi
• Pertunjukan
• Demo
• Pekerjaan di masa depan
• Referensi

Instalasi

• Instal Pytorch dengan memilih lingkungan Anda di situs web dan menjalankan perintah yang sesuai.
• Kloning repositori ini.
  • Catatan: Kami saat ini hanya mendukung Python 3+.
• Kemudian unduh dataset dengan mengikuti instruksi di bawah ini.
• Kami sekarang mendukung visdom untuk visualisasi kehilangan waktu nyata selama pelatihan!
  • Untuk menggunakan visdom di browser:

   # First install Python server and client
  pip install visdom
  # Start the server (probably in a screen or tmux)
  python -m visdom.server

  • Kemudian (selama pelatihan) Navigasikan ke http: // localhost: 8097/(lihat bagian kereta di bawah ini untuk detail pelatihan).
• Catatan: Untuk pelatihan, kami saat ini mendukung VOC dan Coco, dan bertujuan untuk segera menambahkan dukungan Imagenet.

Kumpulan data

Untuk membuat segalanya mudah, kami menyediakan skrip bash untuk menangani unduhan dataset dan pengaturan untuk Anda. Kami juga menyediakan loader dataset sederhana yang mewarisi torch.utils.data.Dataset , membuatnya sepenuhnya kompatibel dengan torchvision.datasets API.

KELAPA

Microsoft Coco: Objek umum dalam konteks

Unduh Coco 2014

 # specify a directory for dataset to be downloaded into, else default is ~/data/
sh data/scripts/COCO2014.sh

Dataset VOC

Pascal VOC: Kelas Objek Visual

Unduh VOC2007 TrainVal & Test

 # specify a directory for dataset to be downloaded into, else default is ~/data/
sh data/scripts/VOC2007.sh # <directory> 

Unduh VOC2012 TrainVal

 # specify a directory for dataset to be downloaded into, else default is ~/data/
sh data/scripts/VOC2012.sh # <directory> 

Pelatihan SSD

• Pertama unduh bobot jaringan dasar VGG-16 PyTorch yang direduksi di: https://s3.amazonaws.com/amdegroot-models/vgg16_reducedfc.pth
• Secara default, kami menganggap Anda telah mengunduh file di ssd.pytorch/weights dir:

mkdir weights
cd weights
wget https://s3.amazonaws.com/amdegroot-models/vgg16_reducedfc.pth

• Untuk melatih SSD menggunakan skrip kereta api cukup tentukan parameter yang tercantum dalam train.py sebagai bendera atau mengubahnya secara manual.

python train.py

• Catatan:
  • Untuk pelatihan, GPU NVIDIA sangat disarankan untuk kecepatan.
  • Untuk instruksi tentang penggunaan/instalasi visdom, lihat bagian instalasi.
  • Anda dapat mengambil pelatihan dari pos pemeriksaan dengan menentukan jalur sebagai salah satu parameter pelatihan (sekali lagi, lihat train.py untuk opsi)

Evaluasi

Untuk mengevaluasi jaringan yang terlatih:

python eval.py

Anda dapat menentukan parameter yang tercantum dalam file eval.py dengan menandai mereka atau mengubahnya secara manual.

Pertunjukan

Tes VOC2007

peta

Asli	Bobot weiliu89 yang dikonversi	Dari awal dengan data AUG	Dari awal dengan data AUG
77,2 %	77,26 %	58,12%	77,43 %

FPS

GTX 1060: ~ 45.45 fps

Demo

Gunakan jaringan SSD pra-terlatih untuk deteksi

Unduh jaringan pra-terlatih

• Kami mencoba memberikan Pytorch state_dicts (Dict of Bobot Tensors) dari definisi model SSD terbaru yang dilatih pada dataset yang berbeda.
• Saat ini, kami menyediakan model Pytorch berikut:
  • SSD300 dilatih di VOC0712 (bobot pytorch terbaru)
    • https://s3.amazonaws.com/amdegroot-odels/ssd300_map_77.43_v2.pth
  • SSD300 Dilatih di VOC0712 (Bobot Caffe Asli)
    • https://s3.amazonaws.com/amdegroot-odels/ssd_300_voc0712.pth
• Tujuan kami adalah mereproduksi meja ini dari kertas asli

Coba Demo Notebook

• Pastikan Anda menginstal Jupyter Notebook.
• Dua alternatif untuk menginstal Jupyter Notebook:

  1. Jika Anda memasang pytorch dengan conda (disarankan), maka Anda seharusnya sudah memilikinya. (Cukup arahkan ke repo dan lari kloning ssd.pytorch): jupyter notebook

  2. Jika menggunakan PIP:

 # make sure pip is upgraded
pip3 install --upgrade pip
# install jupyter notebook
pip install jupyter
# Run this inside ssd.pytorch
jupyter notebook

• Sekarang arahkan ke demo/demo.ipynb di http: // localhost: 8888 (secara default) dan memilikinya!

Coba demo webcam

• Bekerja pada CPU (mungkin harus mengubah cv2.waitkey untuk FPS optimal) atau pada GPU NVIDIA
• Demo ini saat ini membutuhkan binding OpenCV2+ w/ Python dan webcam onboard
  • Anda dapat mengubah webcam default di demo/live.py
• Instal Paket Imutils untuk memanfaatkan multi-threading di CPU:
  • pip install imutils
• Menjalankan python -m demo.live membuka webcam dan mulai mendeteksi!

Todo

Kami telah mengumpulkan daftar tugas berikut, yang kami harap dapat diselesaikan dalam waktu dekat

• Masih akan datang:
  • Dukungan untuk Dataset MS Coco
  • Dukungan untuk pelatihan dan pengujian SSD512
  • Dukungan untuk Pelatihan tentang Dataset Kustom

Penulis

• Max Degroot
• Ellis Brown

Catatan: Sayangnya, ini hanya hobi kami dan bukan pekerjaan penuh waktu, jadi kami akan melakukan yang terbaik untuk terus memperbarui hal-hal, tetapi tidak ada jaminan. Yang sedang berkata, terima kasih kepada semua orang atas bantuan dan umpan balik Anda yang berkelanjutan karena sangat dihargai. Kami akan mencoba mengatasi semuanya sesegera mungkin.

Referensi

• Wei Liu, dkk. "SSD: Detektor multibox tembakan tunggal." ECCV2016.
• Implementasi Asli (Caffe)
• Terima kasih banyak kepada Alex Koltun dan timnya di Webyclip atas bantuan mereka dalam menyelesaikan bagian augmentasi data.
• Daftar port SSD hebat lainnya yang merupakan sumber inspirasi (terutama Repo Chainer):
  • Chainer, keras, mxnet, tensorflow