ssd.pytorch

SSD: Single -Shot -Multibox -Objektdetektor in Pytorch

Eine Pytorch-Implementierung eines Single-Shot-Multibox-Detektors aus dem Papier 2016 von Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang und Alexander C. Berg. Der offizielle und ursprüngliche Caffe -Code finden Sie hier.

Inhaltsverzeichnis

• Installation
• Datensätze
• Zug
• Auswerten
• Leistung
• Demos
• Zukünftige Arbeit
• Referenz

Installation

• Installieren Sie PyTorch, indem Sie Ihre Umgebung auf der Website auswählen und den entsprechenden Befehl ausführen.
• Klonen Sie dieses Repository.
  • Hinweis: Wir unterstützen derzeit nur Python 3+.
• Laden Sie dann den Datensatz herunter, indem Sie den folgenden Anweisungen folgen.
• Wir unterstützen jetzt Visom für Echtzeit-Verlustvisualisierung während des Trainings!
  • Visom im Browser verwenden:

   # First install Python server and client
  pip install visdom
  # Start the server (probably in a screen or tmux)
  python -m visdom.server

  • Dann (während des Trainings) navigieren Sie zu http: // localhost: 8097/(siehe Abschnitt unten, um Schulungsdetails zu erhalten).
• HINWEIS: Für das Training unterstützen wir derzeit VOC und Coco und wollen bald ImageNet -Unterstützung hinzufügen.

Datensätze

Um die Dinge zu erleichtern, stellen wir Bash -Skripte zur Verfügung, um die Datensatzdownloads und die Einrichtung für Sie zu verarbeiten. Wir bieten auch einfache Datensatzlader an, die torch.utils.data.Dataset erben und sie mit der API torchvision.datasets vollständig kompatibel machen.

Coco

Microsoft Coco: Gemeinsame Objekte im Kontext

Laden Sie Coco 2014 herunter

 # specify a directory for dataset to be downloaded into, else default is ~/data/
sh data/scripts/COCO2014.sh

VOC -Datensatz

Pascal VOC: visuelle Objektklassen

Download VOC2007 Trainval & Test

 # specify a directory for dataset to be downloaded into, else default is ~/data/
sh data/scripts/VOC2007.sh # <directory> 

Download VOC2012 Trainval

 # specify a directory for dataset to be downloaded into, else default is ~/data/
sh data/scripts/VOC2012.sh # <directory> 

Training SSD

• Laden Sie zuerst die FC-reduzierten VGG-16 Pytorch-Basisnetzwerkgewichte unter: https://s3.amazonaws.com/amdegroot-models/vgg16_rededfc.pth herunter
• Standardmäßig gehen wir davon aus, dass Sie die Datei in der ssd.pytorch/weights -Dir heruntergeladen haben:

mkdir weights
cd weights
wget https://s3.amazonaws.com/amdegroot-models/vgg16_reducedfc.pth

• Um die SSD mithilfe des Zugskripts zu trainieren, geben Sie einfach die in train.py aufgeführten Parameter als Flagge an oder ändern Sie sie manuell.

python train.py

• Notiz:
  • Für das Training wird eine NVIDIA -GPU dringend für Geschwindigkeit empfohlen.
  • Anweisungen zur Visomse -Nutzung/-installation finden Sie im Installationsabschnitt.
  • Sie können das Training von einem Kontrollpunkt aus abholen, indem Sie den Pfad als einen der Trainingsparameter angeben (erneut siehe train.py für Optionen).

Auswertung

Bewertung eines ausgebildeten Netzwerks:

python eval.py

Sie können die in der Datei eval.py aufgeführten Parameter angeben, indem Sie sie markieren oder manuell ändern.

Leistung

VOC2007 -Test

Karte

Original	Konvertierte Weiliu89 -Gewichte	Von Grund auf neu mit Daten Aug	Von Grund auf neu mit Daten Aug
77,2 %	77,26 %	58,12%	77,43 %

Fps

GTX 1060: ~ 45,45 fps

Demos

Verwenden Sie ein vorgebildetes SSD-Netzwerk zur Erkennung

Laden Sie ein vorgebildetes Netzwerk herunter

• Wir versuchen, Pytorch state_dicts (Diktat von Gewichtstensoren) der neuesten SSD -Modelldefinitionen bereitzustellen, die auf verschiedenen Datensätzen trainiert wurden.
• Derzeit stellen wir die folgenden Pytorch -Modelle an:
  • SSD300 auf VOC0712 ausgebildet (neueste Pytorch -Gewichte)
    • https://s3.amazonaws.com/amdegroot-models/ssd300_map_77.43_v2.pth
  • SSD300 auf VOC0712 trainiert (Original -Kaffe -Gewichte)
    • https://s3.amazonaws.com/amdegroot-models/ssd_300_voc0712.pth
• Unser Ziel ist es, diesen Tisch aus dem Originalpapier zu reproduzieren

Probieren Sie das Demo -Notizbuch aus

• Stellen Sie sicher, dass Jupyter Notebook installiert ist.
• Zwei Alternativen zur Installation von Jupyter -Notizbuch:

  1. Wenn Sie Pytorch mit Conda (empfohlen) installiert haben, sollten Sie es bereits haben. (Navigieren Sie einfach zum SSD.Pytorch -geklonten Repo und rennen): jupyter notebook

  2. Wenn Sie PIP verwenden:

 # make sure pip is upgraded
pip3 install --upgrade pip
# install jupyter notebook
pip install jupyter
# Run this inside ssd.pytorch
jupyter notebook

• Navigieren Sie jetzt zu demo/demo.ipynb unter http: // localhost: 8888 (standardmäßig) und haben Sie dabei!

Probieren Sie die Webcam -Demo aus

• Arbeitet an der CPU (müssen möglicherweise cv2.waitkey optimieren.
• Diese Demo erfordert derzeit OpenCV2+ W/ Python -Bindungen und eine Onboard -Webcam
  • Sie können die Standard -Webcam in demo/live.py ändern
• Installieren Sie das Imutils-Paket, um Multi-Threading auf der CPU zu nutzen:
  • pip install imutils
• Das Ausführen python -m demo.live öffnet die Webcam und beginnt mit dem Erkennen!

Todo

Wir haben die folgende To-Do-Liste angesammelt, die wir in naher Zukunft abschließen wollen

• Immer noch zu kommen:
  • Unterstützung für den MS Coco -Datensatz
  • Unterstützung für SSD512 Training und Tests
  • Unterstützung für das Training auf benutzerdefinierten Datensätzen

Autoren

• Max DeGroot
• Ellis Brown

Hinweis: Leider ist dies nur ein Hobby von uns und kein Vollzeitjob, also werden wir unser Bestes tun, um die Dinge auf dem neuesten Stand zu halten, aber keine Garantien. Davon abgesehen von allen für Ihre fortgesetzte Hilfe und Ihr Feedback, da es sehr geschätzt wird. Wir werden versuchen, alles so schnell wie möglich anzusprechen.

Referenzen

• Wei Liu et al. "SSD: Single -Shot -Multibox -Detektor." ECCV2016.
• Originalimplementierung (Kaffe)
• Ein großes Dankeschön an Alex Koltun und sein Team bei Webyclip für ihre Hilfe bei der Beendigung des Datenerweiterungsabschnitts.
• Eine Liste anderer großartiger SSD -Anschlüsse, die Inspirationsquellen waren (insbesondere das Chainer Repo):
  • Chainer, Keras, Mxnet, Tensorflow