Startseite>Programmierbezogen>Python
Herunterladen

Effizientes (Pytorch)

Eine Pytorch -Implementierung von effizientemDet.

Es basiert auf dem

  • Offizielle Tensorflow -Implementierung durch Mingxing Tan und das Google Brain -Team
  • Papier durch Mingxing Tan, Ruoming Pang, Quoc V. Le EfficientDet: Skalierbare und effiziente Objekterkennung

Es gibt andere Pytorch -Implementierungen. Entweder passte ihr Ansatz nicht zu meinem Ziel, die Tensorflow -Modelle (jedoch mit einem Pytorch -Gefühl und Flexibilität) korrekt zu reproduzieren, oder sie können das MS Coco -Training nicht annähernd von Grund auf neu replizieren.

Abgesehen von den Standardmodellkonfigurationen besteht viel Flexibilität, um Experimente und schnelle Verbesserungen zu erleichtern - einige Optionen, die auf dem offiziellen Tensorflow impl, einige meiner eigenen, basieren:

  • BIFPN -Verbindungen und der Kombinationsmodus sind vollständig konfigurierbar und nicht in den Modellcode eingebacken
  • BIFPN- und Kopfmodule können zwischen tiefen trennbaren oder Standardwechsel umgeschaltet werden
  • Aktivierungen, Batch -Normschichten sind über Argumente umschaltbar (Soon Config)
  • Jedes Rückgrat in meiner timm -Modellsammlung, das die Feature -Extraktion ( features_only arg) unterstützt, kann als Bacbkone verwendet werden.

Aktualisierungen

2023-05-21

  • Abhängig von timm 0.9
  • Kleinere Fehlerbehebungen
  • Version 0.4.1 Veröffentlichung

2023-02-09

  • Testen mit Pytorch 2.0 (Nachtlies), add -torchcompile -Unterstützung, um Skripte zu trainieren und zu validieren
  • Ein kleiner Code -Cleanup -Pass, unterstützen BWD/FWD -Kompat
  • Verwenden Sie die Funktion timm Convert_Sync_BatchNorm, während sie aktualisierte Modelle mit batchnormact2d -Schichten behandelt

2022-01-06

  • NEUEM efficientnetv2_ds Gewichte 50.1 MAP @ 1024x0124 mit AGC Clipping und timm efficientnetv2_rw_s -Backbone. Speicherverwendung vergleichbar mit D3, Geschwindigkeit schneller als D4. Kleiner als eine optimale Trainingseinheit und kann es wahrscheinlich besser machen ...

2021-11-30

  • Aktualisieren Sie efficientnetv2_dt -Gewichte auf einen neuen Satz, 46.1 MAP @ 768x768, 47.0 Map @ 896x896 mit AGC Clipping.
  • Fügen Sie AGC hinzu (Adaptive Gradient Clipping Support über timm ). Idee von ( High-Performance Large-Scale Image Recognition Without Normalization -https://arxiv.org/abs/2102.06171)
  • timm Mindestversion wurde auf 0,4.12 gestoßen

2021-11-16

  • Fügen Sie effizientes NETV2 -Backbone -Experiment efficientnetv2_dt basierend auf dem efficientnetv2_rw_t -Modell von timm (TIMM) hinzu. 45.8 Karte @ 768x768.
  • Aktualisiertes TF EfficientDet-Lite-Modell Defs inkl. Gewichte portiert von offiziellen Impl (https://github.com/google/automl)
  • Für Lite -Modelle, die aktualisierte Funktionen zur Größenänderung von FPN in FPN auf einer FEAT -Größe anstelle von Reduktionsverhältnissen basieren, benötigt die Bildgröße, die nicht um 128 teilbar sind.
  • Kleinere Änderungen, Fehlerbehebungen

2021-07-28

  • Fügen Sie ein Trainingsbeispiel hinzu, um ReadMe von Chris Hughes für ein Training mit benutzerdefiniertem Datensatz- und Lightning -Trainingscode bereitzustellen
    • Mittlerer Blog -Beitrag
    • Python Notebook

2021-04-30

  • Fügen Sie effizientes Advprop-AA-Gewicht für D0-D5 von TF impl. Modellnamen tf_efficientdet_d?_ap
    • Siehe https://github.com/google/automl/blob/master/efficydet/det-advprop.md

2021-02-18

  • Fügen Sie einige neue Modellgewichte mit bilinearer Interpolation für Upsample und Down -Beispiel in FPN hinzu.
    • 40.9 MAP - efficientdet_q1 (Ersetzen Sie das Vorschriftenmodell bei 40.6)
    • 43.2 Karte - cspresdet50
    • 45.2 Karte - cspdarkdet53m

2020-12-07

  • Das Training mit vollem Jit -Skriptmodell + Bank ( --torchscript ) ist mit Einbeziehung von Modellemav2 aus timm und früheren Torchscript -Compat -Zusätzen möglich. Große Geschwindigkeitsgewinne für das CPU -gebundene Training.
  • Fügen Sie Gewichte für alternative FPN -Layouts hinzu. QuadFPN -Experimente ( efficientdet_q0/q1/q2 ) und CSPresDext + Pan ( cspresdext50pan ). Siehe aktualisierte Tabelle unten. Besonderer Dank geht an Artus für die Bereitstellung von Ressourcen für die Schulung des Q2 -Modells.
  • Köpfe können eine andere Aktivierung als FPN über die Konfiguration durchführen
  • FPN Resample (Interpolation) kann über die Konfiguration angegeben werden und enthalten eine beliebige F.Interpolation -Methode oder max / avg -Pool
  • Der Standard-Fokusverlust wurde zurück zu new_focal , Verwenden --legacy-focal Arg, um das Original zu verwenden. Legacy verwendet weniger Speicher, hat jedoch mehr numerische Stabilitätsprobleme.
  • Custom Augmentation Transform und Collate FN kann an die Lader -Fabrik übergeben werden
  • timm > = 0.3.2 Erforderlich. HINWEI
  • Pytorch> = 1,6 jetzt erforderlich

2020-11-12

  • Fügen Sie experimentelle PAN- und Quad -FPN
  • Schalten Sie untrainierte experimentelle Modellkonfigurationen zur Verwendung von Torchscript Compat Bn Head Layout standardmäßig

2020-11-09

  • Setzen Sie die Modellkonfiguration nach der Erstellung auf schreibgeschützte
  • Kein Zugriffsmodell oder eine Bank. CONFIG TIND in der Stürmerkette (für TORCScript -Compat)
  • Zahlreiche kleinere Änderungen, die es ermöglichen, das JIT -Scripting des Modells oder die Zug/Vorhersage der Bank zu ermöglichen

2020-10-30

Verschmolzen einige Monate an akkumulierten Fixes und Ergänzungen.

  • Richtige feinabstimmungskompatible Modell init (w/ veränderliche # Klassen und ordnungsgemäße Init, Demo in Train.py)
  • Eine neue Datensatzschnittstelle mit Datensatzunterstützung (über Parser -Klassen) für Coco, VOC 2007/2012 und OpenImages V5/Challenge2019
  • Neue Fokusverlust def W/ Etikett Glättung als Option verfügbar, Unterstützung für JIT von Verlust FN für (potenzielle) Beschleunigung
  • Verbesserte ein paar Hotspots, die ein paar % der Durchsatzgewinne und eine höhere GPU -Nutzung ausüben
  • Pascal / OpenImages -Evaluatoren basierend auf TensorFlow Models Evaluator Framework (auch für andere Datensätze verwendet)
  • Unterstützung für native Pytorch -DDP, Syncbn und AMP in Pytorch> = 1,6. Nach der Installation standardmäßig nach Apex standardmäßig.
  • Nicht quadratische Eingabebildgrößen sind für das Modell (das Ankerlayout) zulässig. Angegeben von Image_Size Tuple in der Modellkonfiguration. Derzeit ist es immer noch auf size % 128 = 0 auf jedem Dim beschränkt.
  • Lassen Sie die Ankerzielerzeugung entweder in Dataloader -Prozess über Collate oder in Modell wie in der Vergangenheit erfolgen. Kann helfen, die Berechnung auszugleichen.
  • Filtern Sie unbenutzte Zielcls/Box aus Datensatzanmerkungen in Stapel -Tensoren fester Größe heraus, bevor Sie an den Target -Anbieter weitergeben. Scheint die Konvergenz zu beschleunigen.
  • Letterbox Acare Random Lobing Augmentation hinzugefügt.
  • A (sehr langsam) Softnms Impl hinzugefügt für den Inferenz-/Validierungsgebrauch. Es kann jetzt manuell aktiviert werden, kann Arg hinzufügen, wenn es nach Bedarf ist.
  • Getestet mit Pytorch 1.7
  • Fügen Sie ResDET50 -Modellgewichte hinzu, 41.6 Karte.

Ein paar Dinge auf der Prioritätsliste, die ich noch nicht angegangen bin:

  • Mosaikvergrößerung
  • Bbox IOU -Verlust (versucht ein bisschen, aber bisher kein großartiges Ergebnis, brauche Zeit, um zu debuggen/zu verbessern)

Beachten Sie, dass es einige Bruchänderungen gibt:

  • Vorhersagen und Zugbänke nun XYXY -Boxen ausgeben, nicht xywh wie zuvor. Dies wurde durchgeführt, um andere Datensätze zu unterstützen, da XYWH Coco's Evaluator -Anforderung ist.
  • Der TF -Modelle Evaluator arbeitet wie die Modelle auf Yxyx -Feldern. Die Konvertierung von XYXY erfolgt derzeit standardmäßig. Warum halte ich nicht einfach alles yxyx? Weil Pytorch GPU NMS in xyxy arbeitet.
  • Sie müssen Ihre Version von timm auf die neueste (> = 0,3) aktualisieren, da sich einige APIs für Helfer etwas verändert haben.

Trainingseinrichtungskontrollen wurden auf VOC und OI durchgeführt

  • 80.0 @ 50 MAP -FINETUNE auf VOC0712 ohne Versuch, Paramien zu stimmen (ungefähr gemäß dem Befehl unten)
  • 18.0 Karte @ 50 für OI Challenge2019 Nach ein paar Tagen Training (nur 6 Epochen, Eek!). Es ist viel größer und es dauert eine loong -Zeit, viele Klassen sind eine große Herausforderung.

Modelle

Die folgende Tabelle enthält Modelle mit vorbereiteten Gewichten. Es gibt eine ganze Reihe anderer Modelle, die ich in Modellkonfigurationen definiert habe, die verschiedene timm -Backbones verwenden.

Variante Karte (VAL2017) Karte (Test-dev2017) Karte (TF Offizieller VAL2017) Karte (tf offizielle Test-DEV2017) Parameter (m) IMG -Größe
TF_EfficienceDet_Lite0 27.1 TBD 26.4 N / A 3.24 320
TF_EfficienceDet_Lite1 32.2 TBD 31.5 N / A 4.25 384
effizientDET_D0 33.6 TBD N / A N / A 3.88 512
tf_efficyDet_d0 34.2 TBD 34.3 34.6 3.88 512
tf_efficyDET_D0_AP 34.8 TBD 35.2 35.3 3.88 512
effizientDET_Q0 35.7 TBD N / A N / A 4.13 512
TF_EfficienceDet_Lite2 35.9 TBD 35.1 N / A 5.25 448
effizientDET_D1 39.4 39,5 N / A N / A 6.62 640
TF_EfficienceDet_Lite3 39.6 TBD 38,8 N / A 8.35 512
TF_EfficienceDet_D1 40.1 TBD 40.2 40.5 6.63 640
TF_EfficienceDET_D1_AP 40.8 TBD 40.9 40.8 6.63 640
effizientDET_Q1 40.9 TBD N / A N / A 6.98 640
CSPRESDEXT50PAN 41.2 TBD N / A N / A 22.2 640
resdet50 41.6 TBD N / A N / A 27.6 640
effizientDET_Q2 43.1 TBD N / A N / A 8.81 768
CSPRESDET50 43.2 TBD N / A N / A 24.3 768
tf_efficyDet_d2 43.4 TBD 42,5 43 8.10 768
TF_EfficienceDet_Lite3X 43.6 TBD 42.6 N / A 9.28 640
TF_EfficienceDet_Lite4 44,2 TBD 43.2 N / A 15.1 640
TF_EfficienceDET_D2_AP 44,2 TBD 44.3 44.3 8.10 768
CSPDARKDET53M 45,2 TBD N / A N / A 35.6 768
effizientDetv2_dt 46.1 TBD N / A N / A 13.4 768
TF_EfficienceDet_D3 47.1 TBD 47,2 47,5 12.0 896
TF_EfficienceDET_D3_AP 47,7 TBD 48.0 47,7 12.0 896
tf_efficyDet_d4 49,2 TBD 49,3 49,7 20.7 1024
effizientDetv2_ds 50.1 TBD N / A N / A 26.6 1024
tf_efficienceDet_d4_ap 50.2 TBD 50.4 50.4 20.7 1024
tf_efficyDet_d5 51.2 TBD 51.2 51,5 33.7 1280
TF_EfficienceDet_D6 52.0 TBD 52.1 52.6 51.9 1280
TF_EfficienceDet_D5_AP 52.1 TBD 52.2 52,5 33.7 1280
tf_efficyDet_d7 53.1 53.4 53.4 53.7 51.9 1536
tf_efficienceDet_d7x 54.3 TBD 54.4 55.1 77.1 1536

Siehe Modellkonfigurationen für Model -Checkpoint -URLs und Unterschiede.

HINWEIS: Offizielle Ergebnisse für alle Module, die jetzt Soft-NMs verwenden, aber hier immer noch normale NMs.

HINWEIS: Beim Training einige experimentelle Modelle habe ich einige potenzielle Probleme mit der Kombination von synchronisiertem Batchnorm ( --sync-bn ) und dem Modell EMA-Gewicht Everaging ( --model-ema ) während des verteilten Trainings festgestellt. Das Ergebnis ist entweder ein Modell, das nicht konvergiert oder zu konvergieren scheint (Trainingsverlust), aber der Bewertungsverlust (laufende BN -Statistiken) ist Müll. Ich habe dies mit effizienten Teilen nicht beobachtet, aber mit einigen Rückgrat wie CSPresNext, VOVNET usw. Die Deaktivierung von EMA oder Sync BN scheint das Problem zu beseitigen und zu guten Modellen zu führen. Ich habe dieses Problem nicht vollständig charakterisiert.

Umgebungsaufbau

Getestet in einer Python 3.7 - 3.9 Conda -Umgebung in Linux mit:

  • Pytorch 1.6 - 1.10
  • Pytorch-Bildmodelle (TIMM)> = 0.4.12, pip install timm oder Lokalinstallation von (https://github.com/rwightman/pytorch-image-models)
  • Apex Amp Master (ab 2020-08). Ich empfehle jetzt, native Pytorch -Verstärker und DDP zu verwenden.

HINWEIS - Es gibt einen Konflikt/Fehler mit Numpy 1.18+ und Pycocotools 2.0.

Dataset -Setup und verwenden Sie

Coco

MSCOCO 2017 Validierungsdaten: 

 wget http://images.cocodataset.org/zips/val2017.zip
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zip
unzip val2017.zip
unzip annotations_trainval2017.zip

MSCOCO 2017 Test-Dev-Daten: 

 wget http://images.cocodataset.org/zips/test2017.zip
unzip -q test2017.zip
wget http://images.cocodataset.org/annotations/image_info_test2017.zip
unzip image_info_test2017.zip

Coco -Bewertung

Ausführen der Validierung (VAL2017 standardmäßig) mit D2 -Modell: python validate.py /localtion/of/mscoco/ --model tf_efficientdet_d2

Testen Sie Test-dev2017: python validate.py /localtion/of/mscoco/ --model tf_efficientdet_d2 --split testdev

Coco -Training

./distributed_train.sh 4 /mscoco --model tf_efficientdet_d0 -b 16 --amp --lr .09 --warmup-epochs 5 --sync-bn --opt fusedmomentum --model-ema

NOTIZ:

  • Das Trainingskript wird derzeit standardmäßig ein Modell ausfällt, bei dem keine überflüssigen Konv + BN -Bias -Ebenen wie die offiziellen Modelle entsprechend sind. Setzen Sie bei der Validierung das richtige Flag.
  • Ich habe nur mit IMG-Mittelwert ( --fill-color mean ) als Hintergrund für die Ernte-/Skala/Aspekt-Füllung trainiert. Das offizielle Repo verwendet schwarzes Pixel (0) ( --fill-color 0 ). Beide funktionieren wahrscheinlich gut.
  • Der offizielle Trainingscode verwendet standardmäßig die Mittelung der EMA-Gewicht. Es ist nicht klar
  • Die Standard-H-Params sind sehr nahe am instabilen (explodierenden Verlust). Versuchen Sie nicht, Nesterov-Impuls zu verwenden. Versuchen Sie, die Chargengröße aufrechtzuerhalten, und verwenden Sie Sync-Bn.

Pascal VOC

2007, 2012 und kombiniert 2007 + 2012 mit markiertem 2007 -Test zur Validierung werden unterstützt. 

 wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
find . -name '*.tar' -exec tar xf {} ;

Es sollte einen Ordner VOC2007 und VOC2012 in VOCdevkit geben. Das Datensatzstamm für die CMD -Linie ist vocdevkit.

Alternative Download -Links, langsamer, aber häufiger auf als ox.ac.uk: 

 http://pjreddie.com/media/files/VOCtrainval_11-May-2012.tar
http://pjreddie.com/media/files/VOCtrainval_06-Nov-2007.tar
http://pjreddie.com/media/files/VOCtest_06-Nov-2007.tar

VOC -Bewertung

Bewerten Sie auf VOC2012 Validierungssatz: python validate.py /data/VOCdevkit --model efficientdet_d0 --num-gpu 2 --dataset voc2007 --checkpoint mychekpoint.pth --num-classes 20

VOC -Training

Fine tune COCO pretrained weights to VOC 2007 + 2012: /distributed_train.sh 4 /data/VOCdevkit --model efficientdet_d0 --dataset voc0712 -b 16 --amp --lr .008 --sync-bn --opt fusedmomentum --warmup-epochs 3 --model-ema --model-ema-decay 0.9966 --epochs 150 --num-classes 20 --pretrained

OpenImages

Das Einrichten von OpenImages -Datensatz ist eine Verpflichtung. Ich habe versucht, die Annotationen ein bisschen einfacher zu machen, aber das Greifen des Datensatzes wird immer noch einige Zeit in Anspruch nehmen. Es dauert ca. 560 GB Speicherplatz.

Um die Bilddaten herunterzuladen, bevorzuge ich die CVDF -Verpackung. Die wichtigste OpenImages -Datensatzseite, Anmerkungen und Datensatzlizenzinformationen finden Sie unter: https://storage.googleapis.com/openimages/web/index.html

CVDF -Bilder herunterladen

Folgen Sie den S3-Download-Anweisungen hier: https://github.com/cvdfoundation/open-images-dataset#download-images-bounding-boxes-Notations

Jeder train_<x>.tar.gz sollte in train/<x> -Firle extrahiert werden, wobei x eine Sechskantendiffer von 0-F ist. validation.tar.gz kann als flache Dateien in validation/ .

Anmerkungen herunterladen

Anmerkungen können separat von der OpenImage -Homepage oben heruntergeladen werden. Zur Bequemlichkeit habe ich sie alle zusammen mit einigen zusätzlichen "Info" -CSV -Dateien verpackt, die IDs und Statistiken für alle Bilddateien enthalten. Meine Datensätze stützen sich auf die <set>-info.csv Dateien. Weitere Informationen finden Sie unter https://storage.googleapis.com/openimages/web/factsFigures.html für die Lizenz dieser Anmerkungen. Die Anmerkungen werden von Google LLC unter CC mit 4.0 Lizenz lizenziert. Die Bilder haben als CC -Lizenz mit einer CC -Lizenz. 

 wget https://github.com/rwightman/efficientdet-pytorch/releases/download/v0.1-anno/openimages-annotations.tar.bz2
wget https://github.com/rwightman/efficientdet-pytorch/releases/download/v0.1-anno/openimages-annotations-challenge-2019.tar.bz2
find . -name '*.tar.bz2' -exec tar xf {} ;

Layout

Sobald alles heruntergeladen und extrahiert wurde, sollte das Root Ihres OpenImages -Datenordners enthalten sein: 

 annotations/<csv anno for openimages v5/v6>
annotations/challenge-2019/<csv anno for challenge2019>
train/0/<all the image files starting with '0'>
.
.
.
train/f/<all the image files starting with 'f'>
validation/<all the image files in same folder>

OpenImages Training

Training mit Challenge2019 Annotationen (500 Klassen): ./distributed_train.sh 4 /data/openimages --model efficientdet_d0 --dataset openimages-challenge2019 -b 7 --amp --lr .042 --sync-bn --opt fusedmomentum --warmup-epochs 1 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.999966 --epochs 100 --remode pixel --reprob 0.15 --recount 4 --num-classes 500 --val-skip 2

Der 500 (Challenge2019) oder 601 (V5/V6) -Klesen für OI nimmt viel mehr GPU -Speicher im Vergleich zu Coco ein. Sie müssen wahrscheinlich eine halbe Chargengrößen benötigen.

Beispiele für Training / Feinabstimmung auf benutzerdefinierten Datensätzen

Die Modelle hier wurden mit benutzerdefinierten Trainingsroutinen und Datensätzen mit großartigen Ergebnissen verwendet. Es gibt viele Details, die Sie herausfinden müssen. Bitte stellen Sie bitte keine "Ich erhalte Mistergebnisse zu meinen benutzerdefinierten Datensatzproblemen". Wenn Sie ein reproduzierbares Problem in einem öffentlichen, nicht proprietären, herunterladbaren Datensatz mit öffentlichen Github-Gabel dieses Repo, einschließlich Arbeitsdatensatz-/Parser-Implementierungen, veranschaulichen können, habe ich möglicherweise Zeit, einen Blick darauf zu werfen.

Beispiele:

  • Chris Hughes hat ein großartiges Beispiel für das Training mit timm EfficienzyNETV2 -Backbones und die neuesten Versionen der EfficientDET -Modelle hier zusammengestellt
    • Mittlerer Blog -Beitrag
    • Python Notebook
  • Alex Shonenkov hat einen klaren und präzisen Kaggle-Kernel, der diese Modelle zum Erkennen von Weizenköpfen zeigt: https://www.kaggle.com/shonenkov/training-effictiondet (Hinweis: Dies ist verabschiedet, um die neuesten Vergleiche hier zu verabschieden, haben sich viele Details geändert.)

Wenn Sie ein gutes Beispiel -Skript oder ein Kernel -Training dieser Modelle mit einem anderen Datensatz haben, können Sie mich hier über die Aufnahme informieren ...

Ergebnisse

Mein Training

EffizientesDet-d0

Letzte Trainingsaufläufe mit .336 für D0 (auf 4x 1080ti) ./distributed_train.sh 4 /mscoco --model efficientdet_d0 -b 22 --amp --lr .12 --sync-bn --opt fusedmomentum --warmup-epochs 5 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.9999

Diese oben genannten HPARAMS führten zu einem guten Modell, ein paar Punkte:

  • Die Karte erreichte sehr früh einen Höhe
  • Ich habe mein experimentelles LR -Rauschen ermöglicht, das in der Regel gut mit EMA -Aktivitäten funktioniert
  • Der effektive LR ist etwas höher als offiziell. Beamter ist .08 für Batch 64, dies funktioniert auf .0872
  • Drop_path (auch bekannt als Survival_Prob / Drop_connect) Rate von 0,1, die höher als die vorgeschlagene 0,0 für D0 in offizieller
  • längere EMA -Periode als Standard

Val2017 

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.336251
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.521584
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.356439
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.123988
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.395033
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.521695
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.287121
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.441450
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.467914
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.197697
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.552515
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.689297

EffizientesDet-d1

Latest run with .394 mAP (on 4x 1080ti): ./distributed_train.sh 4 /mscoco --model efficientdet_d1 -b 10 --amp --lr .06 --sync-bn --opt fusedmomentum --warmup-epochs 5 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.99995

Für diesen Lauf habe ich einige verbesserte Augmentationen verwendet, die immer noch experimentiert, also nicht bereit für die Freigabe, sollte ohne sie gut funktionieren, aber wahrscheinlich etwas früher übertreffen und möglicherweise im Bereich .385-.39 enden.

Portierte Tensorflow -Gewichte

Test-dev2017

Hinweis: Ich habe nur versucht, D7 an Dev Server für die Überprüfung der Vernunft zu senden

Tf-effizientesDet-d7 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.534
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.726
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.577
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.356
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.569
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.660
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.397
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.644
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.682
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.508
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.718
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.818

Val2017

Tf-effizientesDet-d0 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.341877
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.525112
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.360218
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.131366
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.399686
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.537368
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.293137
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.447829
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.472954
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.195282
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.558127
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.695312
Tf-effizientesDet-d1 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.401070
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.590625
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.422998
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.211116
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.459650
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.577114
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.326565
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.507095
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.537278
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.308963
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.610450
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.731814
Tf-effizientesDet-d2 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.434042
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.627834
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.463488
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.237414
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.486118
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.606151
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.343016
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.538328
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.571489
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.350301
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.638884
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.746671
Tf effizientesDet-d3 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.471223
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.661550
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.505127
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.301385
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.518339
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.626571
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.365186
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.582691
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.617252
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.424689
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.670761
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.779611
Tf-effizientesDET-D4 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.491759
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.686005
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.527791
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.325658
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.536508
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.635309
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.373752
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.601733
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.638343
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.463057
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.685103
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.789180
Tf-effizientesDET-D5 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.511767
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.704835
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.552920
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.355680
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.551341
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.650184
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.384516
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.619196
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.657445
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.499319
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.695617
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.788889
Tf-effizientesDET-D6 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.520200
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.713204
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.560973
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.361596
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.567414
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.657173
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.387733
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.629269
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.667495
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.499002
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.711909
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.802336
Tf-effizientesDet-d7 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.531256
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.724700
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.571787
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.368872
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.573938
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.668253
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.393620
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.637601
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.676987
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.524850
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.717553
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.806352
Tf-effizientesDet-d7x 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.543
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.737
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.585
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.401
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.579
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.680
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.398
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.649
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.689
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.550
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.725
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.823

Todo

  • Grundausbildung (Objekterkennung) Neuauflagen
  • Mosaikvergrößerung
  • Rand/Autoaugment
  • Bbox iou Verlust (Giou, Diou, Ciou usw.)
  • Trainings- (semantische Segmentierung) Experimente
  • Integration mit DETECTRON2 / MMDERTEKTIONSCODEBasen
  • Addition und Reinigung von effizienten NET-basierten U-NET- und Deeptlab-Segmentierungsmodellen, die ich in früheren Projekten verwendet habe
  • Addition und Reinigung von OpenImages -Datensatz-/Schulungsunterstützung aus einem früheren Projekt
  • Untersuchung der Instanz -Segmentierungsmöglichkeiten ...

Wenn Sie eine Organisation sind, ist das Sponsoring und eine dieser Arbeiten oder die Priorisierung der möglichen zukünftigen Richtungen interessiert Sie. Wenden Sie sich bitte an mich (Ausgabe, LinkedIn, Twitter, Hallo bei Rwightman Dot Com). Ich werde einen Github -Sponser einrichten, wenn Interesse besteht.

Expandieren
Zusätzliche Informationen
Ähnliche Anwendungen
Empfohlen für Sie
Ähnliche Nachrichten Alle