efficientdet pytorch

EfficientDet (pytorch)

Une implémentation Pytorch d'EfficientDet.

Il est basé sur le

• Implémentation officielle de Tensorflow par Mingxing Tan et l'équipe Google Brain
• Papier par mingxing bronzage, ruoming pang, quoc V. le efficace d'efficacité: détection d'objets évolutive et efficace

Il existe d'autres implémentations Pytorch. Soit leur approche ne correspondait pas à mon objectif à reproduire correctement les modèles TensorFlow (mais avec une sensation et une flexibilité pytorch), soit ils ne peuvent pas se rapprocher de l'entraînement MS Coco à partir de zéro.

Mis à part les configurations du modèle par défaut, il y a beaucoup de flexibilité pour faciliter les expériences et les améliorations rapides ici - certaines options basées sur le TensorFlow Implat officiel, certains des miens:

• Les connexions BIFPN et le mode combinaison sont entièrement configurables et non cuites dans le code du modèle
• Les modules BIFPN et Head peuvent être commutés entre des convolutions de séparation ou standard sur le sens de la profondeur
• Activations, les couches de norme par lots sont commutables via des arguments (bientôt config)
• Toute colonne vertébrale de ma collection de modèles timm qui prend en charge l'extraction des fonctionnalités ( features_only arg) peut être utilisée comme bacbkone.

Mises à jour

2023-05-21

• Dépendre de timm 0.9
• Correction de bogues mineurs
• Version 0.4.1

2023-02-09

• Tester avec Pytorch 2.0 (Nightlies), ajouter - TorchCompile Support pour former et valider les scripts
• Un petit pass de nettoyage de code, prend en charge la compat BWD / FWD sur Timm 0.8.x et les versions précédentes
• Utilisez la fonction timm Convert_SYNC_BATCHNORM car elle gère les modèles mis à jour avec les couches BatchNormact2D

2022-01-06

• Nouveau efficientnetv2_ds Pondeaux 50.1 MAP @ 1024x0124, en utilisant l'écrasement AGC et la squelette efficientnetv2_rw_s de timm . Utilisation de la mémoire comparable à D3, vitesse plus rapide que D4. Plus petit que la taille optimale du lot d'entraînement, donc peut-être faire mieux ...

2021-11-30

• Mettez à jour les poids efficientnetv2_dt à un nouvel ensemble, 46.1 MAP @ 768x768, 47.0 MAP @ 896x896 en utilisant AGC Clipping.
• Ajouter AGC (support de coupure de gradient adaptatif via timm ). Idée de ( High-Performance Large-Scale Image Recognition Without Normalization - https://arxiv.org/abs/2102.06171)
• La version minimale timm a augmenté à 0,4.12

2021-11-16

• Ajoutez une expérience de dynamique efficace efficientnetv2_dt en fonction du modèle efficientnetv2_rw_t timm . 45.8 MAP @ 768x768.
• Le modèle TF EfficientDet-Lite mis à jour défend les poids inclusés portés par Implame officiel (https://github.com/google/automl)
• Pour les modèles Lite, le code de redimensionnement des fonctionnalités mis à jour dans FPN est basé sur la taille de l'exploit au lieu de rapports de réduction, nécessaire pour prendre en charge la taille de l'image qui n'est pas divisible par 128.
• Ajustements mineurs, corrections de bogues

2021-07-28

• Ajoutez un exemple de formation à Readme fourni par Chris Hughes pour la formation avec un ensemble de données personnalisés et un code de formation Lightning
  • Arte de blog moyen
  • Cahier python

2021-04-30

• Ajoutez des poids efficaces AdvProp-AA pour D0-D5 de TF Imp. Noms de modèle tf_efficientdet_d?_ap
  • Voir https://github.com/google/automl/blob/master/efficientdet/det-advprop.md

2021-02-18

• Ajoutez de nouveaux poids de modèle avec une interpolation bilinéaire pour les échantillons et les échantillons en aval dans FPN.
  • 40.9 MAP - efficientdet_q1 (Remplacez le modèle PREV à 40,6)
  • 43.2 MAP - cspresdet50
  • 45.2 MAP - cspdarkdet53m

2020-12-07

• La formation avec un modèle scénarisé entièrement JIT + banc ( --torchscript ) est possible avec l'inclusion de ModeMav2 de timm et des ajouts de compat TorchScript précédents. GAGNANTS BIG SPEED pour l'entraînement lié au processeur.
• Ajoutez des poids pour des dispositions de FPN alternatives. Expériences quadfpn ( efficientdet_q0/q1/q2 ) et CSPRESDEXT + PAN ( cspresdext50pan ). Voir le tableau mis à jour ci-dessous. Un merci spécial à Artus pour avoir fourni des ressources pour la formation du modèle Q2.
• Les têtes peuvent avoir une activation différente de FPN via la configuration
• FPN Resample (interpolation) peut être spécifié via la configuration et inclure toute méthode F.interpolation ou pool max / avg
• La perte focale par défaut a changé pour new_focal , utilisez - Arg --legacy-focal pour utiliser l'original. Legacy utilise moins de mémoire, mais a plus de problèmes de stabilité numérique.
• La transformation d'augmentation personnalisée et la collation FN peuvent être transmises à Loader Factory
• timm > = 0.3.2 requis, noter double vérifier toute configuration du modèle défini personnalisé pour la rupture de la modification
• Pytorch> = 1,6 maintenant requis

2020-11-12

• Ajouter des configurations expérimentales PAN et quad FPN aux BIFPN EfficientDet EfficientDet avec deux configurations de modèle de test
• Communiquez des configurations de modèle expérimental non formé pour utiliser la disposition de la tête BN Torchscript Compat BN par défaut

2020-11-09

• Définissez la configuration du modèle en lecture seule après la création pour réduire la probabilité de mauvaise utilisation
• Pas de modèle d'accès ou de banc .Config ATTR dans la chaîne d'appels Forward () (pour TorcScript Compat)
• De nombreux changements plus petits qui permettent le script JIT du modèle ou du banc de train / prédire

2020-10-30

A fusionné quelques mois de correctifs et d'ajouts accumulés.

• Modèle compatible au réglage fin approprié init (w / changeable # classes et approprié init, démo dans Train.py)
• Une nouvelle interface d'ensemble de données avec la prise en charge de l'ensemble de données (via les classes d'analyse) pour Coco, VOC 2007/2012 et OpenImages V5 / Challenge2019
• Nouvelle perte focale Def avec lissage de l'étiquette disponible en option, support pour Jit of Loss FN pour une accélération (potentielle)
• Amélioration de quelques points chauds qui squeminent quelques% des gains de débit, utilisation plus élevée du GPU
• Évaluateurs Pascal / OpenImages basés sur le cadre de l'évaluateur des modèles TensorFlow (utilisable pour d'autres ensembles de données également)
• Prise en charge du DDP, SYNCBN et AMP natifs dans Pytorch> = 1,6. Toujours par défaut, l'apex est installé.
• Les tailles d'image d'entrée non carrés sont autorisées pour le modèle (la disposition de l'ancrage). Spécifié par image_size Tuple dans le modèle config. Actuellement encore limité à size % 128 = 0 sur chaque dim.
• Autorisez la génération d'objectifs d'ancrage dans l'un ou l'autre processus de dataloader 'via la collation ou dans le modèle comme dans le passé. Peut aider à équilibrer le calcul.
• Filtrez les CL / boîtes cibles inutilisées à partir des annotations de l'ensemble de données dans des tenseurs de lots de taille fixe avant de passer au célèbre cible. Semble accélérer la convergence.
• La boîte aux lettres consciente de l'augmentation d'effacement aléatoire ajoutée.
• Un softnms (très lents) implait pour une utilisation d'inférence / validation. Il peut être activé manuellement dès maintenant, peut ajouter Arg si la demande.
• Testé avec pytorch 1.7
• Ajoutez des poids de modèle Resdet50, 41.6 Map.

Quelques choses sur la liste des priorités que je n'ai pas encore abordées:

• Augmentation de la mosaïque
• Bbox Iou Loss (essayé un peu mais jusqu'à présent, pas un excellent résultat, besoin de temps pour déboguer / améliorer)

Notez qu'il y a quelques changements de rupture:

• Prédire et entraîner les bancs de formation désormais des boîtes xyxy, pas XYWH comme auparavant. Cela a été fait pour prendre en charge d'autres ensembles de données car XYWH est l'exigence de l'évaluateur de Coco.
• L'évaluateur des modèles TF fonctionne sur des boîtes Yxyx comme les modèles. La conversion de Xyxy est actuellement effectuée par défaut. Pourquoi je ne garde pas tout yxyx? Parce que les NM GPU Pytorch fonctionnent en xyxy.
• Vous devez mettre à jour votre version de timm vers le dernier (> = 0,3), car certaines API pour les aides ont un peu changé.

Les contrôles de santé mentale ont été effectués sur VOC et OI

• 80.0 @ 50 map Finetune sur voc0712 sans tente de régler les paramètres (à peu près selon la commande ci-dessous)
• 18.0 Carte @ 50 pour OI Challenge2019 après quelques jours de formation (seulement 6 époques, EEK!). C'est beaucoup plus grand et prend un temps bien, de nombreux cours sont assez difficiles.

Modèles

Le tableau ci-dessous contient des modèles avec des poids pré-entraînés. Il existe un certain nombre d'autres modèles que j'ai définis dans les configurations du modèle qui utilisent divers squelles timm .

Variante	Carte (VAL2017)	Carte (test-dev2017)	Carte (TF OFFICIEL VAL2017)	Carte (TF OFFICIEL TEST-DEV2017)	Paramètres (m)	Taille IMG
tf_efficientdet_lite0	27.1	TBD	26.4	N / A	3.24	320
tf_efficientdet_lite1	32.2	TBD	31.5	N / A	4.25	384
EfficientDet_D0	33.6	TBD	N / A	N / A	3.88	512
tf_efficientdet_d0	34.2	TBD	34.3	34.6	3.88	512
tf_efficientdet_d0_ap	34.8	TBD	35.2	35.3	3.88	512
EfficientDet_Q0	35.7	TBD	N / A	N / A	4.13	512
tf_efficientdet_lite2	35.9	TBD	35.1	N / A	5.25	448
EfficientDet_D1	39.4	39.5	N / A	N / A	6.62	640
tf_efficientdet_lite3	39.6	TBD	38.8	N / A	8.35	512
tf_efficientdet_d1	40.1	TBD	40.2	40.5	6.63	640
tf_efficientdet_d1_ap	40.8	TBD	40.9	40.8	6.63	640
EfficientDet_Q1	40.9	TBD	N / A	N / A	6.98	640
cspresdext50pan	41.2	TBD	N / A	N / A	22.2	640
resdet50	41.6	TBD	N / A	N / A	27.6	640
EfficientDet_Q2	43.1	TBD	N / A	N / A	8.81	768
cspresdet50	43.2	TBD	N / A	N / A	24.3	768
tf_efficientdet_d2	43.4	TBD	42.5	43	8.10	768
tf_efficientdet_lite3x	43.6	TBD	42.6	N / A	9.28	640
tf_efficientdet_lite4	44.2	TBD	43.2	N / A	15.1	640
tf_efficientdet_d2_ap	44.2	TBD	44.3	44.3	8.10	768
cspdarkdet53m	45.2	TBD	N / A	N / A	35.6	768
efficacedetv2_dt	46.1	TBD	N / A	N / A	13.4	768
tf_efficientdet_d3	47.1	TBD	47.2	47.5	12.0	896
tf_efficientdet_d3_ap	47.7	TBD	48.0	47.7	12.0	896
tf_efficientdet_d4	49.2	TBD	49.3	49.7	20.7	1024
efficacedetv2_ds	50.1	TBD	N / A	N / A	26.6	1024
tf_efficientdet_d4_ap	50.2	TBD	50.4	50.4	20.7	1024
tf_efficientdet_d5	51.2	TBD	51.2	51.5	33.7	1280
tf_efficientdet_d6	52.0	TBD	52.1	52.6	51.9	1280
tf_efficientdet_d5_ap	52.1	TBD	52.2	52.5	33.7	1280
tf_efficientdet_d7	53.1	53.4	53.4	53.7	51.9	1536
tf_efficientdet_d7x	54.3	TBD	54.4	55.1	77.1	1536

Voir les configurations du modèle pour les URL et les différences de point de contrôle du modèle.

Remarque: les scores officiels pour tous les modules à l'aide de Soft-NMS, mais toujours en utilisant NMS normal ici.

Remarque: Lors de la formation de certains modèles expérimentaux, j'ai remarqué certains problèmes potentiels avec la combinaison de Batchnorm ( --sync-bn ) synchronisé et du poids EMA de jamais ( --model-ema ) lors de l'entraînement distribué. Le résultat est soit un modèle qui ne parvient pas à converger ou semble converger (perte d'entraînement) mais la perte d'EVAL (exécution des statistiques BN) est des ordures. Je n'ai pas observé cela avec des réseaux efficaces, mais j'ai avec des épine dorsaux comme CSPRESNEXT, VOVNET, etc. Désactiver EMA ou Sync BN semble éliminer le problème et entraîner de bons modèles. Je n'ai pas pleinement caractérisé ce problème.

Configuration de l'environnement

Testé dans un environnement Python 3,7 - 3,9 conda en Linux avec:

• Pytorch 1.6 - 1.10
• Modèles d'image Pytorch (TIMM)> = 0.4.12, pip install timm ou Installation locale depuis (https://github.com/rwightman/pytorch-image-models)
• APEX AMP MASTER (à partir de 2020-08). Je recommande d'utiliser l'ampli pytorch natif et le DDP maintenant.

Remarque - Il y a un conflit / bogue avec Numpy 1.18+ et Pycocotools 2.0, Force Installer Numpy <= 1.17.5 ou assurer d'installer des pycocotools> = 2.0.2

Configuration et utilisation de l'ensemble de données

Coco

Données de validation MSCOCO 2017:

 wget http://images.cocodataset.org/zips/val2017.zip
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zip
unzip val2017.zip
unzip annotations_trainval2017.zip

Données de test-DEV MSCOCO 2017:

 wget http://images.cocodataset.org/zips/test2017.zip
unzip -q test2017.zip
wget http://images.cocodataset.org/annotations/image_info_test2017.zip
unzip image_info_test2017.zip

Évaluation de Coco

Exécuter la validation (VAL2017 par défaut) avec le modèle D2: python validate.py /localtion/of/mscoco/ --model tf_efficientdet_d2

Exécutez le test-dev2017: python validate.py /localtion/of/mscoco/ --model tf_efficientdet_d2 --split testdev

Formation de coco

./distributed_train.sh 4 /mscoco --model tf_efficientdet_d0 -b 16 --amp --lr .09 --warmup-epochs 5 --sync-bn --opt fusedmomentum --model-ema

NOTE:

• Le script de formation est actuellement par défaut un modèle qui n'a pas de couches de biais Conv + BN redondantes comme les modèles officiels, définissez un drapeau correct lors de la validation.
• Je ne me suis entraîné qu'avec IMG Moyenne ( --fill-color mean ) comme arrière-plan pour le remplissage de la récolte / de l'échelle / de l'aspect, le référentiel officiel utilise des pixels noirs (0) ( --fill-color 0 ). Les deux fonctionnent probablement bien.
• Le code de formation officiel utilise le poids EMA de la moyenne par défaut, il n'est pas clair qu'il y a un point à le faire avec le calendrier Cosinement LR, je trouve que les poids non EMA se retrouvent mieux que l'EMA dans les 10 à 20% des époques d'entraînement
• Les H-Params par défaut sont très proches de instables (perte explosive), n'essayez pas d'utiliser le momentum de Nesterov. Essayez de maintenir la taille du lot, utilisez Sync-BN.

Pascal COV

2007, 2012, et combiné 2007 + 2012 avec le test de validation 2007 étiqueté est pris en charge.

 wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
find . -name '*.tar' -exec tar xf {} ;

Il devrait y avoir un dossier VOC2007 et VOC2012 dans VOCdevkit , la racine de l'ensemble de données pour la ligne CMD sera VocDevkit.

Liens de téléchargement alternatifs, plus lents mais plus souvent que OX.ac.uk:

 http://pjreddie.com/media/files/VOCtrainval_11-May-2012.tar
http://pjreddie.com/media/files/VOCtrainval_06-Nov-2007.tar
http://pjreddie.com/media/files/VOCtest_06-Nov-2007.tar

Évaluation des COV

Évaluer le jeu de validation VOC2012: python validate.py /data/VOCdevkit --model efficientdet_d0 --num-gpu 2 --dataset voc2007 --checkpoint mychekpoint.pth --num-classes 20

Formation en VOC

Fine mélodie /distributed_train.sh 4 /data/VOCdevkit --model efficientdet_d0 --dataset voc0712 -b 16 --amp --lr .008 --sync-bn --opt fusedmomentum --warmup-epochs 3 --model-ema --model-ema-decay 0.9966 --epochs 150 --num-classes 20 --pretrained

Ouverts

La configuration de l'ensemble de données OpenImages est un engagement. J'ai essayé de rendre les choses un peu plus faciles aux annotations, mais saisir l'ensemble de données va encore prendre un certain temps. Il faudra environ 560 Go d'espace de stockage.

Pour télécharger les données de l'image, je préfère l'emballage CVDF. La page de jeu de données OpenImages principale, les annotations, les informations sur la licence de jeu de données peuvent être trouvées sur: https://storage.googleapis.com/openimages/web/index.html

Téléchargement des images CVDF

Suivez les instructions de téléchargement S3 ici: https://github.com/cvdfoundation/open-images-dataset#download-images-with-bouning-boxes-annotations

Chaque train_<x>.tar.gz doit être extrait dans le dossier train/<x> , où X est un chiffre hexagonal de 0-F. validation.tar.gz peut être extrait sous forme de fichiers plats dans validation/ .

Téléchargement des annotations

Les annotations peuvent être téléchargées séparément de la page d'accueil OpenImages ci-dessus. Pour plus de commodité, je les ai tous emballés avec des fichiers CSV «Info» supplémentaires qui contiennent des ID et des statistiques pour tous les fichiers image. Mes ensembles de données reposent sur les fichiers <set>-info.csv . Veuillez consulter https://storage.googleapis.com/openimages/web/factsfigures.html pour la licence de ces annotations. Les annotations sont sous licence par Google LLC sous CC par licence 4.0. Les images sont répertoriées comme ayant une licence CC par 2.0.

 wget https://github.com/rwightman/efficientdet-pytorch/releases/download/v0.1-anno/openimages-annotations.tar.bz2
wget https://github.com/rwightman/efficientdet-pytorch/releases/download/v0.1-anno/openimages-annotations-challenge-2019.tar.bz2
find . -name '*.tar.bz2' -exec tar xf {} ;

Mise en page

Une fois que tout est téléchargé et extrait la racine de votre dossier de données OpenImages devrait contenir:

 annotations/<csv anno for openimages v5/v6>
annotations/challenge-2019/<csv anno for challenge2019>
train/0/<all the image files starting with '0'>
.
.
.
train/f/<all the image files starting with 'f'>
validation/<all the image files in same folder>

Formation OpenImages

Formation avec le défi2019 Annotations (500 classes): ./distributed_train.sh 4 /data/openimages --model efficientdet_d0 --dataset openimages-challenge2019 -b 7 --amp --lr .042 --sync-bn --opt fusedmomentum --warmup-epochs 1 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.999966 --epochs 100 --remode pixel --reprob 0.15 --recount 4 --num-classes 500 --val-skip 2

La tête de classe 500 (Challenge2019) ou 601 (V5 / V6) pour OI occupe beaucoup plus de mémoire GPU par rapport à Coco. Vous aurez probablement besoin de tailles de demi-lots.

Exemples de formation / réglage fin sur les ensembles de données personnalisés

Les modèles ici ont été utilisés avec des routines de formation personnalisées et des ensembles de données avec d'excellents résultats. Il y a beaucoup de détails à déterminer, alors veuillez ne pas déposer «j'obtiens des résultats de merde sur mes problèmes de jeu de données personnalisés». Si vous pouvez illustrer un problème reproductible sur un ensemble de données publique, non propriétaire et téléchargeable, avec la fourche GitHub publique de ce référentiel, y compris les implémentations de données / analyser de travail, j'ai peut-être le temps de jeter un œil.

Exemples:

• Chris Hughes a mis en place un excellent exemple de formation avec timm EfficientNETV2 Backbones et les dernières versions des modèles EfficientDet ici
  • Arte de blog moyen
  • Cahier python
• Alex Shonenkov possède un noyau Kaggle clair et concis qui illustre le réglage fin de ces modèles pour détecter les têtes de blé: https://www.kaggle.com/shonenkov/training-efesivetdet (note: Ceci est hors de daté vers les dernières versions ici, de nombreux détails ont changé)

Si vous avez un bon exemple de script ou de noyau qui formation de ces modèles avec un ensemble de données différent, n'hésitez pas à m'informer de l'inclusion ici ...

Résultats

Ma formation

EfficientDet-D0

Dernière formation avec .336 pour D0 (sur 4x 1080ti): ./distributed_train.sh 4 /mscoco --model efficientdet_d0 -b 22 --amp --lr .12 --sync-bn --opt fusedmomentum --warmup-epochs 5 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.9999

Ces hparams ci-dessus ont abouti à un bon modèle, quelques points:

• La carte a culminé très tôt (l'époque 200 sur 300), puis a semblé sur-intimidable, donc probablement encore de la place à l'amélioration
• J'ai activé mon bruit LR expérimental qui a tendance à bien fonctionner avec EMA activé
• La LR efficace est un peu plus élevée qu'officielle. Le fonctionnaire est .08 pour le lot 64, cela fonctionne à 0,0872
• Drop_path (aka Survival_prob / drop_connect) de 0,1, ce qui est supérieur à 0,0 suggéré pour D0 en officiel, mais inférieur à 0,2 pour les autres modèles
• période EMA plus longue que par défaut

VAL2017

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.336251
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.521584
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.356439
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.123988
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.395033
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.521695
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.287121
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.441450
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.467914
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.197697
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.552515
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.689297

EfficientDet-D1

Dernière analyse avec .394 Map (sur 4x 1080ti): ./distributed_train.sh 4 /mscoco --model efficientdet_d1 -b 10 --amp --lr .06 --sync-bn --opt fusedmomentum --warmup-epochs 5 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.99995

Pour cette course, j'ai utilisé des augmentations améliorées, toujours expérimentées, donc pas prête pour la libération, devrait bien fonctionner sans eux, mais je commencerai probablement à surmonter un peu plus tôt et peut-être finir par une gamme .385-.39.

Poids de tensorflow portés

Test-DEV2017

Remarque: j'ai seulement essayé de soumettre D7 à Dev Server for Sanity Check jusqu'à présent

TF-EfficientDet-D7

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.534
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.726
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.577
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.356
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.569
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.660
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.397
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.644
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.682
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.508
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.718
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.818

VAL2017

Tf économe en d0

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.341877
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.525112
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.360218
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.131366
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.399686
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.537368
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.293137
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.447829
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.472954
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.195282
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.558127
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.695312

TF-EfficientDet-D1

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.401070
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.590625
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.422998
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.211116
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.459650
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.577114
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.326565
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.507095
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.537278
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.308963
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.610450
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.731814

Tf économe en tf-d2

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.434042
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.627834
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.463488
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.237414
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.486118
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.606151
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.343016
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.538328
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.571489
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.350301
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.638884
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.746671

TF EfficientDet-D3

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.471223
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.661550
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.505127
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.301385
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.518339
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.626571
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.365186
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.582691
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.617252
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.424689
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.670761
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.779611

TF-EfficientDet-D4

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.491759
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.686005
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.527791
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.325658
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.536508
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.635309
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.373752
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.601733
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.638343
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.463057
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.685103
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.789180

TF-EfficientDet-D5

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.511767
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.704835
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.552920
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.355680
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.551341
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.650184
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.384516
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.619196
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.657445
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.499319
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.695617
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.788889

TF-EfficientDet-D6

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.520200
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.713204
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.560973
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.361596
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.567414
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.657173
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.387733
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.629269
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.667495
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.499002
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.711909
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.802336

TF-EfficientDet-D7

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.531256
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.724700
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.571787
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.368872
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.573938
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.668253
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.393620
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.637601
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.676987
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.524850
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.717553
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.806352

TF-EfficientDet-D7x

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.543
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.737
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.585
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.401
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.579
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.680
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.398
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.649
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.689
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.550
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.725
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.823

FAIRE

• Formation de base (détection d'objets) Remplémentation
• Augmentation de la mosaïque
• Rand / autoaugment
• Bbox iou perte (giou, diou, ciou, etc.)
• Expériences de formation (segmentation sémantique)
• Intégration avec les bases de code Detectron2 / MMDection
• Ajout et nettoyage de modèles de segmentation en U EfficientNet UN et DeepLab que j'ai utilisés dans les projets antérieurs
• Ajout et nettoyage de l'ensemble de données OpenImages / Support de formation d'un projet passé
• Exploration des possibilités de segmentation des instances ...

Si vous êtes une organisation, vous souhaitez parrainer et que l'un de ces travaux, ou la hiérarchisation des instructions futures possibles vous intéresse, n'hésitez pas à me contacter (problème, linkedin, twitter, bonjour chez Rwightman dot com). Je vais configurer un parrain GitHub s'il y a un intérêt.