efficientdet pytorch

Eficientedet (Pytorch)

Uma implementação de Pytorch do eficientedet.

É baseado no

• Implementação oficial do TensorFlow por Mingxing Tan e a equipe do Google Brain
• Artigo por Mingxing Tan, Ruoming Pang, Quoc V. Le EficienteDet: Detecção de objetos escalável e eficiente

Existem outras implementações de Pytorch. A abordagem deles não se encaixou no meu objetivo de reproduzir corretamente os modelos de tensorflow (mas com uma sensação e flexibilidade de pytorch) ou eles não podem chegar perto de replicar o treinamento do MS Coco do zero.

Além das configurações padrão do modelo, há muita flexibilidade para facilitar experimentos e melhorias rápidas aqui - algumas opções baseadas no Tensorflow Official Impl, algumas de minhas:

• As conexões BIFPN e o modo de combinação são totalmente configuráveis e não assados no código do modelo
• Os módulos BIFPN e da cabeça podem ser alternados entre convoluções de profundidade ou padrão
• Ativações, camadas de normas em lote são comutáveis por meio de argumentos (em breve configuração)
• Qualquer espinha dorsal na minha coleção de modelos timm que suporta extração de recursos ( features_only arg) pode ser usada como um bacbkone.

Atualizações

2023-05-21

• Dependem do timm 0.9
• Menores correções de bug
• Versão 0.4.1 Release

2023-02-09

• Testando com Pytorch 2.0 (Nightlies), Adicione -TorchCompile Suporte para treinar e validar scripts
• Um pequeno passe de limpeza de código, suporte BWD/FWD Compat em Timm 0.8.x e versões anteriores
• Use timm Convert_sync_batchnorm, pois lida com modelos atualizados com camadas BatchNormAct2D

2022-01-06

• New efficientnetv2_ds WEAXS 50.1 MAPO @ 1024X0124, usando o AGC CLIPPING e o Backbone efficientnetv2_rw_s de timm . Uso de memória comparável ao D3, velocidade mais rápido que D4. Menor que o tamanho ideal do lote de treinamento, então provavelmente pode fazer melhor ...

2021-11-30

• Atualize efficientnetv2_dt pesos para um novo conjunto, 46.1 mapa @ 768x768, 47.0 mapa @ 896x896 usando o recorte AGC.
• Adicione AGC (suporte de corte de gradiente adaptativo via timm ). Ideia de ( High-Performance Large-Scale Image Recognition Without Normalization -https://arxiv.org/abs/2102.06171)
• A versão mínima timm aumentou para 0,4.12

2021-11-16

• Adicione eficienteNETV2 Backbone Experimento efficientnetv2_dt com base no modelo efficientnetv2_rw_t (TINY) do timm . 45.8 Mapa @ 768x768.
• Modelo Atualizado de TF eficientedet-Lite Defs Incluir pesos portados do Impl Oficial (https://github.com/google/automl)
• Para modelos Lite, o código de redimensionamento atualizado de Recursos no FPN é baseado no tamanho do feito em vez de taxas de redução, necessárias para suportar o tamanho da imagem que não é divisível em 128.
• Ajustes menores, correções de bugs

2021-07-28

• Adicionar exemplo de treinamento ao ReadMe fornecido por Chris Hughes para treinamento com conjunto de dados personalizado e código de treinamento de raios
  • Postagem de blog médio
  • Notebook Python

2021-04-30

• Adicione os pesos eficientes advProp-AA para D0-D5 de TF Impl. Nomes de modelo tf_efficientdet_d?_ap
  • Consulte https://github.com/google/automl/blob/master/effectdet/det-advprop.md

2021-02-18

• Adicione alguns novos pesos do modelo com interpolação bilinear para Up -Op -Ople e Downsample no FPN.
  • 40.9 MAP - efficientdet_q1 (Substitua o modelo Prev em 40.6)
  • 43.2 MAP - cspresdet50
  • 45.2 MAP - cspdarkdet53m

2020-12-07

• O treinamento com modelo de script totalmente JIT + bancada ( --torchscript ) é possível com a inclusão de Modelemav2 do timm e adições anteriores de compacto de tochcript. Grandes ganhos de velocidade para o treinamento ligado à CPU.
• Adicione pesos para layouts de FPN alternativos. Experimentos QuadFPN ( efficientdet_q0/q1/q2 ) e cspreSDEXT + PAN ( cspresdext50pan ). Consulte a tabela atualizada abaixo. Agradecimentos especiais à Artus por fornecer recursos para treinar o modelo Q2.
• Cabeças podem ter uma ativação diferente da FPN via configuração
• A reamosa FPN (interpolação) pode ser especificada via configuração e incluir qualquer método de avg max
• A perda focal padrão mudou de volta para new_focal , use-arg --legacy-focal para usar o original. O legado usa menos memória, mas tem mais problemas de estabilidade numérica.
• A transformação e agrupa de aumento personalizados podem ser passados para a fábrica de carregadores
• timm > = 0.3.2 Necessário, observe verifique duas configurações de modelo definido personalizado para a mudança de ruptura
• Pytorch> = 1.6 agora necessário

2020-11-12

• Adicione as configurações experimentais PAN e Quad FPN às configurações eficientes de eficientes existentes com duas configurações de modelo de teste
• Trocar de configurações de modelo experimental não treinado para usar o layout da cabeça do TorchScript Compat BN por padrão

2020-11-09

• Definir o modelo de configuração para somente leitura após a criação para reduzir a provação de uso indevido
• Nenhum modelo de acesso ou bancada .config att em forward () cadeia de chamadas (para o TorcScript Compat)
• Inúmeras mudanças menores que permitem scripts do JIT do modelo ou trem/previsão de bancada

2020-10-30

Mesclou alguns meses de correções e adições acumuladas.

• Modelo compatível com ajuste fino adequado (com classes mutáveis # e init apropriado, demonstrado em trem.py)
• Uma nova interface do conjunto de dados com suporte ao conjunto de dados (via Classes Parsers) para Coco, VOC 2007/2012 e OpenImages V5/Challenge2019
• Nova perda focal def w/ rótulo de suavização disponível como opção, suporte para Jit of Loss FN para aceleração (potencial)
• Melhorou alguns pontos quentes que se destacam alguns % dos ganhos de rendimento, maior utilização da GPU
• Avaliadores Pascal / OpenImages com base na estrutura do avaliador de modelos TensorFlow (utilizável para outros conjuntos de dados)
• Suporte para Pytorch DDP nativo, SyncBN e AMP em pytorch> = 1.6. Ainda padroniza o ápice se instalado.
• Os tamanhos de imagem de entrada não quadrada são permitidos para o modelo (o layout da âncora). Especificado por image_size tupla na configuração do modelo. Atualmente ainda restrito ao size % 128 = 0 em cada dim.
• Permita que a geração de alvo âncora seja feita no processo Dataloader 'via colar ou no modelo como no passado. Pode ajudar a equilibrar a computação.
• Filtre o alvo não utilizado CLS/caixa de anotações do conjunto de dados em tensores em lote de tamanho fixo antes de passar para o atribuador de destino. Parece acelerar a convergência.
• Apagamento aleatório de apagamento aleatório da caixa de correio adicionado.
• A (muito lento) softnms Impl adicionado para uso de inferência/validação. Pode ser ativado manualmente agora, pode adicionar arg se demanda.
• Testado com Pytorch 1.7
• Adicione pesos do modelo ResDet50, 41.6 mapa.

Algumas coisas na lista de prioridades que ainda não enfrentei:

• Aumentação em mosaico
• Bbox IOU LESS (tentei um pouco, mas até agora não é um ótimo resultado, precisa de tempo para depurar/melhorar)

Observe que existem algumas mudanças de ruptura:

• Preveja e os bancos de trem agora produzem caixas xyxy, não xywh como antes. Isso foi feito para apoiar outros conjuntos de dados, pois o XYWH é o requisito de avaliador da Coco.
• O avaliador de modelos TF opera em caixas YXYX como os modelos. A conversão do Xyxy é atualmente feita por padrão. Por que eu não mantenho tudo yxyx? Porque o Pytorch GPU NMS opera em Xyxy.
• Você deve atualizar sua versão do timm para as últimas (> = 0,3), pois algumas APIs para ajudantes mudaram um pouco.

Os verificações de sanidade de treinamento foram feitos no VOC e OI

• 80.0 @ 50 Map FineTune no VOC0712 sem tentativa de sintonizar params (aproximadamente conforme o comando abaixo)
• 18.0 Mapa @ 50 para o Oi Challenge2019 após alguns dias de treinamento (apenas 6 épocas, eek!). É muito maior e demora um tempo, muitas aulas são bastante desafiadoras.

Modelos

A tabela abaixo contém modelos com pesos pré -terenciados. Existem vários outros modelos que defini em configurações de modelo que usam vários backbones timm .

Variante	Mapa (VAL2017)	mapa (teste-DEV2017)	mapa (TF OFICIAL VAL2017)	mapa (TF OFICIAL TEST-DEV2017)	Params (m)	Tamanho IMG
TF_EFFAITICDDET_LITE0	27.1	TBD	26.4	N / D	3.24	320
TF_EFFAITICDDET_LITE1	32.2	TBD	31.5	N / D	4.25	384
eficientedet_d0	33.6	TBD	N / D	N / D	3.88	512
TF_EFFAITEDDET_D0	34.2	TBD	34.3	34.6	3.88	512
TF_EFFAITICDDET_D0_AP	34.8	TBD	35.2	35.3	3.88	512
eficientedet_q0	35.7	TBD	N / D	N / D	4.13	512
TF_EFFAITICDDET_LITE2	35.9	TBD	35.1	N / D	5.25	448
eficientedet_d1	39.4	39.5	N / D	N / D	6.62	640
TF_EFFAITEDDET_LITE3	39.6	TBD	38.8	N / D	8.35	512
TF_EFFAITICDDET_D1	40.1	TBD	40.2	40.5	6.63	640
TF_EFFAITICDDET_D1_AP	40.8	TBD	40.9	40.8	6.63	640
eficientedet_q1	40.9	TBD	N / D	N / D	6.98	640
CSPRESDEXT50PAN	41.2	TBD	N / D	N / D	22.2	640
ResDet50	41.6	TBD	N / D	N / D	27.6	640
eficientedet_q2	43.1	TBD	N / D	N / D	8.81	768
CSPRESDET50	43.2	TBD	N / D	N / D	24.3	768
TF_EFFAITEDDET_D2	43.4	TBD	42.5	43	8.10	768
TF_EFFAITICDDET_LITE3X	43.6	TBD	42.6	N / D	9.28	640
TF_EFFAITICDDET_LITE4	44.2	TBD	43.2	N / D	15.1	640
TF_EFFAITICDDET_D2_AP	44.2	TBD	44.3	44.3	8.10	768
CSPDARKDET53M	45.2	TBD	N / D	N / D	35.6	768
eficientedetv2_dt	46.1	TBD	N / D	N / D	13.4	768
TF_EFFAITEDDET_D3	47.1	TBD	47.2	47.5	12.0	896
TF_EFFAITICDDET_D3_AP	47.7	TBD	48.0	47.7	12.0	896
TF_EFFAITEDDET_D4	49.2	TBD	49.3	49.7	20.7	1024
eficientedetv2_ds	50.1	TBD	N / D	N / D	26.6	1024
TF_EFFAITICDDET_D4_AP	50.2	TBD	50.4	50.4	20.7	1024
TF_EFFAITEDDET_D5	51.2	TBD	51.2	51.5	33.7	1280
TF_EFFAITEDDET_D6	52.0	TBD	52.1	52.6	51.9	1280
TF_EFFAITICDDET_D5_AP	52.1	TBD	52.2	52.5	33.7	1280
TF_EFFAITEDDET_D7	53.1	53.4	53.4	53.7	51.9	1536
TF_EFFAITEDDET_D7X	54.3	TBD	54.4	55.1	77.1	1536

Consulte Configurações do modelo para URLs e diferenças de ponto de verificação do modelo.

Nota: Pontuações oficiais para todos os módulos agora usando NMS Soft, mas ainda usando NMS normais aqui.

NOTA: Ao treinar alguns modelos experimentais, notei alguns problemas em potencial com a combinação de síncronizada BatchNorm ( --sync-bn ) e o modelo de peso ema ( --model-ema ) durante o treinamento distribuído. O resultado é um modelo que não converge ou parece convergir (perda de treinamento), mas a perda de avaliação (estatísticas de BN em execução) é o lixo. Não observei isso com eficientesnets, mas tenho com alguns backbones como CSPRESNEXT, VOVNET, etc. Desativar a EMA ou o Sync BN parece eliminar o problema e resultar em bons modelos. Não caracterizei totalmente esse problema.

Configuração do ambiente

Testado em um ambiente Python 3.7 - 3.9 CONDA no Linux com:

• Pytorch 1.6 - 1.10
• Modelos de imagem Pytorch (Timm)> = 0.4.12, pip install timm ou instalação local em (https://github.com/rwightman/pytorch-image-models)
• APEX AMP Master (a partir de 2020-08). Eu recomendo o uso de Pytorch AMP e DDP nativos agora.

NOTA - Há um conflito/bug com o Numpy 1.18+ e o pycocotools 2.0, a força instalar numpy <= 1.17.5 ou verifique se você instala pycocotools> = 2.0.2

Configuração e uso do conjunto de dados

COCO

Dados de validação do MSCOCO 2017:

 wget http://images.cocodataset.org/zips/val2017.zip
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zip
unzip val2017.zip
unzip annotations_trainval2017.zip

MSCOCO 2017 TEST-DEV DATOS:

 wget http://images.cocodataset.org/zips/test2017.zip
unzip -q test2017.zip
wget http://images.cocodataset.org/annotations/image_info_test2017.zip
unzip image_info_test2017.zip

Avaliação Coco

Execute a validação (VAL2017 por padrão) com o modelo D2: python validate.py /localtion/of/mscoco/ --model tf_efficientdet_d2

Executar teste-dev2017: python validate.py /localtion/of/mscoco/ --model tf_efficientdet_d2 --split testdev

Treinamento Coco

./distributed_train.sh 4 /mscoco --model tf_efficientdet_d0 -b 16 --amp --lr .09 --warmup-epochs 5 --sync-bn --opt fusedmomentum --model-ema

OBSERVAÇÃO:

• Atualmente, o script de treinamento padrão é um modelo que não possui camadas redundantes de polarização de conv + bn como os modelos oficiais, defina a bandeira correta ao validar.
• Eu só treinei com o IMG significa ( --fill-color mean ) como pano de fundo para preenchimento de culturas/escala/aspecto, o repositório oficial usa pixel preto (0) ( --fill-color 0 ). Ambos provavelmente funcionam bem.
• O código de treinamento oficial usa a média do peso da EMA por padrão, não está claro que há um ponto em fazer isso com o cronograma de LR cosseno, acho que os pesos não EMA acabam melhor do que a EMA nos últimos 10 a 20% das épocas de treinamento
• O H-Params padrão está muito próximo de instável (perda explodindo), não tente usar o momento de Nesterov. Tente manter o tamanho do lote acima, use Sync-BN.

Pascal voc

2007, 2012, e combinados 2007 + 2012 com teste de 2007 para validação de 2007 são suportados.

 wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
find . -name '*.tar' -exec tar xf {} ;

Deve haver uma pasta VOC2007 e VOC2012 no VOCdevkit , o conjunto de dados da linha CMD será vocdevkit.

Links de download alternativos, mais lentos, mas com mais frequência do que ox.ac.uk:

 http://pjreddie.com/media/files/VOCtrainval_11-May-2012.tar
http://pjreddie.com/media/files/VOCtrainval_06-Nov-2007.tar
http://pjreddie.com/media/files/VOCtest_06-Nov-2007.tar

Avaliação de COV

Avalie o conjunto de validação VOC2012: python validate.py /data/VOCdevkit --model efficientdet_d0 --num-gpu 2 --dataset voc2007 --checkpoint mychekpoint.pth --num-classes 20

Treinamento de VOC

Fine tune COCO pretrained weights to VOC 2007 + 2012: /distributed_train.sh 4 /data/VOCdevkit --model efficientdet_d0 --dataset voc0712 -b 16 --amp --lr .008 --sync-bn --opt fusedmomentum --warmup-epochs 3 --model-ema --model-ema-decay 0.9966 --epochs 150 --num-classes 20 --pretrained

OpenImages

Configurar o conjunto de dados OpenImages é um compromisso. Eu tentei facilitar o WRT das anotações, mas pegar o conjunto de dados ainda levará algum tempo. Levará aproximadamente 560 GB de espaço de armazenamento.

Para baixar os dados da imagem, prefiro a embalagem CVDF. A página principal do conjunto de dados do OpenImages, anotações, informações da licença do conjunto de dados podem ser encontradas em: https://storage.googleapis.com/openimages/web/index.html

Download de imagens CVDF

Siga as instruções do download do S3 aqui: https://github.com/cvdfoundation/open-images-dataset#download-images-with-bounding-boxes-annotações

Cada train_<x>.tar.gz deve ser extraído para train/<x> , onde x é um dígito hexadecimal de 0-f. validation.tar.gz pode ser extraído como arquivos planos em validation/ .

Download de anotações

As anotações podem ser baixadas separadamente da página inicial do OpenImages acima. Por conveniência, eu os empacotei em conjunto com alguns arquivos CSV adicionais de 'informações' que contêm IDs e estatísticas para todos os arquivos de imagem. Meus conjuntos de dados dependem dos arquivos <set>-info.csv . Consulte https://storage.googleapis.com/openimages/web/factsfigures.html para a licença dessas anotações. As anotações são licenciadas pelo Google LLC sob licença CC por 4.0. As imagens são listadas como tendo uma licença CC por 2.0.

 wget https://github.com/rwightman/efficientdet-pytorch/releases/download/v0.1-anno/openimages-annotations.tar.bz2
wget https://github.com/rwightman/efficientdet-pytorch/releases/download/v0.1-anno/openimages-annotations-challenge-2019.tar.bz2
find . -name '*.tar.bz2' -exec tar xf {} ;

Layout

Depois que tudo for baixado e extraído, a raiz da sua pasta de dados do OpenImages deve conter:

 annotations/<csv anno for openimages v5/v6>
annotations/challenge-2019/<csv anno for challenge2019>
train/0/<all the image files starting with '0'>
.
.
.
train/f/<all the image files starting with 'f'>
validation/<all the image files in same folder>

Treinamento do OpenImages

Treinamento com Anotações de desafio2019 (500 classes): ./distributed_train.sh 4 /data/openimages --model efficientdet_d0 --dataset openimages-challenge2019 -b 7 --amp --lr .042 --sync-bn --opt fusedmomentum --warmup-epochs 1 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.999966 --epochs 100 --remode pixel --reprob 0.15 --recount 4 --num-classes 500 --val-skip 2

A cabeça de classe 500 (desafio2019) ou 601 (V5/V6) para OI ocupa muito mais memória da GPU vs Coco. Você provavelmente precisará meio tamanhos de lote.

Exemplos de treinamento / ajuste fino em conjuntos de dados personalizados

Os modelos aqui foram usados com rotinas de treinamento e conjuntos de dados personalizados com ótimos resultados. Existem muitos detalhes para descobrir, por isso, não registre nenhum 'eu recebo resultados de porcaria nos meus problemas personalizados do conjunto de dados'. Se você puder ilustrar um problema reprodutível em um conjunto de dados público, não proprietário e para download, com o Public Github Fork deste repositório, incluindo implementações de dados de dados de trabalho/analisador, posso ter tempo para dar uma olhada.

Exemplos:

• Chris Hughes reuniu um ótimo exemplo de treinamento com backbones timm eficienteNETV2 e as versões mais recentes dos modelos eficientes aqui
  • Postagem de blog médio
  • Notebook Python
• Alex Shonenkov tem um kernel de kaggle claro e conciso que ilustra o ajuste fino desses modelos para detectar cabeças de trigo: https://www.kaggle.com/shonenkov/training-eficienteDet (NOTA: Isso está desatualizado no WRT para as mais recentes versões aqui, muitos detalhes foram alterados)

Se você tem um bom exemplo de script ou kernel treinando esses modelos com um conjunto de dados diferente, fique à vontade para me notificar para inclusão aqui ...

Resultados

Meu treinamento

Eficientedet-d0

Latest training run with .336 for D0 (on 4x 1080ti): ./distributed_train.sh 4 /mscoco --model efficientdet_d0 -b 22 --amp --lr .12 --sync-bn --opt fusedmomentum --warmup-epochs 5 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.9999

Esses hparams acima resultaram em um bom modelo, alguns pontos:

• O mapa atingiu o pico muito cedo (Epoch 200 de 300) e depois parecia overfit, tão provável que ainda não tenha espaço para melhorias
• Eu permiti meu ruído experimental de LR, que tende a funcionar bem com a EMA habilitada
• O LR eficaz é um pouco maior que o oficial. Oficial é 0,08 para o lote 64, isso resulta em 0,0872
• Drop_Path (também conhecido como Survival_prob / Drop_Connect) de 0,1, que é maior que o sugerido 0,0 para D0 em oficial, mas menor que o 0,2 para os outros modelos
• período mais longo do que o padrão

VAL2017

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.336251
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.521584
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.356439
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.123988
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.395033
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.521695
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.287121
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.441450
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.467914
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.197697
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.552515
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.689297

Eficientedet-d1

Última execução com .394 mapa (em 4x 1080ti): ./distributed_train.sh 4 /mscoco --model efficientdet_d1 -b 10 --amp --lr .06 --sync-bn --opt fusedmomentum --warmup-epochs 5 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.99995

Para esta execução, usei alguns aumentos aprimorados, ainda experimentando, por isso não está pronto para o lançamento, deve funcionar bem sem eles, mas provavelmente começarei a ajustar um pouco mais cedo e possivelmente acabará na faixa de 0,385-39.

Pesos portados do tensorflow

Test-Dev2017

Nota: Eu só tentei enviar o D7 para o servidor de dev para verificação de sanidade até agora

TF-eficienteDet-D7

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.534
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.726
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.577
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.356
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.569
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.660
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.397
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.644
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.682
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.508
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.718
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.818

VAL2017

Tf-eficienteDet-D0

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.341877
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.525112
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.360218
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.131366
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.399686
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.537368
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.293137
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.447829
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.472954
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.195282
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.558127
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.695312

TF-eficienteDet-D1

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.401070
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.590625
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.422998
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.211116
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.459650
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.577114
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.326565
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.507095
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.537278
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.308963
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.610450
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.731814

TF-EFIFICIFÍCIADET-D2

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.434042
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.627834
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.463488
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.237414
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.486118
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.606151
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.343016
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.538328
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.571489
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.350301
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.638884
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.746671

TF eficienteDet-D3

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.471223
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.661550
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.505127
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.301385
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.518339
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.626571
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.365186
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.582691
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.617252
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.424689
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.670761
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.779611

TF-eficienteDet-D4

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.491759
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.686005
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.527791
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.325658
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.536508
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.635309
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.373752
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.601733
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.638343
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.463057
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.685103
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.789180

TF-EficienteDet-D5

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.511767
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.704835
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.552920
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.355680
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.551341
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.650184
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.384516
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.619196
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.657445
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.499319
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.695617
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.788889

TF-EficienteDet-D6

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.520200
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.713204
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.560973
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.361596
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.567414
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.657173
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.387733
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.629269
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.667495
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.499002
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.711909
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.802336

TF-eficienteDet-D7

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.531256
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.724700
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.571787
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.368872
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.573938
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.668253
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.393620
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.637601
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.676987
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.524850
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.717553
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.806352

Tf-eficienteDet-D7X

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.543
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.737
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.585
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.401
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.579
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.680
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.398
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.649
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.689
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.550
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.725
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.823

PENDÊNCIA

• Treinamento básico (detecção de objetos) Reimplementação
• Aumentação em mosaico
• Rand/Autoaugment
• Bbox IOU LESS (GIOU, DIOU, CIOU, etc)
• Experiências de treinamento (segmentação semântica)
• Integração com bases de código Detectron2 / MMDETECTION
• Adição e limpeza de modelos de segmentação U e Deeplab baseados em eficientes que usei em projetos anteriores
• Adição e limpeza do conjunto de dados/treinamento do OpenImages de um projeto passado
• Exploração das possibilidades de segmentação de instância ...

Se você é uma organização está interessada em patrocinar e qualquer um desses trabalhos, ou priorização das possíveis direções futuras, interessa -lhe, sinta -se à vontade para entrar em contato comigo (edição, LinkedIn, Twitter, Hello at Rwightman Dot Com). Vou configurar um patrocinador do GitHub se houver algum interesse.