efficientdet pytorch Download - efficientdet pytorch Source Code скачать

EfficeDet (Pytorch)

Реализация Pytorch EfficeDet.

Он основан на

Официальная реализация Tensorflow с помощью Mingxing Tan и команды Google Brain Team
Бумага путем загара Mingxing, Ruiping Pang, Quoc V. le EffactDet: масштабируемое и эффективное обнаружение объекта

Есть и другие реализации Pytorch. Либо их подход не соответствовал моей цели, чтобы правильно воспроизвести модели тензорфлова (но с ощущением и гибкостью питха), либо они не могут приблизиться к воспроизведению тренировок MS Coco с нуля.

Помимо конфигураций модели по умолчанию, существует большая гибкость для облегчения экспериментов и быстрых улучшений здесь - некоторые варианты, основанные на официальном Tensorflow Impl, некоторые из моих собственных:

Соединения BIFPN и режим комбинации полностью настраиваются и не выпекаются в код модели
Модули BIFPN и головки могут быть переключены между глубинными отдельными или стандартными свертками
Активации, партийные нормы переключаются через аргументы (скоро конфигурация)
Любая основая в моей коллекции моделей timm , которая поддерживает извлечение функций ( features_only arg), может использоваться в качестве бакбконе.

Обновления

2023-05-21

Зависит от timm 0,9
Незначительные исправления ошибок
Версия 0.4.1 Выпуск

2023-02-09

Тестирование с помощью Pytorch 2.0 (Nightlies), добавьте -Torchcompile поддержка для обучения и проверки сценариев
Небольшой проход для очистки кода, поддержка BWD/FWD Compat через Timm 0.8.x и предыдущие выбросы
Используйте функцию timm convert_sync_batchnorm, когда она обрабатывает обновленные модели с слоями batchnormact2d

2022-01-06

Новые веса efficientnetv2_ds 50.1 MAP @ 1024x0124, используя подключение AGC и efficientnetv2_rw_s timm . Память использует сопоставимо с D3, скорость быстрее D4. Меньше, чем оптимальный размер пакета тренировок, так что, вероятно, может быть лучше ...

2021-11-30

Обновление efficientnetv2_dt Весары для нового набора, 46.1 MAP @ 768x768, 47.0 MAP @ 896x896 с использованием AGC Cripping.
Добавьте AGC (адаптивная поддержка расщепления градиента через timm ). Идея из ( High-Performance Large-Scale Image Recognition Without Normalization -https://arxiv.org/abs/2102.06171)
Минимальная версия timm увеличилась до 0,4,12

2021-11-16

Добавить EffififyNetV2 Backbone Experiment efficientnetv2_dt на основе модели timm efficientnetv2_rw_t (Tiny). 45,8 карта @ 768x768.
Обновленная модель TF EffactDet-Lite DEFS включает веса, переносимые из официального IMP (https://github.com/google/automl)
Для моделей LITE обновленный код изменения размера функций в FPN, основанный на размере подвига, вместо коэффициентов сокращения, необходимый для поддержки размера изображения, который не делится на 128.
Незначительные изменения, исправления ошибок

2021-07-28

Добавить пример обучения в Readme, предоставленное Крисом Хьюзом для обучения с пользовательским набором данных и кодом обучения Lightning
- Средний пост в блоге
- Записная книжка Python

2021-04-30

Добавить веса Advprop-AA для D0-D5 от TF Impl. Имена модели tf_efficientdet_d?_ap
- См

2021-02-18

Добавьте несколько новых весов модели с билинейной интерполяцией для воспроизведения и пример в FPN.
- 40.9 MAP - efficientdet_q1 (заменить предварительную модель на 40,6)
- 43.2 Карта - cspresdet50
- 45.2 Карта - cspdarkdet53m

2020-12-07

Обучение с полным сценарием JIT + скамейка ( --torchscript ) возможна с включением ModelEMAV2 из timm и предыдущих дополнений COMPAT TorchScript. Большой скорость прибыли для тренировок.
Добавьте веса для альтернативных макетов FPN. Эксперименты QuadFPN ( efficientdet_q0/q1/q2 ) и CSPRESDEXT + PAN ( cspresdext50pan ). См. Обновленную таблицу ниже. Особая благодарность Артусу за предоставление ресурсов для обучения модели Q2.
Головы могут иметь другую активацию от FPN через config
FPN Resammer (интерполяция) может быть указан через конфигурацию и включать любой метод F.Interpolation или max / avg Pool
Фокальная потеря по умолчанию изменилась на new_focal , используйте --legacy-focal Arg, чтобы использовать оригинал. Legacy использует меньше памяти, но имеет более численные проблемы с стабильностью.
Пользовательское преобразование увеличения и сопоставление FN может быть передано на фабрику загрузчика
timm > = 0.3.2, необходимо, обратите внимание на двойную проверку любой пользовательской конфигурации модели для нарушения изменения
Pytorch> = 1,6 теперь требуется

2020-11-12

Добавить экспериментальные конфигурации PAN и QUAD FPN в существующую эффективность BIFPN с двумя конфигурациями тестовой модели
Переключить не обученные экспериментальные конфигурации модели, чтобы по умолчанию использовать макет головки BN BN BN

2020-11-09

Установите конфигурацию модели только для чтения после создания, чтобы уменьшить вероятность неправильного использования.
Нет доступа модели или скамейки.
Многочисленные меньшие изменения, которые позволяют сценариям JIT модели или поезда/прогнозировать скамейку

2020-10-30

Объединилось несколько месяцев накопленных исправлений и дополнений.

Правильная точная настраиваемая совместимая модель init (с изменчивыми классами # и правильным инициатором, демонстрация в Train.py)
Новый интерфейс набора данных с поддержкой наборов данных (через классы анализатора) для Coco, VOC 2007/2012 и OpenImage v5/Challenge2019
Новые потери фокалов def с сглаживанием метки, доступны в качестве опции, поддержка JIT OF LOSS FN для (потенциального) ускорения
Улучшено несколько горячих точек, которые выкидывают пару % увеличения пропускной способности, более высокое использование графического процессора
Оценщики Pascal / OpenImages на основе структуры оценки моделей TensorFlow Models (также используются для других наборов данных)
Поддержка Native Pytorch DDP, Syncbn и Amp в Pytorch> = 1,6. Все еще по умолчанию в Apex, если установлен.
Размеры входного изображения, не являющиеся квадратными, допускаются для модели (макет якоря). Указано в Tuple Image_size в конфигурации модели. В настоящее время по -прежнему ограничен size % 128 = 0 на каждом DIM.
Разрешить генерацию целей якоря в процессе DataLoader 'через Collate или в модели, как в прошлом. Может помочь сбалансировать вычислитель.
Отфильтруйте неиспользованный целевой CLS/поле из аннотаций набора данных в тензорах с фиксированным размером, прежде чем перенести целевой назначитель. Кажется, ускоряет конвергенцию.
Письмовая ящик осведомлен о случайном увеличении стирания добавлено.
(Очень медленный) Softnms Imp добавлен для вывода/валидации. Он может быть включен вручную прямо сейчас, может добавить ARG, если спрос.
Протестировано с помощью Pytorch 1.7
Добавить веса модели RESDET50, 41,6 карта.

Несколько вещей в списке приоритетов, которые я еще не занимался:

Мозаичное увеличение
Bbox IO LOSS (попробовал немного, но пока не очень хороший результат, нужно время, чтобы отлаживать/улучшить)

Обратите внимание, что есть некоторые нарушающие изменения:

Прогнозируйте и поезда скамейки теперь выводят xyxy boxs, а не xywh, как раньше. Это было сделано для поддержки других наборов данных, поскольку XYWH является требованием оценщика Coco.
Оценчик TF Models работает на коробках Yxyx, таких как модели. Преобразование из Xyxy в настоящее время выполняется по умолчанию. Почему бы мне просто не сохранить все yxyx? Потому что Pytorch GPU NMS работает в Xyxy.
Вы должны обновить свою версию timm до последней (> = 0,3), так как некоторые API для помощников немного изменились.

Учебные проверки здравомыслия были проведены на VOC и OI

80.0 @ 50 Map Finetune на VOC0712 без попыток настроить параметры (примерно в соответствии с командой ниже)
18.0 MAP @ 50 для OI Challenge2019 после нескольких дней обучения (всего 6 эпох, eek!). Это намного больше и занимает много времени, многие занятия довольно сложные.

Модели

В таблице ниже содержатся модели с предварительно подготовленными весами. Есть довольно много других моделей, которые я определил в конфигурациях моделей, которые используют различные основы timm .

Вариант	Карта (Val2017)	Карта (Test-Dev2017)	Карта (официальный Val2017)	Карта (TF Office Test-Dev2017)	Params (m)	Размер IMG
TF_EFFIFTDET_LITE0	27.1	TBD	26.4	N/a	3.24	320
TF_EFFIFTDET_LITE1	32.2	TBD	31.5	N/a	4.25	384
EffactDet_d0	33,6	TBD	N/a	N/a	3.88	512
TF_EFFIFTDET_D0	34.2	TBD	34.3	34.6	3.88	512
TF_EFFIFTDET_D0_AP	34,8	TBD	35,2	35,3	3.88	512
EffactDet_q0	35,7	TBD	N/a	N/a	4.13	512
TF_EFFIFTDET_LITE2	35,9	TBD	35,1	N/a	5.25	448
EffactDet_d1	39,4	39,5	N/a	N/a	6.62	640
TF_EFFIFTDET_LITE3	39,6	TBD	38.8	N/a	8.35	512
TF_EFFIFTDET_D1	40.1	TBD	40.2	40,5	6.63	640
TF_EFFIFTDET_D1_AP	40,8	TBD	40,9	40,8	6.63	640
EffactDet_q1	40,9	TBD	N/a	N/a	6,98	640
cspresdext50pan	41.2	TBD	N/a	N/a	22.2	640
RESDET50	41.6	TBD	N/a	N/a	27.6	640
EffactDet_q2	43.1	TBD	N/a	N/a	8.81	768
CSPRESDET50	43.2	TBD	N/a	N/a	24.3	768
TF_EFFIFTDET_D2	43,4	TBD	42,5	43	8.10	768
TF_EFFIFTDET_LITE3X	43,6	TBD	42,6	N/a	9.28	640
TF_EFFIFTDET_LITE4	44.2	TBD	43.2	N/a	15.1	640
TF_EFFIFTDET_D2_AP	44.2	TBD	44.3	44.3	8.10	768
CSPDARKDET53M	45,2	TBD	N/a	N/a	35,6	768
EffactDetv2_dt	46.1	TBD	N/a	N/a	13.4	768
TF_EFFIFTDET_D3	47.1	TBD	47.2	47.5	12.0	896
TF_EFFIFTDET_D3_AP	47.7	TBD	48.0	47.7	12.0	896
TF_EFFIFTDET_D4	49,2	TBD	49,3	49,7	20.7	1024
EffactDetv2_ds	50.1	TBD	N/a	N/a	26.6	1024
TF_EFFIFTDET_D4_AP	50.2	TBD	50.4	50.4	20.7	1024
TF_EFFIFTDET_D5	51.2	TBD	51.2	51,5	33,7	1280
TF_EFFIFTDET_D6	52,0	TBD	52,1	52,6	51.9	1280
TF_EFFIFTDET_D5_AP	52,1	TBD	52,2	52,5	33,7	1280
TF_EFFIFTDET_D7	53,1	53,4	53,4	53,7	51.9	1536
TF_EFFIFTDET_D7X	54,3	TBD	54.4	55,1	77.1	1536

См. Конфигурации модели для URL -адресов контрольной точки модели и различий.

Примечание. Официальные оценки для всех модулей, которые сейчас используют Soft-NMS, но все же используют обычные NMS здесь.

Примечание. При обучении некоторых экспериментальных моделей я заметил некоторые потенциальные проблемы с комбинацией синхронизированного паттерного патча ( --sync-bn ) и модели EMA Weight Everageing ( --model-ema ) во время распределенного обучения. Результатом является либо модель, которая не сходится, либо, по -видимому, сходится (потери обучения), но потеря Eval (работающая статистика BN) является мусором. Я не наблюдал этого с эффективными выборами, но имел некоторые основы, такие как CSPresNext, Vovnet и т. Д. Отключение либо EMA, либо Sync BN, по -видимому, устраняет проблему и приводит к хорошим моделям. Я не полностью охарактеризовал эту проблему.

Настройка среды

Протестировано в среде Python 3.7 - 3.9 Conda в Linux с:

Pytorch 1,6 - 1,10
Модели изображений Pytorch (TIMM)> = 0.4.12, pip install timm или локальная установка из (https://github.com/rwightman/pytorch-image-dels)
Apex Amp Master (по состоянию на 2020-08). Я рекомендую использовать Native Pytorch Amp и DDP сейчас.

Примечание - есть конфликт/ошибка с Numpy 1.18+ и Pycocotools 2.0, Force установить Numpy <= 1,17,5 или убедитесь, что вы устанавливаете PycoTools> = 2.0.2

Настройка и использование набора данных

Коко

MSCOCO 2017 Данные валидации:

 wget http://images.cocodataset.org/zips/val2017.zip
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zip
unzip val2017.zip
unzip annotations_trainval2017.zip

MSCOCO 2017 Данные Test-DEV:

 wget http://images.cocodataset.org/zips/test2017.zip
unzip -q test2017.zip
wget http://images.cocodataset.org/annotations/image_info_test2017.zip
unzip image_info_test2017.zip

Коко -оценка

Проверка запуска (val2017 по умолчанию) с D2 Модель: python validate.py /localtion/of/mscoco/ --model tf_efficientdet_d2

Запустите Test-Dev2017: python validate.py /localtion/of/mscoco/ --model tf_efficientdet_d2 --split testdev

КОКО ТРУЖИЕ

./distributed_train.sh 4 /mscoco --model tf_efficientdet_d0 -b 16 --amp --lr .09 --warmup-epochs 5 --sync-bn --opt fusedmomentum --model-ema

ПРИМЕЧАНИЕ:

Обучение сценария в настоящее время по умолчанию по умолчанию модели, которая не имеет избыточных слоев смещения Conv + BN, таких как официальные модели, устанавливайте правильный флаг при проверке.
Я тренировался только с IMG средним ( --fill-color mean ) в качестве фона для заполнения урожая/шкалы/аспекта, официальный репо использует черный пиксель (0) ( --fill-color 0 ). Оба, вероятно, работают нормально.
Официальный учебный код использует EMA Weight, усредняющийся по умолчанию, неясно, что есть смысл в этом с графиком LR Cosine, я обнаружил, что веса не ЭМА оказываются лучше, чем EMA в последних 10-20% эпох тренировок
H-Params по умолчанию очень близки к нестабильному (взрывающуюся потерю), не пытайтесь использовать импульс Nesterov. Постарайтесь поддерживать размер партии, используйте Sync-BN.

Pascal Voc

2007, 2012, и содержит комбинированный 2007 + 2012 с обозначенным тестированием 2007 года для проверки.

 wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
find . -name '*.tar' -exec tar xf {} ;

Должна быть папка VOC2007 и VOC2012 в VOCdevkit , ROYDET ROY для CMD LINE будет VORDEVKIT.

Альтернативные ссылки загрузки, медленнее, но более чаще, чем ox.ac.uk:

 http://pjreddie.com/media/files/VOCtrainval_11-May-2012.tar
http://pjreddie.com/media/files/VOCtrainval_06-Nov-2007.tar
http://pjreddie.com/media/files/VOCtest_06-Nov-2007.tar

Оценка ЛОС

Оценка на VOS2012 Набор валидации: python validate.py /data/VOCdevkit --model efficientdet_d0 --num-gpu 2 --dataset voc2007 --checkpoint mychekpoint.pth --num-classes 20

Обучение

Fine tune COCO pretrained weights to VOC 2007 + 2012: /distributed_train.sh 4 /data/VOCdevkit --model efficientdet_d0 --dataset voc0712 -b 16 --amp --lr .008 --sync-bn --opt fusedmomentum --warmup-epochs 3 --model-ema --model-ema-decay 0.9966 --epochs 150 --num-classes 20 --pretrained

OpenImage

Настройка набора данных OpenImages - это обязательство. Я попытался сделать это немного проще до аннотаций, но захват набора данных по -прежнему займет некоторое время. Это займет около 560 ГБ места для хранения.

Чтобы загрузить данные изображения, я предпочитаю упаковку CVDF. Основная страница набора данных OpenImages, аннотации, информация о лицензии на набор данных можно найти по адресу: https://storage.googleapis.com/openimages/web/index.html

Скачать изображения CVDF

Следуйте указаниям скачивания S3 здесь: https://github.com/cvdfoundation/open-images-dataset#download-images-with-bound-boxes-annotations

Каждый train_<x>.tar.gz должен быть извлечен в папку train/<x> validation.tar.gz можно извлечь в виде плоских файлов в validation/ .

Аннотации скачать

Аннотация можно загрузить отдельно от домашней страницы OpenImages выше. Для удобства я собрал их всех вместе с некоторыми дополнительными файлами CSV, которые содержат идентификаторы и статистику для всех файлов изображений. Мои наборы данных полагаются на файлы <set>-info.csv . Пожалуйста, смотрите https://storage.googleapis.com/openimages/web/factsfigures.html для лицензии на эти аннотации. Аннотации лицензированы Google LLC в соответствии с CC по лицензии 4,0. Изображения указаны как имеющие лицензию CC на 2,0.

 wget https://github.com/rwightman/efficientdet-pytorch/releases/download/v0.1-anno/openimages-annotations.tar.bz2
wget https://github.com/rwightman/efficientdet-pytorch/releases/download/v0.1-anno/openimages-annotations-challenge-2019.tar.bz2
find . -name '*.tar.bz2' -exec tar xf {} ;

Макет

Как только все будет загружено и извлечено, корень вашей папки данных OpenImages должен содержать:

 annotations/<csv anno for openimages v5/v6>
annotations/challenge-2019/<csv anno for challenge2019>
train/0/<all the image files starting with '0'>
.
.
.
train/f/<all the image files starting with 'f'>
validation/<all the image files in same folder>

Обучение OpenImages

Обучение с Allege2019 Аннотации (500 классов): ./distributed_train.sh 4 /data/openimages --model efficientdet_d0 --dataset openimages-challenge2019 -b 7 --amp --lr .042 --sync-bn --opt fusedmomentum --warmup-epochs 1 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.999966 --epochs 100 --remode pixel --reprob 0.15 --recount 4 --num-classes 500 --val-skip 2

Класс 500 (Challenge2019) или 601 (V5/V6) для OI занимает гораздо больше памяти графического процессора по сравнению с COCO. Скорее всего, вам понадобится половина размеров партий.

Примеры обучения / тонкую настройку на пользовательских наборах данных

Модели здесь использовались с пользовательскими процедурами обучения и наборами данных с отличными результатами. Есть много деталей, чтобы выяснить, поэтому, пожалуйста, не подавайте никаких результатов «Я получаю результаты дерьма в мои пользовательские проблемы данных». Если вы можете проиллюстрировать воспроизводимую проблему на публичном, непременном, загружаемом наборе данных, с публичной вилкой Github этого репо, включая работающий набор данных/анализатор, у меня может быть время, чтобы посмотреть.

Примеры:

Крис Хьюз собрал отличный пример обучения с timm последствиями и последними версиями моделей эффективных моделей здесь
- Средний пост в блоге
- Записная книжка Python
У Алекса Шоненкова четкое и краткое ядро Kaggle, которое иллюстрирует тонкую надувную эти модели для обнаружения головок пшеницы: https://www.kaggle.com/shonenkov/training-effivertdet (Примечание: это устаревшее с даты до последних версий, многие детали изменились)

Если у вас есть хороший пример сценария или обучение ядра эти модели с другим набором данных, не стесняйтесь уведомлять меня о включении здесь ...

Результаты

Моя тренировка

EffactDet-D0

Последний тренировочный запуск с .336 для D0 (ON 4X 1080TI): ./distributed_train.sh 4 /mscoco --model efficientdet_d0 -b 22 --amp --lr .12 --sync-bn --opt fusedmomentum --warmup-epochs 5 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.9999

Эти Hparams выше привели к хорошей модели, в нескольких точках:

Карта достигла пика очень рано (Epoch 200 из 300), а затем оказалась переполненной, так что, вероятно, все еще место для улучшения
Я включил свой экспериментальный шум LR, который хорошо работает с EMA включенным
Эффективный LR немного выше, чем официальный. Официальный - 0,08 для партии 64, это работает .0872
Drop_path (aka Survival_prob / drop_connect) скорость 0,1, что выше, чем предполагаемое 0,0 для D0 на официальном, но ниже, чем 0,2 для других моделей
более длительный период EMA, чем по умолчанию

Val2017

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.336251
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.521584
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.356439
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.123988
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.395033
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.521695
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.287121
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.441450
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.467914
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.197697
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.552515
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.689297

EffactDet-D1

Latest run with .394 mAP (on 4x 1080ti): ./distributed_train.sh 4 /mscoco --model efficientdet_d1 -b 10 --amp --lr .06 --sync-bn --opt fusedmomentum --warmup-epochs 5 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.99995

Для этого прогона я использовал некоторые улучшенные дополнения, все еще экспериментируя, так что не готово к выпуску, должен работать без них, но, вероятно, начнет переосмыслить немного раньше и, возможно, в конечном итоге в диапазоне .385-39.

Портированный тензорфлоу веса

Test-Dev2017

Примечание: до сих пор я пытался отправить D7 на Dev Server для проверки здравомыслия

TF-EffFIGHTDET-D7

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.534
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.726
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.577
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.356
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.569
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.660
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.397
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.644
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.682
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.508
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.718
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.818

Val2017

TF-EffFIGHTDET-D0

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.341877
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.525112
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.360218
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.131366
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.399686
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.537368
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.293137
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.447829
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.472954
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.195282
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.558127
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.695312

TF-EffFIGHTDET-D1

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.401070
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.590625
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.422998
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.211116
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.459650
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.577114
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.326565
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.507095
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.537278
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.308963
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.610450
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.731814

TF-EffFIGHTDET-D2

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.434042
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.627834
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.463488
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.237414
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.486118
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.606151
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.343016
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.538328
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.571489
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.350301
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.638884
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.746671

TF EffactDet-D3

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.471223
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.661550
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.505127
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.301385
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.518339
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.626571
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.365186
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.582691
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.617252
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.424689
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.670761
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.779611

TF-EffFIGHTDET-D4

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.491759
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.686005
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.527791
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.325658
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.536508
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.635309
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.373752
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.601733
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.638343
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.463057
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.685103
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.789180

TF-EffFIGHTDET-D5

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.511767
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.704835
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.552920
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.355680
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.551341
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.650184
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.384516
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.619196
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.657445
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.499319
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.695617
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.788889

TF-EffFIGHTDET-D6

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.520200
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.713204
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.560973
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.361596
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.567414
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.657173
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.387733
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.629269
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.667495
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.499002
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.711909
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.802336

TF-EffFIGHTDET-D7

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.531256
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.724700
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.571787
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.368872
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.573938
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.668253
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.393620
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.637601
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.676987
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.524850
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.717553
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.806352

TF-EffFIGHTDET-D7X

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.543
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.737
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.585
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.401
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.579
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.680
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.398
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.649
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.689
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.550
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.725
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.823

Тодо

Основное обучение (обнаружение объекта) переопределение
Мозаичное увеличение
Рэнд/Автоауг
Bbox iou Loss (giou, diou, ciou и т. Д.)
Эксперименты по обучению (семантическая сегментация)
Интеграция с кодовыми базами Detectron2 / MmDetection
Добавление и очистка моделей сегментации U-Net на основе EfficeNet, которые я использовал в прошлых проектах
Добавление и очистка набора набора данных/обучения OpenImages из прошлого проекта
Изучение возможностей сегментации экземпляров ...

Если вы организация заинтересована в спонсоре и любой из этой работы или приоритетов возможных будущих направлений, которые вас интересуют, не стесняйтесь связаться со мной (выпуск, LinkedIn, Twitter, Hello в Rwightman Dot Com). Я установите спонсора GitHub, если есть какой -либо интерес.

Расширять