ViTPose
1.0.0
Результаты | Обновления | Использование | Тодо | Сознавать
Эта ветвь содержит внедрение Pytorch of Vitpept: Простые базовые показатели трансформатора зрения для оценки позы человека и модели Vitopect+: Vision Transformer Foundation для оценки позы общей тела. Он получает 81,1 AP на наборе тестового дева MS Coco.
Используя результаты обнаружения от детектора, который получает 56 карт на человека. Конфигурации здесь предназначены как для обучения, так и для тестирования.
С классическим декодером
| Модель | Предварительный | Разрешение | Доступа | АР | конфигурация | бревно | масса |
|---|---|---|---|---|---|---|---|
| Vitpose-S | MAE | 256x192 | 73,8 | 79,2 | конфигурация | бревно | OneDrive |
| Vitopep-b | MAE | 256x192 | 75,8 | 81.1 | конфигурация | бревно | OneDrive |
| Vitpope-l | MAE | 256x192 | 78.3 | 83,5 | конфигурация | бревно | OneDrive |
| Vitpope-H | MAE | 256x192 | 79,1 | 84.1 | конфигурация | бревно | OneDrive |
С простым декодером
| Модель | Предварительный | Разрешение | Доступа | АР | конфигурация | бревно | масса |
|---|---|---|---|---|---|---|---|
| Vitpose-S | MAE | 256x192 | 73,5 | 78.9 | конфигурация | бревно | OneDrive |
| Vitopep-b | MAE | 256x192 | 75,5 | 80.9 | конфигурация | бревно | OneDrive |
| Vitpope-l | MAE | 256x192 | 78.2 | 83,4 | конфигурация | бревно | OneDrive |
| Vitpope-H | MAE | 256x192 | 78.9 | 84,0 | конфигурация | бревно | OneDrive |
ПРИМЕЧАНИЕ * В рамках обучающего набора могут существовать дублирующиеся изображения и изображения проверки в других наборах данных, как обсуждалось в выпуске № 24. Пожалуйста, будьте осторожны при использовании этих моделей для оценки. Мы предоставляем результаты без набора данных о RoupePos для справки.
Результаты на набор MS Coco Val
Используя результаты обнаружения от детектора, который получает 56 карт на человека. Обратите внимание на конфигурации здесь только для оценки.
| Модель | Набор данных | Разрешение | Доступа | АР | конфигурация | масса |
|---|---|---|---|---|---|---|
| Vitopep-b | Коко+AIC+MPII | 256x192 | 77.1 | 82.2 | конфигурация | OneDrive |
| Vitpope-l | Коко+AIC+MPII | 256x192 | 78.7 | 83,8 | конфигурация | OneDrive |
| Vitpope-H | Коко+AIC+MPII | 256x192 | 79,5 | 84,5 | конфигурация | OneDrive |
| Vitpose-G | Коко+AIC+MPII | 576x432 | 81.0 | 85,6 | ||
| Vitpose-B* | Coco+AIC+MPII+толпа | 256x192 | 77.5 | 82,6 | конфигурация | OneDrive |
| Vitpose-l* | Coco+AIC+MPII+толпа | 256x192 | 79,1 | 84.1 | конфигурация | OneDrive |
| Vitpose-h* | Coco+AIC+MPII+толпа | 256x192 | 79,8 | 84,8 | конфигурация | OneDrive |
| Vitpose+-s | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 75,8 | 82,6 | конфигурация | log | OneDrive |
| Vitpose+-b | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 77.0 | 82,6 | конфигурация | log | OneDrive |
| Vitpose+-l | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 78.6 | 84.1 | конфигурация | log | OneDrive |
| Vitpose+-h | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 79,4 | 84,8 | конфигурация | log | OneDrive |
Результаты на тестовом наборе Ochuman
Используя оборотные коробки Groundtruth. Обратите внимание на конфигурации здесь только для оценки.
| Модель | Набор данных | Разрешение | Доступа | АР | конфигурация | масса |
|---|---|---|---|---|---|---|
| Vitopep-b | Коко+AIC+MPII | 256x192 | 88.0 | 89,6 | конфигурация | OneDrive |
| Vitpope-l | Коко+AIC+MPII | 256x192 | 90.9 | 92.2 | конфигурация | OneDrive |
| Vitpope-H | Коко+AIC+MPII | 256x192 | 90.9 | 92.3 | конфигурация | OneDrive |
| Vitpose-G | Коко+AIC+MPII | 576x432 | 93.3 | 94.3 | ||
| Vitpose-B* | Coco+AIC+MPII+толпа | 256x192 | 88.2 | 90.0 | конфигурация | OneDrive |
| Vitpose-l* | Coco+AIC+MPII+толпа | 256x192 | 91.5 | 92,8 | конфигурация | OneDrive |
| Vitpose-h* | Coco+AIC+MPII+толпа | 256x192 | 91.6 | 92,8 | конфигурация | OneDrive |
| Vitpose+-s | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 78.4 | 80.6 | конфигурация | log | OneDrive |
| Vitpose+-b | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 82,6 | 84,8 | конфигурация | log | OneDrive |
| Vitpose+-l | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 85,7 | 87.5 | конфигурация | log | OneDrive |
| Vitpose+-h | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 85,7 | 87.4 | конфигурация | log | OneDrive |
Результаты на набор MPII VAL
Используя оборотные коробки Groundtruth. Обратите внимание на конфигурации здесь только для оценки. Метрика PCKH.
| Модель | Набор данных | Разрешение | Иметь в виду | конфигурация | масса |
|---|---|---|---|---|---|
| Vitopep-b | Коко+AIC+MPII | 256x192 | 93.3 | конфигурация | OneDrive |
| Vitpope-l | Коко+AIC+MPII | 256x192 | 94.0 | конфигурация | OneDrive |
| Vitpope-H | Коко+AIC+MPII | 256x192 | 94.1 | конфигурация | OneDrive |
| Vitpose-G | Коко+AIC+MPII | 576x432 | 94.3 | ||
| Vitpose-B* | Coco+AIC+MPII+толпа | 256x192 | 93.4 | конфигурация | OneDrive |
| Vitpose-l* | Coco+AIC+MPII+толпа | 256x192 | 93,9 | конфигурация | OneDrive |
| Vitpose-h* | Coco+AIC+MPII+толпа | 256x192 | 94.1 | конфигурация | OneDrive |
| Vitpose+-s | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 92.7 | конфигурация | log | OneDrive |
| Vitpose+-b | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 92,8 | конфигурация | log | OneDrive |
| Vitpose+-l | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 94.0 | конфигурация | log | OneDrive |
| Vitpose+-h | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 94.2 | конфигурация | log | OneDrive |
Результаты на тестовом наборе AI Challenger
Используя оборотные коробки Groundtruth. Обратите внимание на конфигурации здесь только для оценки.
| Модель | Набор данных | Разрешение | Доступа | АР | конфигурация | масса |
|---|---|---|---|---|---|---|
| Vitopep-b | Коко+AIC+MPII | 256x192 | 32,0 | 36.3 | конфигурация | OneDrive |
| Vitpope-l | Коко+AIC+MPII | 256x192 | 34,5 | 39,0 | конфигурация | OneDrive |
| Vitpope-H | Коко+AIC+MPII | 256x192 | 35,4 | 39,9 | конфигурация | OneDrive |
| Vitpose-G | Коко+AIC+MPII | 576x432 | 43.2 | 47.1 | ||
| Vitpose-B* | Coco+AIC+MPII+толпа | 256x192 | 31.9 | 36.3 | конфигурация | OneDrive |
| Vitpose-l* | Coco+AIC+MPII+толпа | 256x192 | 34.6 | 39,0 | конфигурация | OneDrive |
| Vitpose-h* | Coco+AIC+MPII+толпа | 256x192 | 35,3 | 39,8 | конфигурация | OneDrive |
| Vitpose+-s | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 29,7 | 34.3 | конфигурация | log | OneDrive |
| Vitpose+-b | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 31.8 | 36.3 | конфигурация | log | OneDrive |
| Vitpose+-l | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 34.3 | 38.9 | конфигурация | log | OneDrive |
| Vitpose+-h | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 34,8 | 39.1 | конфигурация | log | OneDrive |
Результаты на набор тестов по толпе
Используя человеческий детектор YOLOV3. Обратите внимание на конфигурации здесь только для оценки.
| Модель | Набор данных | Разрешение | Доступа | Ap (h) | конфигурация | масса |
|---|---|---|---|---|---|---|
| Vitpose-B* | Coco+AIC+MPII+толпа | 256x192 | 74,7 | 63,3 | конфигурация | OneDrive |
| Vitpose-l* | Coco+AIC+MPII+толпа | 256x192 | 76.6 | 65,9 | конфигурация | OneDrive |
| Vitpose-h* | Coco+AIC+MPII+толпа | 256x192 | 76.3 | 65,6 | конфигурация | OneDrive |
Результаты на набор теста AP-10K
| Модель | Набор данных | Разрешение | Доступа | конфигурация | масса |
|---|---|---|---|---|---|
| Vitpose+-s | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 71.4 | конфигурация | log | OneDrive |
| Vitpose+-b | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 74,5 | конфигурация | log | OneDrive |
| Vitpose+-l | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 80.4 | конфигурация | log | OneDrive |
| Vitpose+-h | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 82.4 | конфигурация | log | OneDrive |
Результаты на APT-36K Val Set
| Модель | Набор данных | Разрешение | Доступа | конфигурация | масса |
|---|---|---|---|---|---|
| Vitpose+-s | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 74.2 | конфигурация | log | OneDrive |
| Vitpose+-b | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 75,9 | конфигурация | log | OneDrive |
| Vitpose+-l | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 80.8 | конфигурация | log | OneDrive |
| Vitpose+-h | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 82.3 | конфигурация | log | OneDrive |
| Модель | Набор данных | Разрешение | Доступа | конфигурация | масса |
|---|---|---|---|---|---|
| Vitpose+-s | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 54.4 | конфигурация | log | OneDrive |
| Vitpose+-b | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 57.4 | конфигурация | log | OneDrive |
| Vitpose+-l | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 60.6 | конфигурация | log | OneDrive |
| Vitpose+-h | COCO+AIC+MPII+AP10K+APT36K+Целое тело | 256x192 | 61.2 | конфигурация | log | OneDrive |
| Модель | Набор данных | Разрешение | Аук | конфигурация | масса |
|---|---|---|---|---|---|
| Vitpose+-s | Coco+AIC+MPII+целое тело | 256x192 | 86.5 | конфигурация | Вскоре |
| Vitpose+-b | Coco+AIC+MPII+целое тело | 256x192 | 87.0 | конфигурация | Вскоре |
| Vitpose+-l | Coco+AIC+MPII+целое тело | 256x192 | 87.5 | конфигурация | Вскоре |
| Vitpose+-h | Coco+AIC+MPII+целое тело | 256x192 | 87.6 | конфигурация | Вскоре |
[2023-01-10] Обновите Vitpose+! Он использует стратегии MOE для совместной работы с задачами оценки человека, животных и цельного тела.
[2022-05-24] Загрузите одно задачу обучающего кода, предварительно обученные модели с одной задачей и многозадачные модели.
[2022-05-06] Загрузите журналы для базы, больших и огромных моделей!
[2022-04-27] Наш витат с Vitae-G получает 81,1 AP на кокосовом наборе!
Применение трансформатора Vitae включает в себя: классификация изображений | Обнаружение объекта | Семантическая сегментация | Сегментация позы животных | Дистанционное зондирование | маттинг | VSA | Vitdet
Мы используем Pytorch 1.9.0 или NGC Docker 21.06 и MMCV 1.3.9 для экспериментов.
git clone https://github.com/open-mmlab/mmcv.git
cd mmcv
git checkout v1.3.9
MMCV_WITH_OPS=1 pip install -e .
cd ..
git clone https://github.com/ViTAE-Transformer/ViTPose.git
cd ViTPose
pip install -v -e .После установки двух репо, установите Timm и Einops, т.е.
pip install timm==0.4.9 einopsПосле загрузки предварительно проведенных моделей, пожалуйста, проведите эксперименты, работая
# for single machine
bash tools/dist_train.sh < Config PATH > < NUM GPUs > --cfg-options model.pretrained= < Pretrained PATH > --seed 0
# for multiple machines
python -m torch.distributed.launch --nnodes < Num Machines > --node_rank < Rank of Machine > --nproc_per_node < GPUs Per Machine > --master_addr < Master Addr > --master_port < Master Port > tools/train.py < Config PATH > --cfg-options model.pretrained= < Pretrained PATH > --launcher pytorch --seed 0Чтобы проверить производительность предварительно проведенных моделей, пожалуйста, запустите
bash tools/dist_test.sh < Config PATH > < Checkpoint PATH > < NUM GPUs >Для моделей Vitpose+ предварительно обученные, пожалуйста, сначала реорганизуйте предварительно обученные веса, используя
python tools/model_split.py --source < Pretrained PATH > Этот ток репо содержит модификации, включая:
Загрузить конфигурации и предварительные модели
Больше моделей с результатами SOTA
Загрузите многозадачную тренировочную конфигурацию
Мы признаем превосходную реализацию от Mmpose и Mae.
Для витата
@inproceedings{
xu2022vitpose,
title={Vi{TP}ose: Simple Vision Transformer Baselines for Human Pose Estimation},
author={Yufei Xu and Jing Zhang and Qiming Zhang and Dacheng Tao},
booktitle={Advances in Neural Information Processing Systems},
year={2022},
}
Для витапов.+
@article{xu2022vitpose+,
title={ViTPose+: Vision Transformer Foundation Model for Generic Body Pose Estimation},
author={Xu, Yufei and Zhang, Jing and Zhang, Qiming and Tao, Dacheng},
journal={arXiv preprint arXiv:2212.04246},
year={2022}
}
Для Vitae и Vitaev2, пожалуйста, обратитесь к:
@article{xu2021vitae,
title={Vitae: Vision transformer advanced by exploring intrinsic inductive bias},
author={Xu, Yufei and Zhang, Qiming and Zhang, Jing and Tao, Dacheng},
journal={Advances in Neural Information Processing Systems},
volume={34},
year={2021}
}
@article{zhang2022vitaev2,
title={ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond},
author={Zhang, Qiming and Xu, Yufei and Zhang, Jing and Tao, Dacheng},
journal={arXiv preprint arXiv:2202.10108},
year={2022}
}
