ViTPoseダウンロード - ViTPoseソースコードのダウンロード

ViTPose

パイソン

1.0.0

ダウンロード

Vitsops：人間のポーズ推定のためのシンプルな視覚変圧器ベースライン

結果|更新|使用法| todo |認める

このブランチには、ヒトポーズ推定とvitose+：一般的なボディポーズ推定のためのvitose+：Vision Transformer Foundationモデルのためのvitspose：Simple Vision Transformer BaselinesのPytorch実装が含まれています。 MS Coco Keypoint Test-DEVセットで81.1 APを取得します。

Webデモ

ハギングフェイススペースに統合されていますか？グラデーションの使用。ビデオ：および画像のWebデモを試してください

MAE事前に訓練されたモデル

小型のMAE事前訓練を受けたモデルは、OneDriveで見つけることができます。
MAEを使用したベース、大きくて大規模な事前に訓練されたモデルは、MAE公式リポジトリにあります。

MS Coco Valセットのこのリポジトリの結果（シングルタスクトレーニング）

検出結果を使用して、人に56のマップを取得する検出器の結果。ここの構成は、トレーニングとテストの両方に適しています。

クラシックデコーダー付き

モデル	プレレイン	解決	AP	ar	config	ログ	重さ
vitopse-s	メイ	256x192	73.8	79.2	config	ログ	onedrive
vitose-b	メイ	256x192	75.8	81.1	config	ログ	onedrive
vitose-l	メイ	256x192	78.3	83.5	config	ログ	onedrive
vitose-h	メイ	256x192	79.1	84.1	config	ログ	onedrive

単純なデコーダー付き

モデル	プレレイン	解決	AP	ar	config	ログ	重さ
vitopse-s	メイ	256x192	73.5	78.9	config	ログ	onedrive
vitose-b	メイ	256x192	75.5	80.9	config	ログ	onedrive
vitose-l	メイ	256x192	78.2	83.4	config	ログ	onedrive
vitose-h	メイ	256x192	78.9	84.0	config	ログ	onedrive

マルチタスクトレーニングの結果

注* Issue＃24で説明したように、クラウドトレーニングセットと他のデータセットに検証画像に複製画像が存在する場合があります。評価にこれらのモデルを使用する場合は、注意してください。 ReferenceのためにCropse Datasetなしで結果を提供します。

ヒューマンデータセット（MS COCO、AIC、MPII、クラウドポーズ）

MS Coco Valセットの結果

検出結果を使用して、人に56のマップを取得する検出器の結果。ここの構成は評価のためだけです。

モデル	データセット	解決	AP	ar	config	重さ
vitose-b	coco+aic+mpii	256x192	77.1	82.2	config	onedrive
vitose-l	coco+aic+mpii	256x192	78.7	83.8	config	onedrive
vitose-h	coco+aic+mpii	256x192	79.5	84.5	config	onedrive
vitose-g	coco+aic+mpii	576x432	81.0	85.6
vitopse-b*	coco+aic+mpii+クラウド	256x192	77.5	82.6	config	onedrive
vitose-l*	coco+aic+mpii+クラウド	256x192	79.1	84.1	config	onedrive
vitose-h*	coco+aic+mpii+クラウド	256x192	79.8	84.8	config	onedrive
Vitops+-S	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	75.8	82.6	config	log \| onedrive
Vitops+-B	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	77.0	82.6	config	log \| onedrive
vitops+-l	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	78.6	84.1	config	log \| onedrive
Vitops+-H	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	79.4	84.8	config	log \| onedrive

Ochumanテストセットの結果

グラウンドトゥルース境界ボックスを使用します。ここの構成は評価のためだけです。

モデル	データセット	解決	AP	ar	config	重さ
vitose-b	coco+aic+mpii	256x192	88.0	89.6	config	onedrive
vitose-l	coco+aic+mpii	256x192	90.9	92.2	config	onedrive
vitose-h	coco+aic+mpii	256x192	90.9	92.3	config	onedrive
vitose-g	coco+aic+mpii	576x432	93.3	94.3
vitopse-b*	coco+aic+mpii+クラウド	256x192	88.2	90.0	config	onedrive
vitose-l*	coco+aic+mpii+クラウド	256x192	91.5	92.8	config	onedrive
vitose-h*	coco+aic+mpii+クラウド	256x192	91.6	92.8	config	onedrive
Vitops+-S	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	78.4	80.6	config	log \| onedrive
Vitops+-B	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	82.6	84.8	config	log \| onedrive
vitops+-l	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	85.7	87.5	config	log \| onedrive
Vitops+-H	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	85.7	87.4	config	log \| onedrive

MPII VALセットの結果

グラウンドトゥルース境界ボックスを使用します。ここの構成は評価のためだけです。メトリックはPCKHです。

モデル	データセット	解決	平均	config	重さ
vitose-b	coco+aic+mpii	256x192	93.3	config	onedrive
vitose-l	coco+aic+mpii	256x192	94.0	config	onedrive
vitose-h	coco+aic+mpii	256x192	94.1	config	onedrive
vitose-g	coco+aic+mpii	576x432	94.3
vitopse-b*	coco+aic+mpii+クラウド	256x192	93.4	config	onedrive
vitose-l*	coco+aic+mpii+クラウド	256x192	93.9	config	onedrive
vitose-h*	coco+aic+mpii+クラウド	256x192	94.1	config	onedrive
Vitops+-S	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	92.7	config	log \| onedrive
Vitops+-B	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	92.8	config	log \| onedrive
vitops+-l	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	94.0	config	log \| onedrive
Vitops+-H	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	94.2	config	log \| onedrive

AIチャレンジャーテストセットの結果

グラウンドトゥルース境界ボックスを使用します。ここの構成は評価のためだけです。

モデル	データセット	解決	AP	ar	config	重さ
vitose-b	coco+aic+mpii	256x192	32.0	36.3	config	onedrive
vitose-l	coco+aic+mpii	256x192	34.5	39.0	config	onedrive
vitose-h	coco+aic+mpii	256x192	35.4	39.9	config	onedrive
vitose-g	coco+aic+mpii	576x432	43.2	47.1
vitopse-b*	coco+aic+mpii+クラウド	256x192	31.9	36.3	config	onedrive
vitose-l*	coco+aic+mpii+クラウド	256x192	34.6	39.0	config	onedrive
vitose-h*	coco+aic+mpii+クラウド	256x192	35.3	39.8	config	onedrive
Vitops+-S	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	29.7	34.3	config	log \| onedrive
Vitops+-B	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	31.8	36.3	config	log \| onedrive
vitops+-l	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	34.3	38.9	config	log \| onedrive
Vitops+-H	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	34.8	39.1	config	log \| onedrive

クラウドテストセットの結果

Yolov3ヒト検出器の使用。ここの構成は評価のためだけです。

モデル	データセット	解決	AP	AP（H）	config	重さ
vitopse-b*	coco+aic+mpii+クラウド	256x192	74.7	63.3	config	onedrive
vitose-l*	coco+aic+mpii+クラウド	256x192	76.6	65.9	config	onedrive
vitose-h*	coco+aic+mpii+クラウド	256x192	76.3	65.6	config	onedrive

動物データセット（AP10K、APT36K）

AP-10Kテストセットの結果

モデル	データセット	解決	AP	config	重さ
Vitops+-S	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	71.4	config	log \| onedrive
Vitops+-B	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	74.5	config	log \| onedrive
vitops+-l	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	80.4	config	log \| onedrive
Vitops+-H	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	82.4	config	log \| onedrive

APT-36K VALセットの結果

モデル	データセット	解決	AP	config	重さ
Vitops+-S	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	74.2	config	log \| onedrive
Vitops+-B	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	75.9	config	log \| onedrive
vitops+-l	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	80.8	config	log \| onedrive
Vitops+-H	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	82.3	config	log \| onedrive

Wholebodyデータセット

モデル	データセット	解決	AP	config	重さ
Vitops+-S	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	54.4	config	log \| onedrive
Vitops+-B	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	57.4	config	log \| onedrive
vitops+-l	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	60.6	config	log \| onedrive
Vitops+-H	coco+aic+mpii+ap10k+apt36k+wholebody	256x192	61.2	config	log \| onedrive

ハンドデータセットで結果を転送します（インターハンド2.6m）

モデル	データセット	解決	auc	config	重さ
Vitops+-S	coco+aic+mpii+wholebody	256x192	86.5	config	近日公開
Vitops+-B	coco+aic+mpii+wholebody	256x192	87.0	config	近日公開
vitops+-l	coco+aic+mpii+wholebody	256x192	87.5	config	近日公開
Vitops+-H	coco+aic+mpii+wholebody	256x192	87.6	config	近日公開

更新

[2023-01-10] Vitops+を更新してください！ MOE Strategiesを使用して、人間、動物、および全体のボディが推定するタスクを共同で扱います。

[2022-05-24]シングルタスクトレーニングコード、シングルタスクの事前訓練モデル、およびマルチタスク前抑制モデルをアップロードします。

[2022-05-06]ベース、大規模、巨大なモデルのログをアップロードします！

[2022-04-27] Vitae-Gとのin vitsposeは、Coco Test-DEVセットで81.1 APを取得します！

Vitae Transformerのアプリケーションには以下が含まれます。画像分類|オブジェクトの検出|セマンティックセグメンテーション|動物のポーズセグメンテーション|リモートセンシング|マット| VSA | vitdet

使用法

実験には、Pytorch 1.9.0またはNGC Docker 21.06、およびMMCV 1.3.9を使用します。

git clone https://github.com/open-mmlab/mmcv.git
cd mmcv
git checkout v1.3.9
MMCV_WITH_OPS=1 pip install -e .
cd ..
git clone https://github.com/ViTAE-Transformer/ViTPose.git
cd ViTPose
pip install -v -e .

2つのリポジトリをインストールした後、TIMMとEINOPS、IEをインストールします。

pip install timm==0.4.9 einops

事前に保護されたモデルをダウンロードした後、実行して実験を実施してください

 # for single machine
bash tools/dist_train.sh < Config PATH > < NUM GPUs > --cfg-options model.pretrained= < Pretrained PATH > --seed 0

# for multiple machines
python -m torch.distributed.launch --nnodes < Num Machines > --node_rank < Rank of Machine > --nproc_per_node < GPUs Per Machine > --master_addr < Master Addr > --master_port < Master Port > tools/train.py < Config PATH > --cfg-options model.pretrained= < Pretrained PATH > --launcher pytorch --seed 0

事前に保護されたモデルのパフォーマンスをテストするには、実行してください

bash tools/dist_test.sh < Config PATH > < Checkpoint PATH > < NUM GPUs >

Vitops+事前に訓練されたモデルについては、最初に事前に訓練されたウェイトを使用して再編成してください

python tools/model_split.py --source < Pretrained PATH >

トト

このレポ電流には、以下を含む変更が含まれています。

構成と前処理されたモデルをアップロードします
SOTAの結果を備えたモデルを増やします
マルチタスクトレーニング構成をアップロードします

認める

MMPOSEとMAEからの優れた実装を認めます。

vitsopeを引用します

vitose用

 @inproceedings{
  xu2022vitpose,
  title={Vi{TP}ose: Simple Vision Transformer Baselines for Human Pose Estimation},
  author={Yufei Xu and Jing Zhang and Qiming Zhang and Dacheng Tao},
  booktitle={Advances in Neural Information Processing Systems},
  year={2022},
}

Vitops+の場合

 @article{xu2022vitpose+,
  title={ViTPose+: Vision Transformer Foundation Model for Generic Body Pose Estimation},
  author={Xu, Yufei and Zhang, Jing and Zhang, Qiming and Tao, Dacheng},
  journal={arXiv preprint arXiv:2212.04246},
  year={2022}
}

VitaeとVitaev2については、次のことを参照してください。

 @article{xu2021vitae,
  title={Vitae: Vision transformer advanced by exploring intrinsic inductive bias},
  author={Xu, Yufei and Zhang, Qiming and Zhang, Jing and Tao, Dacheng},
  journal={Advances in Neural Information Processing Systems},
  volume={34},
  year={2021}
}

@article{zhang2022vitaev2,
  title={ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond},
  author={Zhang, Qiming and Xu, Yufei and Zhang, Jing and Tao, Dacheng},
  journal={arXiv preprint arXiv:2202.10108},
  year={2022}
}

拡大する

追加情報