FCOSダウンロードFCOSソースコードのダウンロード

FCOS

パイソン

1.0.0

ダウンロード

FCOS：完全に畳み込みのある1段階のオブジェクト検出

このプロジェクトでは、私たちの論文に示されているように、オブジェクト検出のためのFCOSアルゴリズムを実装するためのコードをホストしています。

 FCOS: Fully Convolutional One-Stage Object Detection;
Zhi Tian, Chunhua Shen, Hao Chen, and Tong He;
In: Proc. Int. Conf. Computer Vision (ICCV), 2019.
arXiv preprint arXiv:1904.01355

完全な論文は、https：//arxiv.org/abs/1904.01355で入手できます。

Detectron2に基づく実装は、Adelaidetに含まれています。

Coco MinivalのAPに46FPSと40.3のリアルタイムモデルもここから入手できます。

ハイライト

完全にアンカーフリー： FCOは、アンカーボックスとアンカーボックスのすべてのハイパーパラメーターに関連する複雑な計算を完全に回避します。
パフォーマンスの向上：非常にシンプルな1段階検出器は、R-CNNよりもはるかに優れたパフォーマンス（ResNet-50のAPで38.7対36.8）を実現します。詳細モデルと実験結果をご覧ください。
より高速なトレーニングとテスト：同じハードウェアとバックボーンResNet-50-FPNを使用すると、FCOはR-CNNよりも少ないトレーニング時間（6.5時間対8.8時間）も必要です。 FCOはまた、R-CNNがより速い（44ms対56ms）よりも、画像あたりの推論時間が12ms少なくなります。
最先端のパフォーマンス： ResNext-64X4D-101と変形可能な畳み込みに基づく当社の最良のモデルは、CoCo Test-DEV（マルチスケールテスト付き）でAPで49.0％を達成します。

更新

高速で多様な（FAD）ニューラルアーキテクチャ検索を備えたFCOは、FADで利用できます。（30/10/2020）
ONNXモデルをエクスポートするためのスクリプト。（2019年11月21日）
新しいNMS（＃165を参照）は、RESNE（X）ベースのモデルを最大30％、MobileNetベースのモデルを40％高速化し、まったく同じパフォーマンスを発揮します。こちらをご覧ください。（2019年12月10日）
パフォーマンスが大幅に改善された新しいモデルがリリースされます。最高のモデルは、マルチスケールテストでCOCOテストDEVでAPで49％を達成します。（2019年9月9日）
Vovnetバックボーンを備えたFCOは、Vovnet-FCOSで入手できます。（2019年8月8日）
Bboxの小さな中央領域をトレーニングに使用するトリックは、ここに示すようにAPをほぼ1ポイント改善します。（2019年7月23日）
HRNETバックボーンを備えたFCOは、HRNET-FCOSで入手できます。（2019年3月7日）
Automl検索FPN（R50、R101、ResNext101、およびMobileNetv2バックボーン）を検索したFCOは、NAS-FCOSで入手できます。（2019年6月30日）
FCOはMMDeTectionで実装されています。 @yhcao6と@hellockに感謝します。（2019年5月17日）

必要なハードウェア

8つのNVIDIA V100 GPUを使用します。
ただし、FCOはメモリ効率が高いため、4 1080TI GPUは本格的なResNet-50-FPNベースのFCOをトレーニングすることもできます。

インストール

テストのみのインストール

FCOをプロジェクトでオブジェクト検出器として使用するだけのユーザーの場合、PIPでインストールできます。そうするために、実行してください：

 pip install torch  # install pytorch if you do not have it
pip install git+https://github.com/tianzhi0549/FCOS.git
# run this command line for a demo 
fcos https://github.com/tianzhi0549/FCOS/raw/master/demo/images/COCO_val2014_000000000885.jpg

インターフェイスの使用については、こちらをご覧ください。

完全なインストール用

このFCOの実装は、MaskRCNNベンチマークに基づいています。したがって、インストールは元のMaskRCNNベンチマークと同じです。

インストール手順については、install.mdを確認してください。また、Maskrcnnベンチマークの元のreadme.mdを見たいかもしれません。

簡単なデモ

インストールが完了したら、以下の手順に従ってクイックデモを実行できます。

 # assume that you are under the root directory of this project,
# and you have activated your virtual environment if needed.
wget https://huggingface.co/tianzhi/FCOS/resolve/main/FCOS_imprv_R_50_FPN_1x.pth?download=true -O FCOS_imprv_R_50_FPN_1x.pth
python demo/fcos_demo.py

推論

ココミニバル分割の推論コマンドライン：

 python tools/test_net.py 
    --config-file configs/fcos/fcos_imprv_R_50_FPN_1x.yaml 
    MODEL.WEIGHT FCOS_imprv_R_50_FPN_1x.pth 
    TEST.IMS_PER_BATCH 4

注意してください：

モデルの名前が異なる場合は、 FCOS_imprv_R_50_FPN_1x.pth独自のものに置き換えてください。
メモリ外エラーが発生した場合は、 TEST.IMS_PER_BATCH 1に減らしてみてください。
別のモデルを評価する場合は、Configファイル（configs/fcos）に--config-file MODEL.WEIGHTのWeightsファイルに変更してください。
Multi-GPU推論が利用可能です。＃78を参照してください。
マルチラベルNMS（＃165を参照）を使用することにより、ポストプロセスの効率を改善しました。次の表の推論メトリックはそれに応じて更新されました。

モデル

あなたの便利さのために、私たちは次の訓練されたモデルを提供します（その他のモデルが間もなく登場します）。

resne（x）ts：

すべてのResne（x）ベースのモデルは、ミニバッチおよびフローズンバッチ正規化（つまり、maskrcnn_benchmarkのモデルと一致して）で16の画像でトレーニングされています。

モデル	マルチスケールトレーニング	テスト時間 / IM	AP（ミニバル）	リンク
FCOS_IMPRV_R_50_FPN_1X	いいえ	44ms	38.7	ダウンロード
FCOS_IMPRV_DCNV2_R_50_FPN_1X	いいえ	54ms	42.3	ダウンロード
FCOS_IMPRV_R_101_FPN_2X	はい	57ms	43.0	ダウンロード
FCOS_IMPRV_DCNV2_R_101_FPN_2X	はい	73ms	45.6	ダウンロード
FCOS_IMPRV_X_101_32X8D_FPN_2X	はい	110ms	44.0	ダウンロード
FCOS_IMPRV_DCNV2_X_101_32X8D_FPN_2X	はい	143ms	46.4	ダウンロード
FCOS_IMPRV_X_101_64X4D_FPN_2X	はい	112ms	44.7	ダウンロード
FCOS_IMPRV_DCNV2_X_101_64X4D_FPN_2X	はい	144ms	46.6	ダウンロード

imprv 、ペーパーのimprovements表3に示していることに注意してください。これらのほとんどコストのない変更は、パフォーマンスを合計で約1.5％改善します。したがって、それらを使用することを強くお勧めします。以下は、最初の論文に示されている元のモデルです。

モデル	マルチスケールトレーニング	テスト時間 / IM	AP（ミニバル）	AP（test-dev）	リンク
FCOS_R_50_FPN_1X	いいえ	45ms	37.1	37.4	ダウンロード
FCOS_R_101_FPN_2X	はい	59ms	41.4	41.5	ダウンロード
FCOS_X_101_32X8D_FPN_2X	はい	110ms	42.5	42.7	ダウンロード
fcos_x_101_64x4d_fpn_2x	はい	113ms	43.0	43.2	ダウンロード

Mobilenets：

MobileNetベースのモデルのバッチ正規化を更新します。 Syncbnを使用する場合は、Pytorch 1.1以降をインストールしてください。

モデル	トレーニングバッチサイズ	マルチスケールトレーニング	テスト時間 / IM	AP（ミニバル）	リンク
fcos_syncbn_bs32_c128_mnv2_fpn_1x	32	いいえ	26ms	30.9	ダウンロード
fcos_syncbn_bs32_mnv2_fpn_1x	32	いいえ	33ms	33.1	ダウンロード
fcos_bn_bs16_mnv2_fpn_1x	16	いいえ	44ms	31.0	ダウンロード

[1] 1xおよび2xは、モデルがそれぞれ90kおよび180kの反復でトレーニングされることを意味します。
[2]すべての結果は、単一のモデルで得られ、テスト時間はマルチスケール、フリッピングなどなどのデータ増強なしで取得されます。
[3] c128 、モデルがタワーに128の（256の代わりに）チャネルを持っていることを示します（つまり、 MODEL.RESNETS.BACKBONE_OUT_CHANNELS in config）。
[4] dcnv2 、変形可能な畳み込みネットワークv2を示します。 RESNETベースのモデルの場合、バックボーンでステージC3からC5への変形可能な畳み込みを適用することに注意してください。 ResNextベースのモデルの場合、ステージC4とC5のみが変形可能な畳み込みを使用します。すべてのモデルは、検出器塔の最後の層で変形可能な畳み込みを使用します。
[5]モデルFCOS_imprv_dcnv2_X_101_64x4d_FPN_2xマルチスケールテストを使用すると、COCO Test-DEVのAPで49.0％を達成します。 TEST.BBOX_AUG.ENABLED Trueを使用して、マルチスケールテストを有効にしてください。

トレーニング

次のコマンドラインでは、同期確率的勾配降下（SGD）で8 GPUでFCOS_IMPRV_R_50_FPN_1Xをトレーニングします。

 python -m torch.distributed.launch 
    --nproc_per_node=8 
    --master_port=$((RANDOM + 10000)) 
    tools/train_net.py 
    --config-file configs/fcos/fcos_imprv_R_50_FPN_1x.yaml 
    DATALOADER.NUM_WORKERS 2 
    OUTPUT_DIR training_dir/fcos_imprv_R_50_FPN_1x

ご了承ください：

より少ないGPUを使用する場合は、 --nproc_per_node GPUの数に変更してください。他の設定を変更する必要はありません。合計バッチサイズは、 nproc_per_nodeに依存しません。合計バッチサイズを変更する場合は、 SOLVER.IMS_PER_BATCH Configs/fcos/fcos_r_50_fpn_1x.yamlで変更してください。
モデルはOUTPUT_DIRに保存されます。
他のバックボーンでFCOをトレーニングしたい場合は、 --config-file変更してください。
独自のデータセットでFCOをトレーニングしたい場合は、この命令＃54に従ってください。
現在、8つのGPUと4つのGPUでのトレーニングは同じパフォーマンスを持つことができます。以前のパフォーマンスギャップは、損失を計算するときにGPU間でnum_pos同期しなかったためです。

onnx

モデルをONNXにエクスポートする例については、ディレクトリONNXを参照してください。変換されたモデルはここからダウンロードできます。 ONNXモデルには、Pytorch> = 1.4.0（または毎晩）およびTorchvision> = 0.5.0（または毎晩）を使用することをお勧めします。

プロジェクトに貢献します

プルリクエストや問題は大歓迎です。

引用

プロジェクトがあなたの研究に役立つなら、あなたの出版物で私たちの論文を引用することを検討してください。 Bibtexの参照は次のとおりです。

 @inproceedings{tian2019fcos,
  title   =  {{FCOS}: Fully Convolutional One-Stage Object Detection},
  author  =  {Tian, Zhi and Shen, Chunhua and Chen, Hao and He, Tong},
  booktitle =  {Proc. Int. Conf. Computer Vision (ICCV)},
  year    =  {2019}
}

 @article{tian2021fcos,
  title   =  {{FCOS}: A Simple and Strong Anchor-free Object Detector},
  author  =  {Tian, Zhi and Shen, Chunhua and Chen, Hao and He, Tong},
  booktitle =  {IEEE T. Pattern Analysis and Machine Intelligence (TPAMI)},
  year    =  {2021}
}