RFBNet
1.0.0
Oleh Songtao Liu, Di Huang, Yunhong Wang
Terinspirasi oleh struktur bidang reseptif (RF) dalam sistem visual manusia, kami mengusulkan modul Novel RF Block (RFB), yang memperhitungkan hubungan antara ukuran dan eksentrisitas RFS ke akun, untuk meningkatkan diskriminasi dan kekokohan fitur. Kami selanjutnya mengumpulkan modul RFB ke bagian atas SSD dengan model CNN ringan, membangun detektor bersih RFB. Anda dapat menggunakan kode untuk melatih/mengevaluasi rfb net untuk deteksi objek. Untuk detail lebih lanjut, silakan merujuk ke kertas ECCV kami.
| Sistem | peta | FPS (Titan X Maxwell) |
|---|---|---|
| R-CNN lebih cepat (VGG16) | 73.2 | 7 |
| Yolov2 (darknet-19) | 78.6 | 40 |
| R-FCN (ResNet-101) | 80.5 | 9 |
| SSD300* (VGG16) | 77.2 | 46 |
| SSD512* (VGG16) | 79.8 | 19 |
| RFBNET300 (VGG16) | 80.7 | 83 |
| RFBNET512 (VGG16) | 82.2 | 38 |
| Sistem | peta tes-dev | Waktu (Titan X Maxwell) |
|---|---|---|
| R-CNN ++ lebih cepat (resnet-101) | 34.9 | 3.36S |
| Yolov2 (darknet-19) | 21.6 | 25ms |
| SSD300* (VGG16) | 25.1 | 22ms |
| SSD512* (VGG16) | 28.8 | 53ms |
| Retinanet500 (resnet-101-fpn) | 34.4 | 90ms |
| RFBNET300 (VGG16) | 30.3 | 15ms |
| RFBNET512 (VGG16) | 33.8 | 30ms |
| RFBNET512-E (VGG16) | 34.4 | 33ms |
| Sistem | Peta miniva coco | #parameters |
|---|---|---|
| SSD MobileNet | 19.3 | 6.8m |
| RFB MobileNet | 20.7 | 7.4m |
Harap kutip makalah kami di publikasi Anda jika membantu penelitian Anda:
@InProceedings{Liu_2018_ECCV,
author = {Liu, Songtao and Huang, Di and Wang, andYunhong},
title = {Receptive Field Block Net for Accurate and Fast Object Detection},
booktitle = {The European Conference on Computer Vision (ECCV)},
month = {September},
year = {2018}
}
./make.shCatatan : Periksa dukungan arsitektur GPU di utils/build.py, baris 131. Default adalah:
'nvcc': ['-arch=sm_52',
conda install opencvCatatan: Untuk pelatihan, kami saat ini mendukung VOC dan Coco.
Untuk membuat segalanya mudah, kami menyediakan VOC dan Coco Dataset Loader sederhana yang mewarisi torch.utils.data.Dataset membuatnya sepenuhnya kompatibel dengan torchvision.datasets API.
# specify a directory for dataset to be downloaded into, else default is ~/data/
sh data/scripts/VOC2007.sh # <directory> # specify a directory for dataset to be downloaded into, else default is ~/data/
sh data/scripts/VOC2012.sh # <directory>Instal Dataset MS Coco AT/PATH/TO/COCO dari situs web resmi, default adalah ~/data/coco. Mengikuti instruksi untuk menyiapkan anotasi Minival2014 dan Valminusminival2014 . Semua file label (.json) harus berada di bawah coco/ annotations/ folder. Itu harus memiliki struktur dasar ini
$COCO /
$COCO /cache/
$COCO /annotations/
$COCO /images/
$COCO /images/test2015/
$COCO /images/train2014/
$COCO /images/val2014/UPDATE : Dataset Coco saat ini telah merilis set Train2017 dan Val2017 baru yang hanya merupakan pemisahan baru dari set gambar yang sama.
Pertama-tama Unduh Bobot Jaringan Dasar VGG-16 Pytorch yang direduksi FC di: https://s3.amazonaws.com/amdegroot-odels/vgg16_reducedfc.pth atau dari driver Baiduyun kami
Basenet pra-terlatih MobileNet porting dari MobileNet-Caffe, yang mencapai tingkat akurasi yang sedikit lebih baik daripada yang asli yang dilaporkan dalam kertas, file berat tersedia di: https://drive.google.com/open?id=13azsapybbdjzfgidqn1inblpsddxck14 atau baidUy.
Secara default, kami menganggap Anda telah mengunduh file dalam RFBNet/weights :
mkdir weights
cd weights
wget https://s3.amazonaws.com/amdegroot-models/vgg16_reducedfc.pthtrain_RFB.py sebagai bendera atau mengubahnya secara manual. python train_RFB.py -d VOC -v RFB_vgg -s 300 train_RFB.py untuk opsi)Untuk mengevaluasi jaringan yang terlatih:
python test_RFB.py -d VOC -v RFB_vgg -s 300 --trained_model /path/to/model/weights Secara default, itu akan secara langsung menghasilkan hasil peta pada tes VOC2007 atau Coco Minival2014 . Untuk tes VOC2012 dan hasil tes-dev Coco, Anda dapat secara manual mengubah dataset dalam file test_RFB.py , lalu simpan hasil deteksi dan dikirimkan ke server.
