หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

EfficientDet (Pytorch)

การใช้งาน Pytorch ของ EfficientDet

มันขึ้นอยู่กับไฟล์

  • การใช้งาน Tensorflow อย่างเป็นทางการโดย Mingxing Tan และทีม Google Brain
  • กระดาษโดย Mingxing Tan, Ruoming Pang, Quoc V. LE EfficientDet: การตรวจจับวัตถุที่ปรับขนาดได้และมีประสิทธิภาพ

มีการใช้งาน pytorch อื่น ๆ วิธีการของพวกเขาไม่สอดคล้องกับเป้าหมายของฉันในการทำซ้ำโมเดล Tensorflow (แต่ด้วยความรู้สึกและความยืดหยุ่นของ pytorch) หรือพวกเขาไม่สามารถเข้าใกล้เพื่อจำลองการฝึกอบรม MS Coco ตั้งแต่เริ่มต้น

นอกเหนือจากการกำหนดค่าโมเดลเริ่มต้นแล้วยังมีความยืดหยุ่นมากมายในการอำนวยความสะดวกในการทดลองและการปรับปรุงอย่างรวดเร็วที่นี่ - ตัวเลือกบางอย่างตาม Tensorflow อย่างเป็นทางการของฉันเอง: บางตัวเอง:

  • การเชื่อมต่อ BIFPN และโหมดการรวมกันสามารถกำหนดค่าได้อย่างสมบูรณ์และไม่ได้อบลงในรหัสรุ่น
  • BIFPN และโมดูลหัวสามารถสลับระหว่างการคั่นแบบเชิงลึกหรือ convolutions มาตรฐาน
  • การเปิดใช้งานเลเยอร์ Norm Batch สามารถสลับผ่านอาร์กิวเมนต์ได้
  • กระดูกสันหลังใด ๆ ในคอลเลกชันโมเดล timm ของฉันที่รองรับการแยกคุณสมบัติ ( features_only arg) สามารถใช้เป็น bacbkone

การอัปเดต

2023-05-21

  • ขึ้นอยู่กับ timm 0.9
  • แก้ไขข้อบกพร่องเล็กน้อย
  • รุ่น 0.4.1 รุ่น

2023-02-09

  • การทดสอบกับ Pytorch 2.0 (Nightlies), เพิ่ม -การสนับสนุน torchcompile เพื่อฝึกอบรมและตรวจสอบสคริปต์
  • บัตรผ่านการล้างข้อมูลรหัสขนาดเล็กรองรับ BWD/FWD COMPAT ข้าม TIMM 0.8.X และรุ่นก่อนหน้า
  • ใช้ฟังก์ชั่น timm Convert_sync_batchnorm ในขณะที่จัดการรุ่นที่อัปเดตด้วยเลเยอร์ batchnormact2d

2022-01-06

  • ใหม่ efficientnetv2_ds น้ำหนัก 50.1 แผนที่ @ efficientnetv2_rw_s โดยใช้การตัด AGC และ Backbone ของ timm หน่วยความจำใช้เทียบเท่ากับ D3 ความเร็วเร็วกว่า D4 ขนาดเล็กกว่าการฝึกซ้อมขนาดที่ดีที่สุดอาจทำได้ดีกว่า ...

2021-11-30

  • อัปเดต efficientnetv2_dt น้ำหนักเป็นชุดใหม่ 46.1 แผนที่ @ 768x768, 47.0 แผนที่ @ 896x896 โดยใช้การตัด AGC
  • เพิ่ม AGC (การสนับสนุนการตัดไล่ระดับสีแบบปรับตัวผ่าน timm ) แนวคิดจาก ( High-Performance Large-Scale Image Recognition Without Normalization -https://arxiv.org/abs/2102.06171)
  • timm รุ่นต่ำสุดชนถึง 0.4.12

2021-11-16

  • เพิ่ม EfficientNetv2 การทดลอง Backbone efficientnetv2_dt ตามรุ่นของ timm efficientnetv2_rw_t (TINGE) 45.8 แผนที่ @ 768x768
  • อัปเดตแบบจำลอง TF EfficientDet-Lite defs รวมน้ำหนักพอร์ตจาก INPL อย่างเป็นทางการ (https://github.com/google/automl)
  • สำหรับรุ่น Lite คุณลักษณะที่อัปเดตรหัสการปรับขนาดใน FPN จะขึ้นอยู่กับขนาดของ FEAT แทนอัตราส่วนการลดลงซึ่งจำเป็นต้องใช้เพื่อรองรับขนาดภาพที่ไม่สามารถหารได้ 128
  • การปรับแต่งเล็กน้อยการแก้ไขข้อบกพร่อง

2021-07-28

  • เพิ่มตัวอย่างการฝึกอบรมใน readme ที่จัดทำโดย Chris Hughes สำหรับการฝึกอบรมด้วยชุดข้อมูลที่กำหนดเองและรหัสการฝึกอบรมสายฟ้า
    • โพสต์บล็อกขนาดกลาง
    • โน๊ตบุ๊ค Python

2021-04-30

  • เพิ่มน้ำหนัก AdvProp-AA ที่มีประสิทธิภาพสำหรับ D0-D5 จาก TF INMP ชื่อรุ่น tf_efficientdet_d?_ap
    • ดู https://github.com/google/automl/blob/master/efficientdet/det-advprop.md

2021-02-18

  • เพิ่มน้ำหนักรุ่นใหม่ด้วยการแก้ไข bilinear สำหรับ upsample และ downsample ใน FPN
    • 40.9 แผนที่ - efficientdet_q1 (แทนที่รุ่นก่อนหน้าที่ 40.6)
    • 43.2 MAP - cspresdet50
    • 45.2 MAP - cspdarkdet53m

2020-12-07

  • การฝึกอบรม w/ โมเดลสคริปต์ JIT เต็มรูปแบบ + บัลลังก์ ( --torchscript ) เป็นไปได้ด้วยการรวม ModelEmav2 จาก timm และการเพิ่ม TORCHScript ก่อนหน้านี้ เพิ่มความเร็วมากสำหรับการฝึกอบรม CPU
  • เพิ่มน้ำหนักสำหรับเลย์เอาต์ FPN สำรอง การทดลอง quadfpn ( efficientdet_q0/q1/q2 ) และ CSPRESDEXT + PAN ( cspresdext50pan ) ดูตารางที่อัปเดตด้านล่าง ขอขอบคุณเป็นพิเศษสำหรับ Artus สำหรับการจัดหาทรัพยากรสำหรับการฝึกอบรมโมเดล Q2
  • หัวสามารถมีการเปิดใช้งานที่แตกต่างจาก FPN ผ่านการกำหนดค่า
  • FPN Resample (การแก้ไข) สามารถระบุได้ผ่านการกำหนดค่าและรวมถึงวิธีการใด ๆ ของ F.Interpolation หรือ Pool max / avg ใด ๆ
  • การสูญเสียโฟกัสเริ่มต้นเปลี่ยนกลับเป็น new_focal , ใช้ --legacy-focal arg เพื่อใช้ต้นฉบับ Legacy ใช้หน่วยความจำน้อยลง แต่มีปัญหาความมั่นคงเชิงตัวเลขมากขึ้น
  • การเพิ่มการแปลงแบบกำหนดเองและการรวบรวม FN สามารถส่งผ่านไปยังโรงงานโหลด
  • timm > = 0.3.2 จำเป็นต้องตรวจสอบสองครั้งตรวจสอบการกำหนดค่าโมเดลที่กำหนดเองที่กำหนดเองสำหรับการเปลี่ยนแปลงการเปลี่ยนแปลง
  • pytorch> = 1.6 ต้องใช้ตอนนี้

2020-11-12

  • เพิ่ม PAN ทดลองและ Quad FPN configs ไปยัง BIFPN ที่มีประสิทธิภาพ WIFPN W/ สองรุ่นทดสอบการกำหนดค่า
  • สลับโมเดลการทดลองที่ไม่ผ่านการฝึกอบรมการกำหนดค่าเพื่อใช้เลย์เอาต์หัว Torchscript BN โดยค่าเริ่มต้น

2020-11-09

  • ตั้งค่าการกำหนดค่าโมเดลเป็นแบบอ่านอย่างเดียวหลังจากการสร้างเพื่อลดโอกาสในการใช้ในทางที่ผิด
  • ไม่มีการเข้าถึงโมเดลหรือบัลลังก์.
  • การเปลี่ยนแปลงเล็ก ๆ น้อย ๆ มากมายที่อนุญาตให้สคริปต์ JIT ของแบบจำลองหรือรถไฟ/ทำนายม้านั่ง

2020-10-30

รวมกันสองสามเดือนของการแก้ไขและเพิ่มเติม

  • แบบจำลองที่เข้ากันได้อย่างละเอียดที่เหมาะสมเริ่มต้น (W/ WANGEable # คลาสและ init ที่เหมาะสม, demoed ใน train.py)
  • อินเทอร์เฟซชุดข้อมูลใหม่พร้อมการสนับสนุนชุดข้อมูล (ผ่านคลาส Parser) สำหรับ Coco, VOC 2007/2012 และ OpenImages V5/Challenge2019
  • ใหม่ Focal Loss def w/ smoothing ฉลากที่มีอยู่เป็นตัวเลือกรองรับ Jit of Loss fn สำหรับการเร่งความเร็ว (ศักย์)
  • ปรับปรุงฮอตสปอตสองสามจุดที่เพิ่มขึ้นสอง % ของการรับปริมาณงานเพิ่มการใช้ GPU ที่สูงขึ้น
  • Pascal / OpenImages Evaluators ตามเฟรมเวิร์ก Evaluator Models TensorFlow (ใช้งานได้สำหรับชุดข้อมูลอื่น ๆ เช่นกัน)
  • สนับสนุน Pytorch DDP, SyncBn และ AMP ใน pytorch> = 1.6 ยังคงมีค่าเริ่มต้นไปยังจุดสูงสุดหากติดตั้ง
  • ขนาดภาพอินพุตที่ไม่ใช่กำลังสองได้รับอนุญาตสำหรับโมเดล (เค้าโครงยึด) ระบุโดย image_size tuple ในการกำหนดค่าแบบจำลอง ปัจจุบันยังคง จำกัด อยู่ที่ size % 128 = 0 ในแต่ละสลัว
  • อนุญาตให้การสร้างเป้าหมายจุดยึดในกระบวนการ Dataloader 'ผ่านการรวบรวมหรือในรูปแบบเช่นเดียวกับในอดีต สามารถช่วยปรับสมดุลการคำนวณ
  • กรอง CLS/กล่องเป้าหมายที่ไม่ได้ใช้จากคำอธิบายประกอบชุดข้อมูลในเทนเซอร์ขนาดคงที่ก่อนที่จะส่งไปยังผู้กำหนดเป้าหมาย ดูเหมือนว่าจะเพิ่มความเร็วในการบรรจบกัน
  • กล่องจดหมายรับรู้การลบแบบสุ่มเพิ่มการเพิ่ม
  • A SoftNMS (ช้ามาก) เพิ่มเข้ามาสำหรับการใช้การอนุมาน/การตรวจสอบความถูกต้อง สามารถเปิดใช้งานด้วยตนเองได้ในขณะนี้สามารถเพิ่ม ARG หากความต้องการ
  • ทดสอบด้วย pytorch 1.7
  • เพิ่มน้ำหนักรุ่น Resdet50, 41.6 แผนที่

บางสิ่งในรายการลำดับความสำคัญที่ฉันยังไม่ได้จัดการ:

  • การเสริมโมเสก
  • BBOX IOU LOSS (ลองสักหน่อย แต่ก็ไม่ได้ผลลัพธ์ที่ดีต้องใช้เวลาในการดีบัก/ปรับปรุง)

หมายเหตุ มีการเปลี่ยนแปลงบางอย่าง:

  • ทำนายและฝึกม้านั่งตอนนี้ส่งออกกล่อง xyxy ไม่ใช่ xywh เหมือนก่อน สิ่งนี้ทำเพื่อรองรับชุดข้อมูลอื่น ๆ เนื่องจาก XYWH เป็นข้อกำหนดของผู้ประเมินของ Coco
  • ตัวประเมินรุ่น TF ทำงานบนกล่อง YXYX เช่นรุ่น การแปลงจาก XYXY ทำได้โดยค่าเริ่มต้น ทำไมฉันไม่เก็บทุกอย่าง yxyx? เพราะ Pytorch GPU NMS ทำงานใน XYXY
  • คุณต้องอัปเดต timm เวอร์ชันของคุณเป็นล่าสุด (> = 0.3) เนื่องจาก API บางตัวสำหรับผู้ช่วยเปลี่ยนเล็กน้อย

การตรวจสอบสติในการฝึกอบรมได้ทำใน VOC และ OI

  • 80.0 @ 50 แผนที่ finetune บน VOC0712 โดยไม่พยายามปรับแต่งพารามิเตอร์ (ประมาณตามคำสั่งด้านล่าง)
  • 18.0 แผนที่ @ 50 สำหรับ OI Challenge2019 หลังจากสองสามวันของการฝึกอบรม (มีเพียง 6 Epochs, Eek!) มันใหญ่กว่ามากและใช้เวลานานหลายชั้นเรียนค่อนข้างท้าทาย

แบบจำลอง

ตารางด้านล่างมีโมเดลที่มีน้ำหนักที่ได้รับการฝึกฝน มีหลายรุ่นอื่น ๆ ที่ฉันได้กำหนดไว้ในการกำหนดค่าแบบจำลองที่ใช้ backbones timm ต่างๆ

แตกต่างกันไป แผนที่ (Val2017) MAP (TEST-DEV2017) แผนที่ (TF Official Val2017) MAP (TF TEST-DEV2017 อย่างเป็นทางการ) params (M) ขนาด IMG
tf_efficientdet_lite0 27.1 TBD 26.4 N/A 3.24 320
tf_efficientdet_lite1 32.2 TBD 31.5 N/A 4.25 384
Efficientdet_d0 33.6 TBD N/A N/A 3.88 512
tf_efficientdet_d0 34.2 TBD 34.3 34.6 3.88 512
tf_efficientdet_d0_ap 34.8 TBD 35.2 35.3 3.88 512
Efficientdet_q0 35.7 TBD N/A N/A 4.13 512
tf_efficientdet_lite2 35.9 TBD 35.1 N/A 5.25 448
Efficientdet_d1 39.4 39.5 N/A N/A 6.62 640
tf_efficientdet_lite3 39.6 TBD 38.8 N/A 8.35 512
tf_efficientdet_d1 40.1 TBD 40.2 40.5 6.63 640
tf_efficientdet_d1_ap 40.8 TBD 40.9 40.8 6.63 640
EfficientTetEt_Q1 40.9 TBD N/A N/A 6.98 640
CSPRESDEXT50PAN 41.2 TBD N/A N/A 22.2 640
Resdet50 41.6 TBD N/A N/A 27.6 640
EfficientDet_q2 43.1 TBD N/A N/A 8.81 768
CSPRESDET50 43.2 TBD N/A N/A 24.3 768
tf_efficientdet_d2 43.4 TBD 42.5 43 8.10 768
tf_efficientdet_lite3x 43.6 TBD 42.6 N/A 9.28 640
tf_efficientdet_lite4 44.2 TBD 43.2 N/A 15.1 640
tf_efficientdet_d2_ap 44.2 TBD 44.3 44.3 8.10 768
cspdarkdet53m 45.2 TBD N/A N/A 35.6 768
EfficientDetv2_dt 46.1 TBD N/A N/A 13.4 768
tf_efficientdet_d3 47.1 TBD 47.2 47.5 12.0 896
tf_efficientdet_d3_ap 47.7 TBD 48.0 47.7 12.0 896
tf_efficientdet_d4 49.2 TBD 49.3 49.7 20.7 1024
EfficientDetV2_DS 50.1 TBD N/A N/A 26.6 1024
tf_efficientdet_d4_ap 50.2 TBD 50.4 50.4 20.7 1024
tf_efficientdet_d5 51.2 TBD 51.2 51.5 33.7 1280
tf_efficientdet_d6 52.0 TBD 52.1 52.6 51.9 1280
tf_efficientdet_d5_ap 52.1 TBD 52.2 52.5 33.7 1280
tf_efficientdet_d7 53.1 53.4 53.4 53.7 51.9 ค.ศ. 1536
tf_efficientdet_d7x 54.3 TBD 54.4 55.1 77.1 ค.ศ. 1536

ดูการกำหนดค่ารุ่นสำหรับ URL และความแตกต่างของจุดตรวจสอบแบบจำลอง

หมายเหตุ: คะแนนอย่างเป็นทางการสำหรับโมดูลทั้งหมดในขณะนี้โดยใช้ Soft-NM แต่ยังคงใช้ NMS ปกติที่นี่

หมายเหตุ: ในการฝึกอบรมแบบจำลองการทดลองบางอย่างฉันสังเกตเห็นปัญหาที่อาจเกิดขึ้นกับการรวมกันของ batchNorm ที่ซิงโครไนซ์ ( --sync-bn ) และแบบจำลอง EMA น้ำหนักที่ Everagaging ( --model-ema ) ในระหว่างการฝึกอบรมแบบกระจาย ผลที่ได้คือทั้งแบบจำลองที่ไม่สามารถมาบรรจบกันหรือดูเหมือนจะมาบรรจบกัน (การสูญเสียการฝึกอบรม) แต่การสูญเสียการประเมิน (การเรียกใช้สถิติ BN) เป็นขยะ ฉันไม่ได้สังเกตสิ่งนี้ด้วย EfficientNets แต่มี backbones บางอย่างเช่น CSPRESNEXT, VOVNET ฯลฯ การปิดการใช้งาน EMA หรือ Sync BN ดูเหมือนจะกำจัดปัญหาและส่งผลให้แบบจำลองที่ดี ฉันยังไม่ได้ระบุปัญหานี้อย่างเต็มที่

การตั้งค่าสภาพแวดล้อม

ทดสอบใน Python 3.7 - 3.9 สภาพแวดล้อม conda ใน Linux ด้วย:

  • Pytorch 1.6 - 1.10
  • Pytorch Image Models (TIMM)> = 0.4.12, pip install timm หรือติดตั้งในท้องถิ่นจาก (https://github.com/rwightman/pytorch-image-models)
  • APEX AMP MASTER (ณ วันที่ 2020-08) ฉันขอแนะนำให้ใช้แอมป์และ DDP ดั้งเดิมตอนนี้

หมายเหตุ - มีความขัดแย้ง/ข้อผิดพลาดกับ numpy 1.18+ และ pycocotools 2.0, บังคับให้ติดตั้ง numpy <= 1.17.5 หรือตรวจสอบให้แน่ใจว่าคุณติดตั้ง pycocotools> = 2.0.2

การตั้งค่าชุดข้อมูลและการใช้งาน

โกโก้

ข้อมูลการตรวจสอบ MSCOCO 2017: 

 wget http://images.cocodataset.org/zips/val2017.zip
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zip
unzip val2017.zip
unzip annotations_trainval2017.zip

ข้อมูลการทดสอบ MSCOCO 2017: 

 wget http://images.cocodataset.org/zips/test2017.zip
unzip -q test2017.zip
wget http://images.cocodataset.org/annotations/image_info_test2017.zip
unzip image_info_test2017.zip

การประเมินผลโกโก้

เรียกใช้การตรวจสอบความถูกต้อง (Val2017 โดยค่าเริ่มต้น) ด้วยรุ่น D2: python validate.py /localtion/of/mscoco/ --model tf_efficientdet_d2

เรียกใช้ test-dev2017: python validate.py /localtion/of/mscoco/ --model tf_efficientdet_d2 --split testdev

การฝึกอบรมโกโก้

./distributed_train.sh 4 /mscoco --model tf_efficientdet_d0 -b 16 --amp --lr .09 --warmup-epochs 5 --sync-bn --opt fusedmomentum --model-ema

บันทึก:

  • ขณะนี้สคริปต์การฝึกอบรมเริ่มต้นเป็นแบบจำลองที่ไม่มีเลเยอร์ BIAS ของ CONV + BN ซ้ำซ้อนเช่นโมเดลอย่างเป็นทางการตั้งค่าสถานะที่ถูกต้องเมื่อตรวจสอบความถูกต้อง
  • ฉันได้รับการฝึกฝนเกี่ยวกับค่าเฉลี่ย IMG ( --fill-color mean ) เป็นพื้นหลังสำหรับการเติมเต็ม/สเกล/การเติมเต็มอย่างเป็นทางการ repo อย่างเป็นทางการใช้พิกเซลสีดำ (0) ( --fill-color 0 ) ทั้งสองทำงานได้ดี
  • รหัสการฝึกอบรมอย่างเป็นทางการใช้ค่าเฉลี่ยน้ำหนัก EMA โดยค่าเริ่มต้นมันไม่ชัดเจนว่ามีจุดหนึ่งในการทำสิ่งนี้กับตาราง LR Cosine ฉันพบว่าน้ำหนักที่ไม่ใช่ EMA นั้นดีกว่า EMA ในช่วง 10-20% ของการฝึกอบรมยุคสุดท้าย
  • H-Params เริ่มต้นใกล้เคียงกับความไม่แน่นอน (การสูญเสียระเบิด) อย่าลองใช้ Nesterov Momentum พยายามรักษาขนาดแบทช์ให้ใช้ SYNC-BN

Pascal VOC

2550, 2012, และรวมการทดสอบ 2007 + 2012 w/ ติดป้ายกำกับ 2007 สำหรับการตรวจสอบความถูกต้องได้รับการสนับสนุน 

 wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
find . -name '*.tar' -exec tar xf {} ;

ควรมีโฟลเดอร์ VOC2007 และ VOC2012 ภายใน VOCdevkit รูทชุดข้อมูลสำหรับสาย CMD จะเป็น VOCDEVKIT

ลิงค์ดาวน์โหลดทางเลือกช้ากว่า แต่บ่อยกว่า ox.ac.uk: 

 http://pjreddie.com/media/files/VOCtrainval_11-May-2012.tar
http://pjreddie.com/media/files/VOCtrainval_06-Nov-2007.tar
http://pjreddie.com/media/files/VOCtest_06-Nov-2007.tar

การประเมิน VOC

ประเมินเกี่ยวกับชุดการตรวจสอบ VOC2012: python validate.py /data/VOCdevkit --model efficientdet_d0 --num-gpu 2 --dataset voc2007 --checkpoint mychekpoint.pth --num-classes 20

การฝึกอบรม VOC

ปรับแต่งน้ำหนัก Coco ที่ปรับให้เข้ากับ VOC 2007 + 2012: /distributed_train.sh 4 /data/VOCdevkit --model efficientdet_d0 --dataset voc0712 -b 16 --amp --lr .008 --sync-bn --opt fusedmomentum --warmup-epochs 3 --model-ema --model-ema-decay 0.9966 --epochs 150 --num-classes 20 --pretrained

openimages

การตั้งค่าชุดข้อมูล OpenImages เป็นความมุ่งมั่น ฉันพยายามทำให้ WRT ง่ายขึ้นเล็กน้อยกับคำอธิบายประกอบ แต่การคว้าชุดข้อมูลยังคงใช้เวลาอยู่พอสมควร จะใช้พื้นที่เก็บข้อมูลประมาณ 560GB

ในการดาวน์โหลดข้อมูลรูปภาพฉันชอบบรรจุภัณฑ์ CVDF หน้าชุดข้อมูล OpenImages หลัก, คำอธิบายประกอบ, ข้อมูลใบอนุญาตชุดข้อมูลสามารถดูได้ที่: https://storage.googleapis.com/openimages/web/index.html

ดาวน์โหลดรูปภาพ CVDF

ทำตามคำแนะนำการดาวน์โหลด S3 ที่นี่: https://github.com/cvdfoundation/open-images-dataset#download-images-with-bounding-boxes-annotations

แต่ละ train_<x>.tar.gz ควรถูกสกัดไปยังโฟลเดอร์ train/<x> โดยที่ X เป็นเลขฐานสิบหกจาก 0-F validation.tar.gz สามารถแยกเป็นไฟล์แบนลงใน validation/

ดาวน์โหลดคำอธิบายประกอบ

คำอธิบายประกอบสามารถดาวน์โหลดแยกต่างหากจากหน้าแรกของ OpenImages ด้านบน เพื่อความสะดวกฉันได้บรรจุไฟล์เหล่านั้นทั้งหมดพร้อมกับไฟล์ 'ข้อมูล' เพิ่มเติม 'CSV ที่มี ID และสถิติสำหรับไฟล์รูปภาพทั้งหมด ชุดข้อมูลของฉันขึ้นอยู่กับไฟล์ <set>-info.csv โปรดดู https://storage.googleapis.com/openimages/web/factsfigures.html สำหรับใบอนุญาตของคำอธิบายประกอบเหล่านี้ คำอธิบายประกอบได้รับใบอนุญาตโดย Google LLC ภายใต้ CC โดยใบอนุญาต 4.0 รูปภาพถูกระบุว่ามีใบอนุญาต CC โดย 2.0 

 wget https://github.com/rwightman/efficientdet-pytorch/releases/download/v0.1-anno/openimages-annotations.tar.bz2
wget https://github.com/rwightman/efficientdet-pytorch/releases/download/v0.1-anno/openimages-annotations-challenge-2019.tar.bz2
find . -name '*.tar.bz2' -exec tar xf {} ;

เค้าโครง

เมื่อทุกอย่างถูกดาวน์โหลดและแยกรูทของโฟลเดอร์ Data OpenImages ของคุณควรมี: 

 annotations/<csv anno for openimages v5/v6>
annotations/challenge-2019/<csv anno for challenge2019>
train/0/<all the image files starting with '0'>
.
.
.
train/f/<all the image files starting with 'f'>
validation/<all the image files in same folder>

การฝึกอบรม OpenImages

การฝึกอบรมด้วยความท้าทาย 2019 คำอธิบายประกอบ (500 คลาส): ./distributed_train.sh 4 /data/openimages --model efficientdet_d0 --dataset openimages-challenge2019 -b 7 --amp --lr .042 --sync-bn --opt fusedmomentum --warmup-epochs 1 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.999966 --epochs 100 --remode pixel --reprob 0.15 --recount 4 --num-classes 500 --val-skip 2

หัวคลาส 500 (Challenge2019) หรือ 601 (V5/V6) สำหรับ OI ใช้หน่วยความจำ GPU มากขึ้นเทียบกับ Coco คุณอาจต้องใช้ขนาดแบทช์ครึ่งหนึ่ง

ตัวอย่างของการฝึกอบรม / การปรับแต่งในชุดข้อมูลที่กำหนดเอง

แบบจำลองที่นี่ถูกใช้กับรูทีนการฝึกอบรมที่กำหนดเองและชุดข้อมูลที่มีผลลัพธ์ที่ยอดเยี่ยม มีรายละเอียดมากมายที่ต้องหาดังนั้นโปรดอย่ายื่นคำร้อง 'ฉันได้ผลลัพธ์อึในปัญหาชุดข้อมูลที่กำหนดเอง' หากคุณสามารถแสดงให้เห็นถึงปัญหาที่ทำซ้ำได้ในชุดข้อมูลสาธารณะที่ไม่สามารถดาวน์โหลดได้พร้อมกับ GitHub Public ของ Repo นี้รวมถึงการใช้งานชุดข้อมูล/การใช้งานพาร์สเซอร์ฉันอาจมีเวลาดู

ตัวอย่าง:

  • Chris Hughes ได้รวบรวมตัวอย่างที่ดีของการฝึกอบรมด้วย Backbones EfficientNetv2 และ timm และรุ่นล่าสุดของรุ่น EfficientDet ที่นี่
    • โพสต์บล็อกขนาดกลาง
    • โน๊ตบุ๊ค Python
  • Alex Shonenkov มีเคอร์เนล Kaggle ที่ชัดเจนและรัดกุมซึ่งแสดงให้เห็นถึงการปรับแต่งโมเดลเหล่านี้สำหรับการตรวจจับหัวข้าวสาลี: https://www.kaggle.com/shonenkov/training-efficientdet (หมายเหตุ: นี่เป็นวันที่

หากคุณมีตัวอย่างสคริปต์หรือเคอร์เนลที่ฝึกอบรมโมเดลเหล่านี้ด้วยชุดข้อมูลที่แตกต่างกันอย่าลังเลที่จะแจ้งให้ฉันทราบถึงการรวมไว้ที่นี่ ...

ผลลัพธ์

การฝึกอบรมของฉัน

EfficientTetet-D0

การฝึกอบรมล่าสุดดำเนินการด้วย. 336 สำหรับ D0 (บน 4x 1080Ti): ./distributed_train.sh 4 /mscoco --model efficientdet_d0 -b 22 --amp --lr .12 --sync-bn --opt fusedmomentum --warmup-epochs 5 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.9999

HPARAM เหล่านี้ข้างต้นส่งผลให้แบบจำลองที่ดีไม่กี่จุด:

  • แผนที่แหลมเร็วมาก (Epoch 200 จาก 300) จากนั้นดูเหมือนว่าจะมีค่ามากเกินไปดังนั้นยังคงมีพื้นที่สำหรับการปรับปรุง
  • ฉันเปิดใช้งานเสียง LR แบบทดลองซึ่งมีแนวโน้มที่จะทำงานได้ดีกับ EMA ที่เปิดใช้งาน
  • LR ที่มีประสิทธิภาพสูงกว่าทางการเล็กน้อย อย่างเป็นทางการคือ. 08 สำหรับแบทช์ 64 ซึ่งใช้งานได้ที่. 0872
  • Drop_path (aka survival_prob / drop_connect) 0.1 ซึ่งสูงกว่า 0.0 ที่แนะนำสำหรับ D0 ในทางการ แต่ต่ำกว่า 0.2 สำหรับรุ่นอื่น ๆ
  • ระยะเวลา EMA นานกว่าค่าเริ่มต้น

Val2017 

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.336251
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.521584
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.356439
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.123988
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.395033
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.521695
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.287121
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.441450
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.467914
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.197697
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.552515
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.689297

EfficientTetet-D1

วิ่งล่าสุดด้วยแผนที่. 394 (บน 4x 1080ti): ./distributed_train.sh 4 /mscoco --model efficientdet_d1 -b 10 --amp --lr .06 --sync-bn --opt fusedmomentum --warmup-epochs 5 --lr-noise 0.4 0.9 --model-ema --model-ema-decay 0.99995

สำหรับการวิ่งครั้งนี้ฉันใช้การเพิ่มการเพิ่มขึ้นบางอย่างยังคงทดลองใช้ดังนั้นยังไม่พร้อมสำหรับการเปิดตัวควรทำงานได้ดีหากไม่มีพวกเขา แต่จะเริ่มต้นการทำงานให้เร็วขึ้นเล็กน้อยและอาจจบลงในช่วง. 385-.39

น้ำหนักเทนเซอร์โฟลว์พอร์ต

Test-Dev2017

หมายเหตุ: ฉันได้ลองส่ง D7 ไปยัง DEV Server เพื่อตรวจสอบสติเท่านั้นจนถึงตอนนี้

TF-EfficientDet-D7 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.534
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.726
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.577
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.356
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.569
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.660
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.397
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.644
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.682
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.508
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.718
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.818

Val2017

TF-EfficientDet-D0 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.341877
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.525112
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.360218
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.131366
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.399686
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.537368
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.293137
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.447829
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.472954
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.195282
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.558127
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.695312
TF-EfficientDet-D1 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.401070
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.590625
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.422998
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.211116
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.459650
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.577114
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.326565
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.507095
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.537278
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.308963
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.610450
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.731814
TF-EfficientDet-D2 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.434042
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.627834
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.463488
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.237414
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.486118
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.606151
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.343016
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.538328
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.571489
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.350301
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.638884
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.746671
TF EfficientDet-D3 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.471223
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.661550
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.505127
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.301385
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.518339
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.626571
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.365186
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.582691
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.617252
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.424689
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.670761
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.779611
TF-EfficientDet-D4 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.491759
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.686005
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.527791
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.325658
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.536508
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.635309
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.373752
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.601733
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.638343
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.463057
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.685103
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.789180
TF-EfficientDet-D5 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.511767
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.704835
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.552920
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.355680
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.551341
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.650184
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.384516
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.619196
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.657445
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.499319
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.695617
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.788889
TF-EfficientDet-D6 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.520200
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.713204
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.560973
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.361596
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.567414
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.657173
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.387733
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.629269
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.667495
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.499002
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.711909
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.802336
TF-EfficientDet-D7 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.531256
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.724700
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.571787
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.368872
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.573938
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.668253
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.393620
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.637601
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.676987
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.524850
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.717553
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.806352
TF-EfficientDet-D7X 
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.543
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.737
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.585
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.401
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.579
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.680
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.398
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.649
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.689
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.550
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.725
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.823

สิ่งที่ต้องทำ

  • การฝึกอบรมขั้นพื้นฐาน (การตรวจจับวัตถุ) การพิจารณาใหม่
  • การเสริมโมเสก
  • แรนด์/autoaugment
  • bbox iou loss (giou, diou, ciou, ฯลฯ )
  • การฝึกอบรม (การแบ่งส่วนความหมาย) การทดลอง
  • การรวมกับ detectron2 / mmdetection codebases
  • นอกจากนี้และทำความสะอาดโมเดลการแบ่งส่วน U-NET ที่ใช้ EfficientNet และ Deeplab ที่ฉันใช้ในโครงการที่ผ่านมา
  • นอกจากนี้และการทำความสะอาดชุดข้อมูล/การฝึกอบรมการฝึกอบรมจากโครงการที่ผ่านมา
  • การสำรวจความเป็นไปได้ในการแบ่งกลุ่มอินสแตนซ์ ...

หากคุณเป็นองค์กรมีความสนใจในการสนับสนุนและงานนี้หรือจัดลำดับความสำคัญของความสนใจในอนาคตที่เป็นไปได้ที่คุณรู้สึกอิสระที่จะติดต่อฉัน (ปัญหา, LinkedIn, Twitter, สวัสดีที่ Rwightman dot com) ฉันจะตั้งค่าผู้สนับสนุน GitHub หากมีความสนใจ

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด