หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

SSD: เครื่องตรวจจับวัตถุ multibox shot single ใน pytorch

การใช้งาน Pytorch ของเครื่องตรวจจับ multibox single single จากกระดาษปี 2016 โดย Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang และ Alexander C. Berg รหัสคาเฟอีนอย่างเป็นทางการและดั้งเดิมสามารถพบได้ที่นี่

สารบัญ

  • การติดตั้ง
  • ชุดข้อมูล
  • รถไฟ
  • ประเมิน
  • ผลงาน
  • การสาธิต
  • งานในอนาคต
  • อ้างอิง

การติดตั้ง

  • ติดตั้ง pytorch โดยเลือกสภาพแวดล้อมของคุณบนเว็บไซต์และเรียกใช้คำสั่งที่เหมาะสม
  • โคลนที่เก็บนี้
    • หมายเหตุ: ขณะนี้เรารองรับ Python 3+ เท่านั้น
  • จากนั้นดาวน์โหลดชุดข้อมูลโดยทำตามคำแนะนำด้านล่าง
  • ตอนนี้เราสนับสนุน Visdom สำหรับการสร้างภาพการสูญเสียแบบเรียลไทม์ระหว่างการฝึกอบรม!
    • เพื่อใช้ visdom ในเบราว์เซอร์: 
     # First install Python server and client
pip install visdom
# Start the server (probably in a screen or tmux)
python -m visdom.server
    • จากนั้น (ระหว่างการฝึกอบรม) นำทางไปที่ http: // localhost: 8097/(ดูส่วนรถไฟด้านล่างสำหรับรายละเอียดการฝึกอบรม)
  • หมายเหตุ: สำหรับการฝึกอบรมปัจจุบันเราสนับสนุน VOC และ Coco และตั้งเป้าหมายที่จะเพิ่มการสนับสนุน Imagenet ในไม่ช้า

ชุดข้อมูล

เพื่อให้สิ่งต่าง ๆ ง่ายขึ้นเราให้สคริปต์ Bash เพื่อจัดการการดาวน์โหลดชุดข้อมูลและการตั้งค่าสำหรับคุณ นอกจากนี้เรายังให้บริการตัวโหลดชุดข้อมูลอย่างง่ายที่สืบทอด torch.utils.data.Dataset ทำให้เข้ากันได้อย่างเต็มที่กับ torchvision.datasets API

โกโก้

Microsoft Coco: วัตถุทั่วไปในบริบท

ดาวน์โหลด Coco 2014 
 # specify a directory for dataset to be downloaded into, else default is ~/data/
sh data/scripts/COCO2014.sh

ชุดข้อมูล VOC

Pascal VOC: คลาส Visual Object

ดาวน์โหลด VOC2007 Trainval & Test 
 # specify a directory for dataset to be downloaded into, else default is ~/data/
sh data/scripts/VOC2007.sh # <directory>
ดาวน์โหลด VOC2012 Trainval 
 # specify a directory for dataset to be downloaded into, else default is ~/data/
sh data/scripts/VOC2012.sh # <directory>

ฝึกอบรม SSD

  • ดาวน์โหลดครั้งแรกน้ำหนักเครือข่ายพื้นฐาน VGG-16 Pytorch ที่ลดลงได้ที่: https://s3.amazonaws.com/amdegroot-models/vgg16_reducedfc.pth
  • โดยค่าเริ่มต้นเราสมมติว่าคุณได้ดาวน์โหลดไฟล์ใน ssd.pytorch/weights dir: 
mkdir weights
cd weights
wget https://s3.amazonaws.com/amdegroot-models/vgg16_reducedfc.pth
  • ในการฝึกอบรม SSD โดยใช้สคริปต์รถไฟเพียงแค่ระบุพารามิเตอร์ที่แสดงใน train.py เป็นธงหรือเปลี่ยนด้วยตนเอง 
python train.py
  • บันทึก:
    • สำหรับการฝึกอบรมขอแนะนำให้ใช้ Nvidia GPU อย่างมากสำหรับความเร็ว
    • สำหรับคำแนะนำเกี่ยวกับการใช้งาน/การติดตั้ง Visdom โปรดดูส่วนการติดตั้ง
    • คุณสามารถรับการฝึกอบรมจากจุดตรวจโดยการระบุเส้นทางเป็นหนึ่งในพารามิเตอร์การฝึกอบรม (อีกครั้งดู train.py สำหรับตัวเลือก)

การประเมิน

เพื่อประเมินเครือข่ายที่ผ่านการฝึกอบรม: 

python eval.py

คุณสามารถระบุพารามิเตอร์ที่แสดงในไฟล์ eval.py โดยการตั้งค่าสถานะหรือเปลี่ยนด้วยตนเอง

ผลงาน

การทดสอบ VOC2007

แผนที่
ต้นฉบับ แปลงน้ำหนัก weiliu89 จากศูนย์ข้อมูล W/o ส.ค. ตั้งแต่เริ่มต้น w/ data aug
77.2 % 77.26 % 58.12% 77.43 %
FPS

GTX 1060: ~ 45.45 fps

การสาธิต

ใช้เครือข่าย SSD ที่ผ่านการฝึกอบรมมาก่อน

ดาวน์โหลดเครือข่ายที่ผ่านการฝึกอบรมมาล่วงหน้า

  • เราพยายามที่จะให้ pytorch state_dicts (dict of weight tensors) ของคำจำกัดความรุ่น SSD ล่าสุดที่ได้รับการฝึกฝนในชุดข้อมูลที่แตกต่างกัน
  • ขณะนี้เรามีโมเดล Pytorch ต่อไปนี้:
    • SSD300 ได้รับการฝึกฝนเกี่ยวกับ VOC0712 (น้ำหนัก pytorch ใหม่ล่าสุด)
      • https://s3.amazonaws.com/amdegroot-models/ssd300_map_77.43_v2.pth
    • SSD300 ได้รับการฝึกฝนเกี่ยวกับ VOC0712 (น้ำหนักคาเฟอีนดั้งเดิม)
      • https://s3.amazonaws.com/amdegroot-models/ssd_300_voc0712.pth
  • เป้าหมายของเราคือการทำซ้ำตารางนี้จากกระดาษต้นฉบับ

ลองสมุดบันทึกการสาธิต

  • ตรวจสอบให้แน่ใจว่าคุณติดตั้งสมุดบันทึก Jupyter แล้ว
  • สองทางเลือกสำหรับการติดตั้ง Jupyter Notebook:

    1. หากคุณติดตั้ง pytorch ด้วย conda (แนะนำ) คุณควรมีอยู่แล้ว (เพียงแค่นำทางไปยัง ssd.pytorch โคลน repo และเรียกใช้): jupyter notebook

    2. หากใช้ PIP: 

 # make sure pip is upgraded
pip3 install --upgrade pip
# install jupyter notebook
pip install jupyter
# Run this inside ssd.pytorch
jupyter notebook
  • ตอนนี้นำทางไปยัง demo/demo.ipynb ที่ http: // localhost: 8888 (โดยค่าเริ่มต้น) และมีมัน!

ลองสาธิตเว็บแคม

  • ทำงานกับ CPU (อาจต้องปรับแต่ง cv2.waitkey เพื่อ FPS ที่ดีที่สุด) หรือบน NVIDIA GPU
  • การสาธิตนี้ต้องใช้การผูก opencv2+ w/ python และเว็บแคมออนบอร์ด
    • คุณสามารถเปลี่ยนเว็บแคมเริ่มต้นใน demo/live.py
  • ติดตั้งแพ็คเกจ IMUTILS เพื่อใช้ประโยชน์จากมัลติเธรดบน CPU:
    • pip install imutils
  • Running python -m demo.live เปิดเว็บแคมและเริ่มตรวจจับ!

สิ่งที่ต้องทำ

เราได้สะสมรายการสิ่งที่ต้องทำดังต่อไปนี้ซึ่งเราหวังว่าจะเสร็จสมบูรณ์ในอนาคตอันใกล้

  • ยังคงมา:
    • รองรับชุดข้อมูล MS Coco
    • สนับสนุนการฝึกอบรมและการทดสอบ SSD512
    • สนับสนุนการฝึกอบรมเกี่ยวกับชุดข้อมูลที่กำหนดเอง

ผู้เขียน

  • Max DeGroot
  • เอลลิสบราวน์

หมายเหตุ: น่าเสียดายที่นี่เป็นเพียงงานอดิเรกของเราและไม่ใช่งานเต็มเวลาดังนั้นเราจะพยายามอย่างเต็มที่เพื่อให้ทันสมัยอยู่เสมอ แต่ไม่มีการรับประกัน ที่ถูกกล่าวว่าต้องขอบคุณทุกคนสำหรับความช่วยเหลือและข้อเสนอแนะอย่างต่อเนื่องของคุณเนื่องจากได้รับการชื่นชมจริงๆ เราจะพยายามจัดการกับทุกสิ่งโดยเร็วที่สุด

การอ้างอิง

  • Wei Liu และคณะ "SSD: เครื่องตรวจจับ multibox shot single" ECCV2016
  • การใช้งานดั้งเดิม (คาเฟอีน)
  • ขอขอบคุณอย่างมากสำหรับ Alex Koltun และทีมงานของเขาที่ Webyclip สำหรับความช่วยเหลือในการเสร็จสิ้นส่วนการเพิ่มข้อมูล
  • รายการพอร์ต SSD ที่ยอดเยี่ยมอื่น ๆ ที่เป็นแหล่งของแรงบันดาลใจ (โดยเฉพาะ chainer repo):
    • chainer, keras, mxnet, tensorflow
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด