PSMNet
1.0.0
ที่เก็บนี้มีรหัส (ใน Pytorch) สำหรับ "เครือข่ายการจับคู่สเตอริโอพีระมิด" (CVPR 2018) โดย Jia-Ren Chang และ Yong-Sheng Chen
2020/12/20: อัปเดต PSMNET: ตอนนี้รองรับ Torch 1.6.0/Torchvision 0.5.0 และ Python 3.7, ลบการเยื้องที่ไม่สอดคล้องกัน
2020/12/20: สเตอริโอแบบเรียลไทม์ที่เราเสนอสามารถพบได้ที่นี่สเตอริโอแบบเรียลไทม์
@inproceedings{chang2018pyramid,
title={Pyramid Stereo Matching Network},
author={Chang, Jia-Ren and Chen, Yong-Sheng},
booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
pages={5410--5418},
year={2018}
}
งานล่าสุดได้แสดงให้เห็นว่าการประมาณค่าความลึกจากภาพสเตอริโอคู่สามารถกำหนดเป็นงานการเรียนรู้ภายใต้การดูแลเพื่อแก้ไขด้วยเครือข่ายประสาท (CNNs) อย่างไรก็ตามสถาปัตยกรรมปัจจุบันขึ้นอยู่กับเครือข่ายสยามที่ใช้แพทช์โดยไม่มีวิธีการใช้ประโยชน์จากข้อมูลบริบทสำหรับการค้นหาการติดต่อในภูมิภาคที่ไม่ดี เพื่อแก้ไขปัญหานี้เราเสนอ PSMNET ซึ่งเป็นเครือข่ายการจับคู่สเตอริโอปิรามิดประกอบด้วยสองโมดูลหลัก: การรวมปิรามิดเชิงพื้นที่และ 3D CNN โมดูลการรวมปิรามิดเชิงพื้นที่ใช้ประโยชน์จากความสามารถของข้อมูลบริบททั่วโลกโดยการรวมบริบทในระดับและสถานที่ต่าง ๆ เพื่อสร้างปริมาณต้นทุน 3D CNN เรียนรู้ที่จะทำให้ปริมาณค่าใช้จ่ายเป็นปกติโดยใช้เครือข่ายนาฬิกาทรายหลายชุดที่ซ้อนกันร่วมกับการกำกับดูแลระดับกลาง
Usage of Scene Flow dataset
Download RGB cleanpass images and its disparity for three subset: FlyingThings3D, Driving, and Monkaa.
Put them in the same folder.
And rename the folder as: "driving_frames_cleanpass", "driving_disparity", "monkaa_frames_cleanpass", "monkaa_disparity", "frames_cleanpass", "frames_disparity".
ตัวอย่างเช่นใช้คำสั่งต่อไปนี้เพื่อฝึก psmnet ในการไหลของฉาก
python main.py --maxdisp 192
--model stackhourglass
--datapath (your scene flow data folder)
--epochs 10
--loadmodel (optional)
--savemodel (path for saving model)
เป็นอีกตัวอย่างหนึ่งให้ใช้คำสั่งต่อไปนี้เพื่อ finetune psmnet บน Kitti 2015
python finetune.py --maxdisp 192
--model stackhourglass
--datatype 2015
--datapath (KITTI 2015 training data folder)
--epochs 300
--loadmodel (pretrained PSMNet)
--savemodel (path for saving model)
คุณยังสามารถดูตัวอย่างเหล่านั้นใน Run.sh
ใช้คำสั่งต่อไปนี้เพื่อประเมิน PSMNET ที่ผ่านการฝึกอบรมเกี่ยวกับข้อมูลทดสอบ Kitti 2015
python submission.py --maxdisp 192
--model stackhourglass
--KITTI 2015
--datapath (KITTI 2015 test data folder)
--loadmodel (finetuned PSMNet)
※หมายเหตุ: แบบจำลองที่ถูกตั้งไว้ถูกบันทึกไว้ใน. tar; อย่างไรก็ตามคุณไม่จำเป็นต้องถอดมัน ใช้ Torch.load () เพื่อโหลด
อัปเดต: 2018/9/6 เราเปิดตัวรุ่น Kitti 2012 ที่ผ่านการฝึกอบรมมาแล้ว
อัปเดต: 2021/9/22 รูปแบบที่ผ่านการฝึกฝนโดยใช้ Torch 1.8.1 (น้ำหนักรุ่นก่อนหน้านี้ได้รับการฝึกฝน Torch 0.4.1)
| Kitti 2015 | การไหลของฉาก | Kitti 2012 | Scene Flow (Torch 1.8.1) |
|---|---|---|---|
| Google Drive | Google Drive | Google Drive | Google Drive |
python Test_img.py --loadmodel (finetuned PSMNet) --leftimg ./left.png --rightimg ./right.png
※โปรดทราบว่าข้อผิดพลาดการตรวจสอบความถูกต้อง 3-PX ที่รายงานถูกคำนวณโดยใช้รหัส MATLAB อย่างเป็นทางการของ Kitti ไม่ใช่รหัสของเรา
ลิงค์บอร์ดลีดเดอร์
| วิธี | d1-all (ทั้งหมด) | D1-ALL (NOC) | รันไทม์ |
|---|---|---|---|
| psmnet | 2.32 % | 2.14 % | 0.41 |
| IRESNET-I2 | 2.44 % | 2.19 % | 0.12 |
| GC-net | 2.87 % | 2.61 % | 0.90 |
| MC-CNN | 3.89 % | 3.33 % | 67 |
เราเห็นภาพฟิลด์ที่เปิดกว้างของการตั้งค่าที่แตกต่างกันของ PSMNET การตั้งค่าเต็มรูปแบบและพื้นฐาน
การตั้งค่าเต็มรูปแบบ: Delated Conv, SPP, นาฬิกาทรายเรียงซ้อนกัน
พื้นฐาน: ไม่มีความเชื่อมั่นที่ขยายตัวไม่มี SPP ไม่มีนาฬิกาทรายแบบเรียงซ้อนกัน
ฟิลด์ที่เปิดกว้างถูกคำนวณสำหรับพิกเซลที่ศูนย์ภาพที่ระบุโดยสภากาชาด
ยินดีต้อนรับการอภิปรายหรือข้อกังวลใด ๆ !
