AdaptSegNet

เรียนรู้ที่จะปรับพื้นที่เอาต์พุตที่มีโครงสร้างสำหรับการแบ่งส่วนความหมาย

การใช้ Pytorch ของวิธีการของเราในการปรับการแบ่งส่วนความหมายจากชุดข้อมูลสังเคราะห์ (โดเมนต้นทาง) เป็นชุดข้อมูลจริง (โดเมนเป้าหมาย) จากการดำเนินการนี้ผลลัพธ์ของเราอยู่ในอันดับที่ 3 ใน Visda Challenge

ติดต่อ: Yi-Hsuan Tsai (Wasidennis ที่ Gmail dot com) และ wei-chih Hung (whung8 ที่ ucmerced dot edu)

กระดาษ

เรียนรู้ที่จะปรับพื้นที่เอาต์พุตที่มีโครงสร้างสำหรับการแบ่งส่วนความหมาย
Yi-Hsuan Tsai*, Wei-Chih Hung*, Samuel Schulter, Kihyuk Sohn, Ming-Hsuan Yang และ Manmohan Chandraker
การประชุม IEEE เกี่ยวกับการมองเห็นและการจดจำรูปแบบคอมพิวเตอร์ (CVPR), 2018 ( สปอตไลท์ ) (* หมายถึงการมีส่วนร่วมที่เท่าเทียมกัน)

โปรดอ้างอิงบทความของเราหากคุณพบว่ามีประโยชน์สำหรับการวิจัยของคุณ

 @inproceedings{Tsai_adaptseg_2018,
  author = {Y.-H. Tsai and W.-C. Hung and S. Schulter and K. Sohn and M.-H. Yang and M. Chandraker},
  booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  title = {Learning to Adapt Structured Output Space for Semantic Segmentation},
  year = {2018}
}

ตัวอย่างผลลัพธ์

reuslts เชิงปริมาณ

การติดตั้ง

• ติดตั้ง pytorch จาก http://pytorch.org ด้วย Python 2 และ Cuda 8.0

• ใหม่ เพิ่มวัตถุประสงค์ LS-GAN เพื่อปรับปรุงประสิทธิภาพ

  • การใช้งาน: เพิ่ม --gan LS ระหว่างการฝึกอบรม (ดูรายละเอียดเพิ่มเติมด้านล่าง)

• Pytorch 0.4 กับ Python 3 และ Cuda 8.0

  • การใช้งาน: แทนที่รหัสการฝึกอบรมและการประเมินผลด้วยรหัสในโฟลเดอร์ pytorch_0.4
  • UPDATE: Tensorboard มีให้โดยการเพิ่ม --tensorboard ในคำสั่ง
  • หมายเหตุ: โมเดลระดับเดียวใช้งานได้ตามที่คาดไว้ในขณะที่รุ่นหลายระดับต้องการน้ำหนักที่เล็กกว่าเช่น --lambda-adv-target1 0.00005 --lambda-adv-target2 0.0005 เราจะตรวจสอบปัญหานี้ในไม่ช้า

• โคลน repo นี้

 git clone https://github.com/wasidennis/AdaptSegNet
cd AdaptSegNet

ชุดข้อมูล

• ดาวน์โหลดชุดข้อมูล GTA5 เป็นโดเมนต้นทางและใส่ไว้ในโฟลเดอร์ data/GTA5

• ดาวน์โหลดชุดข้อมูล CityScapes เป็นโดเมนเป้าหมายและวางไว้ในโฟลเดอร์ data/Cityscapes

รุ่นที่ผ่านการฝึกอบรมมาก่อน

• โปรดค้นหาโมเดลที่ผ่านการตรวจสอบของเราโดยใช้ RESNET-101 ในการตั้งค่ามาตรฐานสามครั้งที่นี่

• พวกเขารวมถึง baselines (โดยไม่ต้องปรับตัวและมีการปรับตัวให้เข้ากับคุณลักษณะ) และโมเดลของเรา (ระดับเดียวและหลายระดับ)

การทดสอบ

• ผลลัพธ์การอัปเดต ใหม่ โดยใช้ LS-GAN และการใช้ซินซิปเป็นโดเมนต้นทาง

  • ประสิทธิภาพ: ตรวจสอบภาคผนวกของกระดาษ Arxiv ที่อัปเดต (อัปเดตเมื่อ 10/17/2019)
  • รุ่นที่ผ่านการฝึกอบรมมาก่อน

• ดาวน์โหลดโมเดล GTA5-to-Cityscapes ที่ผ่านการฝึกอบรมมาหลายระดับและวางไว้ในโฟลเดอร์ model

• ทดสอบโมเดลและผลลัพธ์จะถูกบันทึกไว้ในโฟลเดอร์ result

 python evaluate_cityscapes.py --restore-from ./model/GTA2Cityscapes_multi-ed35151c.pth

• หรือทดสอบลิงค์โมเดลที่ใช้ VGG-16

 python evaluate_cityscapes.py --model DeeplabVGG --restore-from ./model/GTA2Cityscapes_vgg-ac4ac9f6.pth

• คำนวณ IOU บนทิวทัศน์ของเมือง (ขอบคุณรหัสจาก Visda Challenge)

 python compute_iou.py ./data/Cityscapes/data/gtFine/val result/cityscapes

ตัวอย่างการฝึกอบรม

• ใหม่ รถไฟรุ่น GTA5-to-Cityscapes (ระดับเดียวกับ LS-GAN)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single_lsgan 
                                     --lambda-seg 0.0 
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.01 
                                     --gan LS

• ฝึกอบรมโมเดล GTA5-to-Cityscapes (หลายระดับ)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_multi 
                                     --lambda-seg 0.1 
                                     --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001

• ฝึกอบรมโมเดล GTA5-to-Cityscapes (ระดับเดียว)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single 
                                     --lambda-seg 0.0 
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.001

การใช้งานและชุดข้อมูลที่เกี่ยวข้อง

• Y.-H. Tsai, K. Sohn, S. Schulter และ M. Chandraker การปรับโดเมนสำหรับเอาต์พุตที่มีโครงสร้างผ่านการแสดงแพตช์แบบแยกแยะ ใน ICCV, 2019. (ปากเปล่า) [กระดาษ] [โครงการ] [คำแนะนำในการดำเนินการ]
• W. -C. Hung, Y.-H Tsai, Y.-T. Liou, Y.-Y. Lin และ M.-H. หยาง การเรียนรู้ที่เป็นปฏิปักษ์สำหรับการแบ่งส่วนความหมายแบบกึ่งหัวรุนแรง ใน BMVC, 2018. [กระดาษ] [รหัส]
• Y.-H. เฉิน, W.-Y. เฉิน, Y.-T. เฉิน, B.-C. Tsai, Y.-C. Frank Wang และ M. Sun ไม่มีการเลือกปฏิบัติอีกต่อไป: การปรับตัวข้ามเมืองของผู้จัดฉากถนน ใน ICCV 2017 [กระดาษ] [โครงการ]

การรับทราบ

รหัสนี้ยืมมาอย่างหนักจาก Pytorch-deeplab

บันทึก

รูปแบบและรหัสมีให้สำหรับวัตถุประสงค์ในการวิจัยที่ไม่ใช่เชิงพาณิชย์เท่านั้น

• 10/2019: อัปเดตประสิทธิภาพและรหัสการฝึกอบรม/การประเมินผลสำหรับการใช้ LS-GAN และซินซิป
• 01/2019: UPate รหัสการฝึกอบรมสำหรับ Pytorch 0.4
• 07/23/2018: อัปเดตรหัสการประเมินผลสำหรับ Pytorch 0.4
• 06/04/2018: อัปเดตรุ่น VGG-16 Pretrained
• 02/2018: รหัสที่ปล่อยออกมา