เราได้เปิดตัวชุดข้อมูล Waymo Open ต่อสาธารณะเพื่อช่วยชุมชนการวิจัยในการสร้างความก้าวหน้าในการรับรู้ของเครื่องจักรและเทคโนโลยีการขับขี่แบบอัตโนมัติ
ชุดข้อมูล Waymo Open ประกอบด้วยชุดข้อมูลสองชุด ได้แก่ ชุดข้อมูล Perception ที่มีข้อมูลเซ็นเซอร์ความละเอียดสูงและป้ายกำกับสำหรับฉาก 2,030 ฉาก และชุดข้อมูล Motion ที่มีวิถีการเคลื่อนที่ของวัตถุและแผนที่ 3 มิติที่สอดคล้องกันสำหรับฉาก 103,354 ฉาก
ที่เก็บโค้ดนี้ (ไม่รวมโฟลเดอร์ src/waymo_open_dataset/wdl_limited
) ได้รับอนุญาตภายใต้ Apache License เวอร์ชัน 2.0 รหัสที่ปรากฏใน src/waymo_open_dataset/wdl_limited
ได้รับอนุญาตภายใต้เงื่อนไขที่ปรากฏในนั้น ชุดข้อมูล Waymo Open นั้นได้รับอนุญาตภายใต้ข้อกำหนดที่แยกต่างหาก โปรดไปที่ https://waymo.com/open/terms/ เพื่อดูรายละเอียด รหัสที่อยู่ในโฟลเดอร์ย่อยแต่ละโฟลเดอร์ที่ src/waymo_open_dataset/wdl_limited
ได้รับอนุญาตภายใต้ (a) ใบอนุญาตลิขสิทธิ์ BSD 3 ข้อ และ (b) ใบอนุญาตสิทธิบัตรแบบจำกัดเพิ่มเติม ใบอนุญาตสิทธิบัตรแบบจำกัดแต่ละใบอนุญาตใช้ได้กับรหัสภายใต้โฟลเดอร์ย่อย wdl_limited
เท่านั้น และได้รับอนุญาตให้ใช้กับกรณีการใช้งานที่กำหนดไว้ในใบอนุญาตดังกล่าวที่เกี่ยวข้องกับชุดข้อมูล Waymo Open ตามที่ได้รับอนุญาตโดยและปฏิบัติตามข้อตกลงใบอนุญาตชุดข้อมูล Waymo เพื่อการใช้งานที่ไม่ใช่เชิงพาณิชย์ โปรดดูรายละเอียดที่ wdl_limited/camera/, wdl_limited/camera_segmentation/, wdl_limited/sim_agents_metrics/ ตามลำดับ
กฎได้รับการอัปเดตเพื่อให้สามารถฝึกอบรมได้ (รวมถึงแบบจำลองก่อนการฝึกอบรม การฝึกอบรมร่วม หรือการปรับแต่ง) โดยใช้ตุ้มน้ำหนักที่ผ่านการฝึกอบรมล่วงหน้าแบบแช่แข็งจากแบบจำลองโอเพ่นซอร์สที่เปิดเผยต่อสาธารณะเพื่อส่งเข้าสู่ความท้าทาย นอกจากนี้เรายังเพิ่มชุดฟิลด์ใหม่ (ซึ่งจำเป็นในขณะนี้ ไม่เช่นนั้นเซิร์ฟเวอร์จะส่งคืนข้อผิดพลาด) ในเมตาดาต้าการส่งเพื่อติดตามวิธีที่ผู้เข้าร่วมสร้างการส่งของพวกเขา เราได้อัปเดตบทช่วยสอนเพื่อสะท้อนถึงการเปลี่ยนแปลงนี้ ตรวจสอบช่องใหม่ในไฟล์โปรโตที่ส่งสำหรับการเคลื่อนไหว เจ้าหน้าที่ซิม และโฟลว์การเข้าใช้
การอัปเดตนี้ประกอบด้วยการเปลี่ยนแปลง/เพิ่มเติมหลายประการในชุดข้อมูล:
ชุดข้อมูลการรับรู้ (v1.4.3 และ v2.0.1):
เราทำการปรับปรุงป้ายความจริงภาคพื้นดินของการแบ่งส่วนความหมายแบบ 3 มิติ โดยเฉพาะอย่างยิ่งสำหรับกลุ่มนักขี่มอเตอร์ไซค์
ชุดข้อมูลการเคลื่อนไหว (v1.2.1):
ขณะนี้รุ่น WOMD 1.2.1 ให้ข้อมูลกล้อง รวมถึงเซ็นเซอร์ด้านหน้า, ด้านหน้าซ้าย, ด้านหน้าขวา, ด้านข้างซ้าย, ด้านข้างขวา, ด้านหลังซ้าย, ด้านหลังขวา และเซ็นเซอร์ด้านหลัง เช่นเดียวกับข้อมูล Lidar ข้อมูลกล้องของชุดการฝึก การตรวจสอบ และการทดสอบจะครอบคลุม 1 วินาทีแรกของแต่ละกรอบเวลา 9 วินาที แทนที่จะปล่อยภาพจากกล้อง Raw เราจะปล่อยโทเค็นภาพและการฝังภาพที่แยกมาจากโมเดล VQ-GAN ที่ได้รับการฝึกล่วงหน้า
ข้อมูลกล้อง WOMD ที่เผยแพร่ครั้งแรกมีการจัดแนวที่ไม่ตรงระหว่างข้อมูล LiDAR และอินพุตโรดกราฟสำหรับบางเฟรม รุ่น 1.2.1 ให้การประทับเวลาใหม่สำหรับข้อมูล LIDAR พร้อมเมทริกซ์การแปลงท่าทางที่อัปเดตต่อขั้นตอนเวลา
นอกจากนี้เรายังให้การเปลี่ยนแปลงต่อไปนี้ในโค้ดที่สนับสนุนการท้าทาย
การทำนายการเคลื่อนไหว:
เราได้ปรับปรุงตรรกะเบื้องหลังพฤติกรรมที่ใช้สำหรับ mAP
ตัวแทนซิม:
เราได้ปรับปรุงคุณภาพของตัวชี้วัดจลนศาสตร์โดยใช้การประมาณความเร็วและความเร่งที่ราบรื่นยิ่งขึ้น
เราได้แก้ไขกรณีขอบสำหรับการคำนวณออฟโร้ดด้วยการโอเวอร์พาส
เราได้ปรับเทียบการกำหนดค่าเมตริกและน้ำหนักเมตริกผสมอีกครั้ง
เรารายงานการชนจำลองและอัตราการออฟโร้ด (ไม่ใช่ความน่าจะเป็น)
เราเปิดตัวแพ็คเกจ pip เวอร์ชัน v1.6.1 พร้อมการแก้ไขสำหรับการวัด WOSAC:
แก้ไขข้อบกพร่องในการตรวจสอบความถูกต้องของการชนและออฟโร้ด
การปรับเปลี่ยนพฤติกรรมการตรวจสอบการชน/ออฟโร้ดเมื่อไม่ถูกต้อง
เราเปิดตัวชุดข้อมูลสินทรัพย์ที่มีวัตถุเป็นศูนย์กลางขนาดใหญ่ซึ่งประกอบด้วยรูปภาพมากกว่า 1.2 ล้านภาพและการสังเกตแบบ LIDAR ของสองหมวดหมู่หลัก (ยานพาหนะและคนเดินเท้า) จากชุดข้อมูล Perception (v2.0.0)
แยกการรับรู้วัตถุจากข้อมูลหลายเซ็นเซอร์: กล้องทั้งห้าตัวและฝาปิดด้านบน
คุณสมบัติ Lidar ประกอบด้วยลำดับคลาวด์พอยต์ 3 มิติที่รองรับการสร้างรูปร่างวัตถุ 3 มิติขึ้นมาใหม่ นอกจากนี้เรายังจัดเตรียมท่ากล่องที่ได้รับการปรับแต่งผ่านการลงทะเบียนรูปทรงคลาวด์พอยต์สำหรับวัตถุในยานพาหนะทั้งหมด
คุณสมบัติของกล้องประกอบด้วยลำดับแพตช์ของกล้องจาก most_visible_camera
การฉายภาพกลับของ LIDAR บนกล้องที่เกี่ยวข้อง ข้อมูลรังสีของกล้องต่อพิกเซล และการแบ่งส่วนพาโนรามา 2D ที่ติดป้ายกำกับอัตโนมัติซึ่งรองรับการสร้างวัตถุ NeRF ใหม่
เพิ่มบทช่วยสอนและรหัสสนับสนุน
การอัปเดตที่สำคัญนี้ประกอบด้วยโค้ดที่รองรับความท้าทายสี่ประการที่ waymo.com/open และการอัปเดตชุดข้อมูลสำหรับทั้งชุดข้อมูลการรับรู้และการเคลื่อนไหว
เวอร์ชัน 2.0.0 ของชุดข้อมูลการรับรู้
เปิดตัวชุดข้อมูลในรูปแบบโมดูลาร์ ช่วยให้ผู้ใช้สามารถเลือกดาวน์โหลดเฉพาะส่วนประกอบที่ต้องการได้
รวมคุณสมบัติทั้งหมดในชุดข้อมูล Perception เวอร์ชัน 1.4.2 ยกเว้นแผนที่
เพิ่มบทช่วยสอนและรหัสสนับสนุน
v1.4.2 ของชุดข้อมูลการรับรู้
สำหรับป้ายกำกับการแบ่งส่วนวิดีโอแบบพาโนรามา 2 มิติ ให้เพิ่มมาสก์เพื่อระบุจำนวนกล้องที่ครอบคลุมแต่ละพิกเซล
เพิ่มข้อมูลแผนที่ 3 มิติเป็นรูปหลายเหลี่ยมหรือรูปหลายเหลี่ยม
v1.2.0 ของชุดข้อมูลการเคลื่อนไหว
เพิ่มข้อมูล Lidar สำหรับชุดการฝึก (1 วินาทีแรกของแต่ละหน้าต่าง 9 วินาที) และบทช่วยสอนและโค้ดสนับสนุนที่เกี่ยวข้อง
เพิ่มทางเข้าถนนลงในข้อมูลแผนที่ ปรับประมาณการความสูงของขอบเขตขอบถนนบางส่วน
เพิ่มจำนวนจุดแผนที่สูงสุดใน tf_examples เป็น 30,000 และลดการสุ่มตัวอย่างเป็น 1.0 เมตรเพื่อเพิ่มความครอบคลุมของแผนที่ ดังนั้นความครอบคลุมจึงเท่ากับชุดข้อมูลในรูปแบบโปรโตของสถานการณ์ เพิ่มโค้ด Conversion จากรูปแบบสถานการณ์จำลองเป็นรูปแบบ tf_examples
เพิ่มรหัสสนับสนุนสำหรับความท้าทายชุดข้อมูล Waymo Open ปี 2023 สี่รายการ
Sim Agents Challenge พร้อมคำแนะนำ
ความท้าทายในการประมาณท่าทางพร้อมบทช่วยสอน
ความท้าทายในการแบ่งส่วนวิดีโอแบบ Panoptic แบบ 2 มิติ พร้อมบทช่วยสอน
ความท้าทายในการคาดการณ์การเคลื่อนไหวพร้อมบทช่วยสอน
เราเปิดตัวชุดข้อมูล Perception เวอร์ชัน 1.4.1
ปรับปรุงคุณภาพของป้ายกำกับการแบ่งส่วนวิดีโอแบบพาโนรามา 2 มิติ
เราเปิดตัวชุดข้อมูล Perception เวอร์ชัน 1.4.0
เพิ่มป้ายกำกับการแบ่งส่วนวิดีโอแบบพาโนรามา 2D และโค้ดสนับสนุน
เผยแพร่บทช่วยสอนสำหรับความท้าทายในการตรวจจับด้วยกล้อง 3D เท่านั้น
เพิ่มการรองรับสำหรับการคำนวณ 3D-LET-APL ในการดำเนินการตัวชี้วัด Python ดู Compute Metrics
ในบทช่วยสอน
แก้ไขข้อผิดพลาดในการใช้เมตริกสำหรับ Occupancy และ Flow Challenge
เราเปิดตัวชุดข้อมูล Perception เวอร์ชัน 1.3.2 เพื่อปรับปรุงคุณภาพและความแม่นยำของป้ายกำกับ
อัปเดตป้ายกำกับการแบ่งส่วนความหมาย 3 มิติ เพื่อความสอดคล้องชั่วคราวที่ดีขึ้น และเพื่อแก้ไขจุดที่ติดป้ายกำกับผิด
อัปเดตป้ายกำกับจุดสำคัญ 2D เพื่อแก้ไขปัญหาการครอบตัดรูปภาพ
เพิ่ม num_top_lidar_points_in_box
ใน dataset.proto สำหรับ 3D Camera-Only Detection Challenge
เราเผยแพร่ชุดข้อมูล Perception เวอร์ชัน 1.3.1 เพื่อรองรับความท้าทายในปี 2022 และได้อัปเดตพื้นที่เก็บข้อมูลนี้ตามนั้น
เพิ่มตัวชี้วัด (LET-3D-APL และ LET-3D-AP) สำหรับความท้าทายในการตรวจจับเฉพาะกล้อง 3D
เพิ่ม 80 ส่วนของภาพจากกล้อง 20 วินาทีเป็นชุดทดสอบสำหรับความท้าทายในการตรวจจับด้วยกล้อง 3D เท่านั้น
เพิ่มความเร็วและความเร่งของแกน z ในข้อมูลเมตาของฉลาก LIDAR
แก้ไขความไม่สอดคล้องกันบางประการใน projected_lidar_labels
ใน dataset.proto
อัปเดตการกำหนดค่าเริ่มต้นสำหรับ Occupancy และ Flow Challenge โดยเปลี่ยนจากจุดอ้างอิงรวมไปเป็นจุดอ้างอิงย่อย
อัปเดตบทช่วยสอนสำหรับ 3D Semantic Segmentation Challenge พร้อมคำแนะนำโดยละเอียดเพิ่มเติม
เราเปิดตัวชุดข้อมูล Perception เวอร์ชัน 1.3.0 และความท้าทายในปี 2022 เราได้อัปเดตพื้นที่เก็บข้อมูลนี้เพื่อเพิ่มการรองรับป้ายกำกับใหม่และความท้าทายต่างๆ
เพิ่มป้ายกำกับการแบ่งส่วนความหมาย 3 มิติ บทช่วยสอน และเมตริก
เพิ่มป้ายกำกับจุดสำคัญ บทช่วยสอน และเมตริก 2D และ 3D
เพิ่มการโต้ตอบระหว่างป้ายกำกับ 2D (กล้อง) และ 3D (lidar) (เฉพาะคนเดินเท้า)
เพิ่มบทช่วยสอนและยูทิลิตี้สำหรับ Occupancy Flow Prediction Challenge
เพิ่มเมตริก mAP แบบอ่อนสำหรับ Motion Prediction Challenge
เราเปิดตัวชุดข้อมูล Motion เวอร์ชัน 1.1 เพื่อรวมข้อมูลการเชื่อมต่อเลน หากต้องการอ่านรายละเอียดทางเทคนิคเพิ่มเติม โปรดอ่าน lane_neighbors_and_boundaries.md
เพิ่มการเชื่อมต่อเลน แต่ละเลนมีรายการรหัสเลนที่เข้าหรือออกจากเลน
เพิ่มขอบเขตเลน แต่ละเลนมีรายการคุณลักษณะขอบเขตด้านซ้ายและขวาที่เกี่ยวข้องกับเลนและส่วนของเลนที่ขอบเขตทำงานอยู่
เพิ่มเลนเพื่อนบ้าน แต่ละเลนมีรายการเลนข้างเคียงซ้ายและขวา เหล่านี้เป็นช่องทางที่ตัวแทนอาจทำการเปลี่ยนเลนได้
ปรับปรุงความแม่นยำในการประทับเวลา
ปรับปรุงค่าเครื่องหมายหยุด Z
เราได้ขยายชุดข้อมูล Waymo Open เพื่อรวมชุดข้อมูล Motion ที่ประกอบด้วยวิถีการเคลื่อนที่ของวัตถุและแผนที่ 3 มิติที่เกี่ยวข้องสำหรับมากกว่า 100,000 ส่วน เราได้อัปเดตพื้นที่เก็บข้อมูลนี้เพื่อเพิ่มการรองรับชุดข้อมูลใหม่นี้
นอกจากนี้ เรายังเพิ่มคำแนะนำและตัวอย่างสำหรับความท้าทายในการตรวจจับแบบเรียลไทม์ โปรดปฏิบัติตามคำแนะนำเหล่านี้
หากต้องการอ่านเพิ่มเติมเกี่ยวกับชุดข้อมูลและการเข้าถึง โปรดไปที่ https://www.waymo.com/open
ที่เก็บโค้ดนี้ประกอบด้วย:
คำจำกัดความของรูปแบบชุดข้อมูล
ตัวชี้วัดการประเมินผล
ฟังก์ชันตัวช่วยใน TensorFlow เพื่อช่วยในการสร้างโมเดล
@InProceedings{Sun_2020_CVPR, ผู้แต่ง = {Sun, Pei และ Kretzschmar, Henrik และ Dotiwalla, Xerxes และ Chouard, Aurelien และ Patnaik, Vijaysai และ Tsui, Paul และ Guo, James และ Zhou, Yin และ Chai, Yuning และ Caine, Benjamin และ Vasudevan, วีเจย์และฮัน, เว่ยและเหงียม, จี้ฉวนและจ้าว, หังและ Timofeev, Aleksei และ Ettinger, Scott และ Krivokon, Maxim และ Gao, Amy และ Joshi, Aditya และ Zhang, Yu และ Shlens, Jonathon และ Chen, Zhifeng และ Anguelov, Dragomir}, title = {Scalability in Perception for Autonomous Driving: Waymo Open Dataset }, booktitle = {การดำเนินการประชุม IEEE/CVF ว่าด้วยการมองเห็นคอมพิวเตอร์และการจดจำรูปแบบ (CVPR)}, เดือน = {มิถุนายน} ปี = {2020} }
@InProceedings{Ettinger_2021_ICCV, author={Ettinger, Scott และ Cheng, Shuyang และ Caine, Benjamin และ Liu, Chenxi และ Zhao, Hang และ Pradhan, Sabeek และ Chai, Yuning และ Sapp, Ben และ Qi, Charles R. และ Zhou, Yin และ Yang, Zoey และ Chouard, Aur'elien และ Sun, Pei และ Ngiam, Jiquan และ Vasudevan Vijay และ McCauley, Alexander และ Shlens, Jonathon และ Anguelov, Dragomir}, title={Large Scale Interactive Motion Forecasting for Autonomous Driving: The Waymo Open Motion Dataset}, booktitle= Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) }, เดือน={ตุลาคม}, ปี={2021}, หน้า={9710-9719} }
@InProceedings{Kan_2024_icra, author={Chen, Kan และ Ge, Runzhou และ Qiu, Hang และ Ai-Rfou, Rami และ Qi, Charles R. และ Zhou, Xuanyu และ Yang, Zoey และ Ettinger, Scott และ Sun, Pei และ Leng, Zhaoqi และ Mustafa, Mustafa และ Bogun, Ivan และ Wang, Weiyue และ Tan, Mingxing และ Anguelov, Dragomir} title={WOMD-LiDAR: Raw Sensor Dataset Benchmark for Motion Forecasting}, month={May}, booktitle= Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)}, year={2024} }
ตารางต่อไปนี้จำเป็นสำหรับชุดข้อมูลนี้ที่จะต้องจัดทำดัชนีโดยเครื่องมือค้นหา เช่น Google Dataset Search
คุณสมบัติ | ค่า | ||||||
---|---|---|---|---|---|---|---|
ชื่อ | Waymo Open Dataset: An autonomous driving dataset | ||||||
ชื่อสำรอง | Waymo Open Dataset | ||||||
URL | https://github.com/waymo-research/waymo-open-dataset | ||||||
เหมือนกัน | https://github.com/waymo-research/waymo-open-dataset | ||||||
เหมือนกัน | https://www.waymo.com/open | ||||||
คำอธิบาย | The Waymo Open Dataset is comprised of high-resolution sensor data collected by autonomous vehicles operated by the Waymo Driver in a wide variety of conditions. We're releasing this dataset publicly to aid the research community in making advancements in machine perception and self-driving technology. | ||||||
ผู้ให้บริการ |
| ||||||
ใบอนุญาต |
|