เมื่อเร็วๆ นี้ Jiji Technology ได้เปิดตัวเฟรมเวิร์ก DriveDreamer4D ซึ่งมีจุดมุ่งหมายเพื่อใช้แบบจำลองโลกเพื่อปรับปรุงเอฟเฟกต์การสร้างฉากการขับขี่แบบ 4 มิติขึ้นมาใหม่ วิธีการแบบเดิมๆ เช่น NeRF และ 3DGS อาศัยข้อมูลการฝึกซ้อมจำนวนมาก และทำงานได้ไม่ดีเมื่อต้องรับมือกับสภาพถนนที่ซับซ้อน DriveDreamer4D สร้างข้อมูลการฝึกอบรมที่หลากหลายมากขึ้นโดยการแนะนำแบบจำลองโลกและโมดูลการสร้างวิถีใหม่ (NTGM) ซึ่งปรับปรุงความแม่นยำและความทนทานของการสร้างฉาก 4D ใหม่อย่างมีนัยสำคัญ นำความก้าวหน้าครั้งใหม่มาสู่การวิจัยและพัฒนาการขับขี่อัตโนมัติ
เมื่อเร็วๆ นี้ Jiji Technology ได้เสนอกรอบการทำงานใหม่ที่เรียกว่า DriveDreamer4D ซึ่งมีวัตถุประสงค์เพื่อใช้ความรู้เดิมเกี่ยวกับแบบจำลองโลก เพื่อปรับปรุงเอฟเฟกต์การสร้างฉากการขับขี่แบบ 4 มิติขึ้นมาใหม่
วิธีการสร้างฉาก 4D แบบดั้งเดิมขึ้นใหม่อาศัยรูปแบบหลักสองแห่งของ NeRF และ 3DGS NeRF เปรียบเสมือนจิตรกรชั้นยอดที่สามารถใช้โครงข่ายประสาทเทียมเพื่อแสดงภาพถ่ายจำนวนมากให้เป็นโมเดล 3 มิติ 3DGS ใช้ฟังก์ชันเกาส์เซียนสามมิติจำนวนมากเพื่อจำลองวัตถุต่างๆ ในฉาก
แต่ทั้งสองวิธีมีจุดอ่อนร้ายแรง: พวกเขาอาศัยข้อมูลการฝึกมากเกินไป! เช่น หากคุณเห็นรถวิ่งเป็นเส้นตรงแล้วจู่ๆ รถก็แล่นไปรอบมุม คุณจะสับสน ดังนั้นจึงมีแนวโน้มที่จะพลิกคว่ำเมื่อต้องเผชิญกับสภาพถนนที่ซับซ้อน เช่น การเปลี่ยนเลน การเร่งความเร็ว และการชะลอความเร็ว
เพื่อที่จะแก้ไขปัญหานี้ Jiji Technology ได้เปิดตัวนักฆ่าตัวยงในครั้งนี้ - DriveDreamer4D พูดง่ายๆ ก็คือปลั๊กอิน AI สำหรับการสร้างฉาก 4 มิติขึ้นมาใหม่ ซึ่งเป็นโมเดลระดับโลก
คุณสามารถเข้าใจโมเดลโลกในฐานะสมอง AI ที่สามารถทำนายสิ่งที่อาจเกิดขึ้นในอนาคตจากข้อมูลที่มีอยู่ DriveDreamer4D ใช้โมเดลโลกเพื่อสร้างข้อมูลวิดีโอมุมมองใหม่ภายใต้สภาพถนนที่ซับซ้อนต่างๆ ซึ่งเทียบเท่ากับการป้อนโมเดลการสร้างฉาก 4D ใหม่ด้วยข้อมูลการฝึก "เสริมสมอง" เพื่อให้ได้รับข้อมูลที่ดีและจะไม่พลิกกลับอีกต่อไป
สิ่งที่ยอดเยี่ยมยิ่งกว่านั้นคือ DriveDreamer4D ยังออกแบบโมดูลการสร้างวิถี (NTGM) ใหม่เป็นพิเศษ สิ่งนี้สามารถสร้างวิถีใหม่ๆ ต่างๆ ที่สอดคล้องกับกฎจราจรได้โดยอัตโนมัติ เช่น การเปลี่ยนเลน การเร่งความเร็ว การชะลอความเร็ว เป็นต้น จากนั้นใช้โมเดลโลกเพื่อสร้างวิดีโอในมุมมองที่สอดคล้องกันซึ่งเทียบเท่ากับการจ้าง "คู่หู" สำหรับโมเดลการสร้างฉาก 4 มิติใหม่ ทำให้สามารถรับมือกับสภาพถนนที่ซับซ้อนต่างๆ ได้อย่างง่ายดาย
ผลการทดลองยังพิสูจน์ถึงความแข็งแกร่งของ DriveDreamer4D เมื่อต้องรับมือกับสภาพถนนที่ซับซ้อน ผลของการฟื้นฟูจะดีกว่าวิธีการแบบเดิมอย่างมาก ความเที่ยงตรงของภาพที่สร้างขึ้นจะสูงกว่า และสามารถคืนตำแหน่งของยานพาหนะและเส้นเลนได้อย่างแม่นยำ
โดยรวมแล้ว การเกิดขึ้นของ DriveDreamer4D ก็เหมือนกับการทิ้งระเบิดนิวเคลียร์ในสนามของการสร้างฉาก 4D ขึ้นมาใหม่ ซึ่งระเบิดเพดานทางเทคนิคโดยตรง ด้วยการวิจัยและพัฒนาและการทดสอบการขับขี่อัตโนมัติจะมีประสิทธิภาพ ปลอดภัย และเชื่อถือได้มากขึ้น
แน่นอนว่า DriveDreamer4D ยังอยู่ในขั้นตอนการวิจัย และยังมีอีกหลายด้านที่ต้องปรับปรุงในอนาคต แต่ฉันเชื่อว่าในขณะที่เทคโนโลยีพัฒนาอย่างต่อเนื่อง เทคโนโลยีก็จะมีประสิทธิภาพมากขึ้นเรื่อยๆ และในที่สุดก็กลายเป็นส่วนที่ขาดไม่ได้ของสนามการขับขี่อัตโนมัติ
ที่อยู่กระดาษ: https://arxiv.org/pdf/2410.13571
หน้าแรกของโครงการ: https://drivedreamer4d.github.io/
ที่อยู่รหัส: https://github.com/GigaAI-research/DriveDreamer4D
บรรณาธิการของ Downcodes เชื่อว่าการเกิดขึ้นของ DriveDreamer4D ถือเป็นก้าวใหม่ของเทคโนโลยีการสร้างฉาก 4 มิติใหม่ แนวโน้มการใช้งานในสาขาต่างๆ เช่น การขับขี่แบบอัตโนมัตินั้นมีวงกว้างและคุ้มค่าแก่การเอาใจใส่และคาดหวังอย่างต่อเนื่อง ในอนาคต เมื่อเทคโนโลยียังคงพัฒนาต่อไป ฉันเชื่อว่า DriveDreamer4D จะมีบทบาทมากขึ้น