ลองนึกภาพว่าข้อความไม่ได้จำกัดอยู่เพียงระนาบสองมิติอีกต่อไป แต่สามารถสาดในพื้นที่สามมิติ เช่น การระบายสี และโต้ตอบกับโลกแห่งความเป็นจริงได้ ทีมวิจัยจากมหาวิทยาลัย Tsinghua และมหาวิทยาลัย Harvard ร่วมกันพัฒนาเทคโนโลยีสีดำที่น่าทึ่ง - LangSplat ซึ่งประสบความสำเร็จในการสืบค้นข้อความแบบเปิดในโลกแห่งความเป็นจริง เทคโนโลยีนี้ใช้เทคโนโลยีการสาดแบบเกาส์เซียนสามมิติเพื่อทำให้ข้อความ "มีชีวิต" ในพื้นที่สามมิติ ซึ่งนำการเปลี่ยนแปลงที่ปฏิวัติวงการมาสู่ความเข้าใจและการโต้ตอบของฉาก 3 มิติ
ในโลกสามมิตินี้ เราใช้คำเพื่ออธิบายทุกสิ่ง และใช้ภาษาเพื่อสำรวจโลก แต่คุณเคยคิดบ้างไหมว่าหากข้อความสามารถ "สาด" ลงในพื้นที่สามมิติได้โดยตรงจะเป็นอย่างไร
เมื่อเร็วๆ นี้ นักวิชาการชั้นนำจากมหาวิทยาลัย Tsinghua และมหาวิทยาลัย Harvard ได้พัฒนาเทคโนโลยีสีดำดังกล่าว - LangSplat ใช้เทคโนโลยีการสาดแบบเกาส์เซียนสามมิติเพื่อทำให้ข้อความ "มีชีวิต" ในพื้นที่สามมิติ และทำให้เกิดข้อความค้นหาแบบเปิดในโลกแห่งความเป็นจริง
ที่อยู่โครงการ: https://github.com/minghanqin/LangSplat
ลองนึกภาพคุณกำลังเล่นเกม 3 มิติและต้องการค้นหาดาบที่ซ่อนอยู่ คุณจะต้องป้อนคำว่า "ดาบ" เท่านั้น และ LangSplat ก็สามารถระบุตำแหน่งของมันได้อย่างแม่นยำในฉากอันกว้างใหญ่ มันไม่น่าทึ่งเหรอ?
ความเร็วและความแม่นยำแบบก้าวกระโดดสองเท่า
จุดเด่นที่สุดของ LangSplat คือความเร็วและความแม่นยำ
ความเร็ว: ที่ความละเอียด 1080P ความเร็วในการสืบค้นจะเร็วกว่าวิธีการแบบเดิมถึง 200 เท่า ซึ่งหมายความว่าคุณจะได้รับคำติชมทันทีโดยไม่ต้องรอแถบความคืบหน้า
ความแม่นยำ: ด้วยการเรียนรู้ความหมายแบบลำดับชั้น ทำให้ฟิลด์ความหมายสามมิติมีความชัดเจนมากขึ้น และขอบเขตของเป้าหมายจะไม่พร่ามัวอีกต่อไป เหมือนใช้แว่นขยายดูรายละเอียดทุกซอกทุกมุม
เทคโนโลยีสีดำที่อยู่เบื้องหลังเทคโนโลยี
เทคโนโลยีหลักของ LangSplat ได้แก่:
การเรียนรู้ความหมายเชิงลำดับชั้น: ใช้ Segment Anything Model (SAM) เพื่อเรียนรู้ความหมายหลายระดับตั้งแต่ทั้งหมดไปจนถึงบางส่วน เพื่อให้สามารถจดจำแต่ละวัตถุได้อย่างถูกต้อง
สแปลชเกาส์เซียนสามมิติ: ในพื้นที่ 3 มิติ การแจกแจงแบบเกาส์เซียนจะใช้เพื่อแสดงข้อมูลเชิงความหมาย และจุดเกาส์เซียนแต่ละจุดจะเข้ารหัสคุณลักษณะเชิงความหมายที่หลากหลาย
ตัวเข้ารหัสฉากอัตโนมัติ: เพื่อแก้ปัญหาการจัดเก็บข้อมูลของคุณสมบัติมิติสูง LangSplat ได้สร้างตัวเข้ารหัสอัตโนมัติเฉพาะฉากเพื่อลดมิติของคุณสมบัติความหมาย ซึ่งไม่เพียงแต่ช่วยประหยัดหน่วยความจำ แต่ยังปรับปรุงประสิทธิภาพอีกด้วย
โอกาสในการสมัครมีไม่จำกัด
การถือกำเนิดของ LangSplat ได้เปิดประตูใหม่สำหรับการทำความเข้าใจฉาก 3D ไม่ว่าจะเป็นการนำทางด้วยหุ่นยนต์ ความเป็นจริงเสริม หรือการแก้ไข 3 มิติ ก็สามารถแสดงความสามารถได้
ลองจินตนาการว่าในอนาคตคุณกำลังเล่นเกม VR ที่สมจริง และคุณสามารถสั่งให้หุ่นยนต์ค้นหาสมบัติด้วยคำพูดของคุณ หรือหากคุณกำลังออกแบบโมเดล 3 มิติ คุณสามารถแก้ไขพารามิเตอร์ผ่านภาษาได้อย่างรวดเร็ว ทั้งหมดนี้ไม่ใช่ความฝันอีกต่อไป
การเกิดขึ้นของ LangSplat ได้นำมาซึ่งการเปลี่ยนแปลงครั้งยิ่งใหญ่ในการโต้ตอบระหว่างโลกสามมิติและภาษามนุษย์ โอกาสในการประยุกต์ใช้งานในเกม หุ่นยนต์ AR/VR และสาขาอื่น ๆ นั้นประเมินค่าไม่ได้ เทคโนโลยีนี้