ทีมงานของ Wu Jiajun ที่ Stanford University ได้พัฒนาเทคโนโลยีที่ก้าวหน้า - "Scene Language" ซึ่งสามารถสร้างโมเดล 3 มิติที่สมจริงได้โดยอัตโนมัติในประโยคเดียวหรือรูปภาพ เทคโนโลยีนี้รวมข้อมูลสามอย่างอย่างชาญฉลาด: โปรแกรมข้อความและเวกเตอร์ฝังตัวใช้โมเดลภาษาที่ผ่านการฝึกอบรมมาก่อนเพื่ออนุมานองค์ประกอบฉากโดยอัตโนมัติและสร้างฉาก 3 มิติคุณภาพสูงผ่านการเรนเดอร์ ไม่เพียง แต่สร้างฉาก 3 มิติที่ซับซ้อน แต่ยังควบคุมและแก้ไขโครงสร้างฉากอย่างแม่นยำให้ความสะดวกสบายอย่างไม่เคยปรากฏมาก่อนสำหรับนักออกแบบและนักพัฒนาเกม ลองมาดูเทคโนโลยีที่น่าตื่นตาตื่นใจและโอกาสในการใช้งานที่หลากหลาย
คุณยังจำฉาก 3 มิติที่ยอดเยี่ยมในภาพยนตร์นิยายวิทยาศาสตร์ได้หรือไม่? เทคโนโลยีของมหาวิทยาลัยสแตนฟอร์ด *ช่วยให้คุณสร้างโมเดล 3 มิติที่เหมือนจริงโดยอัตโนมัติด้วยประโยคเดียวเพื่ออธิบายฉาก
ภาษาฉากคืออะไร?
ลองนึกภาพคุณกำลังจะอธิบายรูปปั้นหิน Ahu Akivi Mysterious บนเกาะอีสเตอร์ คุณจะพูดว่า "มีรูปปั้น Moai เจ็ดแถวหันหน้าไปทางเดียวกัน" แต่ถ้าอีกฝ่ายไม่รู้ว่ารูปปั้น Moai คืออะไรคุณก็ต้องอธิบายด้วยเช่นกัน แต่แต่ละคนดูแตกต่างกันเล็กน้อย”
ตัวอย่างนี้บอกเราว่าเพื่ออธิบายสถานการณ์อย่างเต็มที่จำเป็นต้องมีข้อมูลอย่างน้อยสามประเภท:
ข้อมูลโครงสร้าง: ตัวอย่างเช่น "แถวของรูปปั้นหินเจ็ดรูป" สามารถอธิบายได้โดยโปรแกรมที่คล้ายกับภาษาการเขียนโปรแกรม;
หมวดหมู่ความหมาย: ตัวอย่างเช่น "รูปปั้นหินโมไบ" สามารถสรุปได้เป็นคำพูด;
รายละเอียดตัวอย่าง: ตัวอย่างเช่นรูปร่างสีและพื้นผิวเฉพาะของรูปปั้นหินแต่ละรูปนั้นยากที่จะอธิบายด้วยคำพูด แต่สามารถรับรู้ได้ผ่านภาพ
ภาษาสถานการณ์รวมข้อมูลสามประเภทนี้อย่างสมบูรณ์แบบ!
โปรแกรม: ใช้ไวยากรณ์คล้ายกับภาษาการเขียนโปรแกรมเพื่อกำหนดความสัมพันธ์แบบลำดับชั้นและเค้าโครงเชิงพื้นที่ของวัตถุในฉากเช่นการจัดเรียงของรูปปั้นหิน Moai;
ข้อความ: อธิบายความหมายของชั้นเรียนของแต่ละวัตถุในภาษาธรรมชาติเช่น "รูปปั้นหิน Moai";
Embed Vectors: ใช้เวกเตอร์ที่สร้างขึ้นโดยเครือข่ายประสาทเพื่อจับคุณสมบัติภาพของแต่ละวัตถุเช่นลักษณะที่เป็นเอกลักษณ์ของรูปปั้นหินแต่ละรูป
สิ่งที่น่าทึ่งที่สุดคือภาษาฉากสามารถสร้างขึ้นได้โดยอัตโนมัติผ่านแบบจำลองภาษาที่ผ่านการฝึกอบรมมาก่อน! สร้างฉาก 3 มิติคุณภาพสูง
อะไรคือข้อดีของภาษาฉาก?
เมื่อเปรียบเทียบกับการแสดงกราฟฉากแบบดั้งเดิมภาษาฉากสามารถสร้างฉากที่ซับซ้อนและสมจริงได้มากขึ้นและสามารถควบคุมและแก้ไขโครงสร้างฉากได้อย่างแม่นยำ ตัวอย่างเช่นคุณสามารถใช้ประโยคเพื่อแก้ไขคุณสมบัติของวัตถุในฉากหรือเพิ่มวัตถุใหม่หรือแม้แต่เปลี่ยนรูปแบบของฉากทั้งหมด
แอพพลิเคชั่นของภาษาสถานการณ์คืออะไร?
Scene Language มีโอกาสในการใช้งานในวงกว้างในสาขาการสร้างฉาก 3 มิติและการแก้ไขเช่น:
ฉากการสร้างข้อความ 3D: ป้อนคำอธิบายข้อความและฉาก 3 มิติที่สอดคล้องกันสามารถสร้างขึ้นได้โดยอัตโนมัติเช่น "ปราสาทบนยอดเขาที่ล้อมรอบด้วยป่าทึบ";
ฉากการสร้างภาพ 3 มิติ: ป้อนรูปภาพเพื่อสร้างฉาก 3 มิติในภาพถ่ายเช่นการสร้างแบบจำลองห้องนั่งเล่น 3 มิติตามรูปห้องนั่งเล่น
การสร้างฉาก 4D: ฉาก 4D ที่มีข้อมูลมิติเวลาสามารถสร้างได้เช่นการจำลองการหมุนของกังหันลม
การแก้ไขฉาก: โดยการแก้ไขโปรแกรมภาษาฉากข้อความหรือเวกเตอร์ฝังคุณสามารถแก้ไขฉากได้อย่างถูกต้องเช่นการเปลี่ยนสีตำแหน่งหรือขนาดของวัตถุ
ทิศทางการพัฒนาในอนาคตของภาษาฉากคืออะไร?
ภาษาสถานการณ์ยังคงอยู่ในช่วงเริ่มต้นของการพัฒนาและยังมีพื้นที่มากมายสำหรับการพัฒนาในอนาคตเช่น:
ความสามารถในการสร้างที่มีประสิทธิภาพมากขึ้น: สามารถสร้างฉากที่ซับซ้อนและเป็นจริงได้มากขึ้นเช่นมีรายละเอียดเพิ่มเติมและองค์ประกอบการโต้ตอบที่สมบูรณ์ยิ่งขึ้น
วิธีการแก้ไขที่สะดวกยิ่งขึ้น: คุณสามารถแก้ไขฉากด้วยภาษาที่เป็นธรรมชาติและใช้งานง่ายมากขึ้นเช่นการควบคุมเสียงหรือท่าทาง
แอพพลิเคชั่นที่หลากหลาย: สามารถนำไปใช้กับความเป็นจริงเสมือนจริงความเป็นจริงยิ่งการพัฒนาเกมการผลิตภาพยนตร์และสาขาอื่น ๆ
หน้าแรกของโครงการ: https://ai.stanford.edu/~yzzhang/projects/scene-language/
ที่อยู่กระดาษ: https://arxiv.org/abs/2410.16770
ในระยะสั้นเทคโนโลยี "ภาษาสถานการณ์" ได้นำการเปลี่ยนแปลงการปฏิวัติไปสู่การสร้างแบบจำลอง 3 มิติ เราหวังว่าจะได้เทคโนโลยีนี้ทำให้เราประหลาดใจมากขึ้นในอนาคต