Stanford University의 Wu Jiajun 팀은 획기적인 기술을 개발하여 "Scene Language"를 개발하여 한 문장이나 그림으로 사실적인 3D 모델을 자동으로 생성 할 수 있습니다. 이 기술은 프로그램, 텍스트 및 임베디드 벡터의 세 가지 정보를 영리하게 통합하고 미리 훈련 된 언어 모델을 사용하여 장면 요소를 자동으로 추론하고 렌더러를 통해 고품질 3D 장면을 생성합니다. 복잡한 3D 장면을 생성 할뿐만 아니라 장면 구조를 정확하게 제어하고 편집하여 디자이너와 게임 개발자에게 전례없는 편의를 제공합니다. 이 놀라운 기술과 광범위한 응용 프로그램 전망을 자세히 살펴 보겠습니다.
공상 과학 영화에서 멋진 3D 장면을 기억하십니까? Stanford University *Technology를 사용하면 장면을 설명하기 위해 하나의 문장으로 LifeLike 3D 모델을 자동으로 생성 할 수 있습니다.
장면 언어는 무엇입니까?
부활절 섬의 신비한 Ahu Akivi Stone 동상을 묘사 할 것이라고 상상해보십시오. "같은 방향을 향한 7 개의 모아이 조각상이있다"고 말할 것입니다. 그러나 각각은 약간 다르게 보입니다.”
이 예제는 시나리오를 완전히 설명하기 위해서는 최소한 세 종류의 정보가 필요하다는 것을 알려줍니다.
구조 정보 : 예를 들어, "7 개의 석조 행"은 프로그래밍 언어와 유사한 프로그램으로 설명 할 수 있습니다.
카테고리
예제 : 예를 들어, 각 석재 동상의 특정 모양, 색상 및 질감은 단어로 묘사하기 어렵지만 이미지를 통해 인식 할 수 있습니다.
시나리오 언어는이 세 가지 유형의 정보를 완벽하게 통합합니다!
프로그램 : 프로그래밍 언어와 유사한 구문을 사용하여 Moai Stone 조각상의 배열과 같은 장면에서 객체의 계층 적 관계 및 공간 레이아웃을 정의합니다.
텍스트 : "Moai Stone Statue"와 같은 자연어로 각 물체의 시맨틱을 설명하십시오.
벡터 포함 : 신경망이 생성 한 벡터를 사용하여 각 석상의 독특한 모양과 같은 각 물체의 시각적 특징을 포착합니다.
가장 놀라운 것은 사전 훈련 된 언어 모델을 통해 자동으로 생성 될 수 있다는 것입니다! 고품질 3D 장면을 생성합니다.
장면 언어의 장점은 무엇입니까?
전통적인 장면 그래프 표현과 비교할 때 장면 언어는보다 복잡하고 사실적인 장면을 생성 할 수 있으며 장면 구조를 정확하게 제어하고 편집 할 수 있습니다. 예를 들어, 문장을 사용하여 장면에서 객체의 속성을 수정하거나 새 개체를 추가하거나 전체 장면의 스타일을 변경할 수도 있습니다.
시나리오 언어의 응용은 무엇입니까?
장면 언어는 3D 장면 생성 및 편집 분야에서 다음과 같은 광범위한 응용 프로그램 전망을 가지고 있습니다.
텍스트 생성 3D 장면 : 텍스트 설명을 입력하면 해당 3D 장면이 "조밀 한 숲으로 둘러싸인 산 꼭대기의 성"과 같이 자동으로 생성 될 수 있습니다.
사진 생성 3D 장면 : 거실 사진을 기반으로 3D 거실 모델을 생성하는 등 사진에서 3D 장면을 재구성하려면 사진을 입력하십시오.
4D 장면 생성 : 풍력 터빈의 회전을 시뮬레이션하는 것과 같은 시간 차원 정보를 포함하는 4D 장면을 생성 할 수 있습니다.
장면 편집 : 장면 언어 프로그램, 텍스트 또는 임베드 벡터를 수정하면 객체의 색상, 위치 또는 크기 변경과 같은 장면을 정확하게 편집 할 수 있습니다.
장면 언어의 미래 개발 방향은 무엇입니까?
시나리오 언어는 아직 개발 초기 단계에 있으며, 앞으로도 개발을위한 많은 여지가 있습니다.
보다 강력한 생성 능력 : 더 많은 세부 사항과 더 풍부한 대화식 요소를 포함하는 것과 같은보다 복잡하고 현실적인 장면을 생성 할 수 있습니다.
보다 편리한 편집 방법 : 음성 또는 제스처 제어와 같은보다 자연스럽고 직관적 인 언어로 장면을 편집 할 수 있습니다.
광범위한 응용 프로그램 : 가상 현실, 증강 현실, 게임 개발, 영화 제작 및 기타 분야에 적용될 수 있습니다.
프로젝트 홈페이지 : https://ai.stanford.edu/~yzzhang/projects/scene-language/
종이 주소 : https://arxiv.org/abs/2410.16770
요컨대, "시나리오 언어"기술은 3D 모델링 분야에 혁신적인 변화를 가져 왔으며 강력한 생성 기능은 관련 분야의 개발을 크게 촉진 할 것이며 미래의 응용 프로그램 전망은 무한합니다. 우리는이 기술을 기대하면 앞으로 더 많은 놀라움을 가져다줍니다.