중국과학원, 통지대학교, 닝보대학교의 공동 팀은 획기적인 포인트 클라우드 압축 기술인 TSC-PCAC를 개발했습니다. 이 기술은 포인트 클라우드 데이터의 압축 효율성과 처리 속도를 크게 향상시키고 3D 애플리케이션이 직면한 엄청난 문제를 해결합니다. AR/VR과 같은 데이터 처리 문제. 이 기술은 엔드투엔드 복셀 변환기 및 희소 컨볼루션을 기반으로 하며 2단계 압축 아키텍처를 사용하여 데이터 중복성을 효과적으로 줄이고 혁신적인 TSCM 채널 컨텍스트 모듈을 통해 채널 간 상관 관계를 최적화하여 압축 효율성을 더욱 향상시킵니다. 이 기술은 데이터 압축률과 처리 속도에서 획기적인 발전을 이루었으며 3D 애플리케이션 개발을 위한 강력한 기술 지원을 제공합니다.
현재 3D 비전 기술이 빠르게 발전하는 상황에서 가상 현실과 증강 현실의 핵심 데이터 형태인 포인트 클라우드는 엄청난 전송 및 저장 문제에 직면해 있습니다. 고품질 포인트 클라우드에는 수백만 개의 데이터 포인트가 포함될 수 있으며 각 포인트는 위치, 색상, 투명도와 같은 다차원 정보를 담고 있습니다. 이러한 대규모 데이터의 처리 효율성은 3D 애플리케이션의 인기에 직접적인 영향을 미칩니다.
연구팀은 이러한 문제를 해결하기 위해 end-to-end voxel Transformer와 sparse convolution 기반의 포인트 클라우드 속성 압축 기술(TSC-PCAC)을 개발했습니다. 이 기술의 핵심은 고유한 2단계 압축 아키텍처에 있습니다. 첫 번째 단계는 포인트 클라우드의 로컬 특징 추출 및 모델링에 중점을 두고, 두 번째 단계는 더 큰 수용 필드를 통해 전역 특징을 캡처하여 데이터 중복을 효과적으로 줄입니다.
연구팀은 채널 간 상관관계를 최적화해 데이터 압축 효율성을 획기적으로 향상시킨 TSCM 기반 채널 컨텍스트 모듈도 혁신적으로 설계했다. 실험 데이터에 따르면 기존 주류 기술과 비교하여 TSC-PCAC는 데이터 압축률이 크게 향상되었습니다. Sparse-PCAC보다 38.53%, NF-PCAC보다 21.30%, G-PCAC v23보다 21.30% 향상되었습니다. 11.19% 증가했다. 더욱 인상적인 점은 인코딩 시간과 디코딩 시간이 각각 97.68%, 98.78% 단축되는 등 처리 속도도 질적으로 향상되었다는 점입니다.
이 획기적인 성과는 포인트 클라우드 데이터 처리의 주요 문제점을 해결할 뿐만 아니라 AR/VR과 같은 3D 애플리케이션의 추가 개발을 위한 중요한 기반을 마련합니다. 연구팀은 앞으로도 압축률이 더 높은 심층 네트워크 기술을 계속 탐구하고 기하학 및 속성 인코딩을 위한 통합 처리 솔루션을 개발할 것이라고 밝혔습니다.
논문 주소: https://arxiv.org/html/2407.04284v1
TSC-PCAC 기술의 성공적인 개발은 포인트 클라우드 압축 기술의 획기적인 진전을 의미하며 향후 AR/VR 등 3D 애플리케이션의 대중화 및 개발을 위한 강력한 기술 지원을 제공할 것으로 예상됩니다.