Abstract

본 연구에서는 서라운드 뷰 이미지를 위한 통합된 부피 기반 특성 융합을 사용한 자기 지도 깊이 추정 방법을 제시합니다. 서라운드 뷰 이미지 세트를 주어진 경우, 우리의 방법은 서라운드 뷰 이미지에서 이미지 특성 맵을 추출하고 이를 공유된 통합 3D 복셀 공간에 융합하여 부피 기반 특성 맵을 구성합니다. 이 부피 기반 특성 맵은 이미지 좌표로 투영하여 각 서라운드 뷰에서 깊이 맵을 추정하는 데 사용될 수 있습니다. 부피 기반 특성은 해당 지역 복셀 좌표에서 3D 정보를 포함하고 있으므로, 우리의 방법은 부피 기반 특성 맵을 목표 뷰포인트로 투영하여 임의로 회전된 뷰포인트에서 깊이 맵을 합성할 수 있습니다. 또한, 다중 카메라 시스템에서 고정된 카메라 외부 파라미터를 가정하여, 부피 기반 특성 맵에서 기준 카메라 움직임을 추정하는 방법을 제안합니다. 우리의 방법은 3D 시공간적 맥락을 활용하여 자기 지도 방식으로 메트릭 크기 깊이와 기준 카메라 움직임을 학습합니다. 우리의 방법은 DDAD 및 nuScenes 데이터셋에서 이전 방법들을 능가하며, 특히 더 정확한 메트릭 크기 깊이와 이웃 뷰 간 일관된 깊이 추정에서 우수한 성능을 보입니다.