BAAM: Monocular 3D pose and shape reconstruction with bi-contextual attention module and attention-guided modeling
Abstract
3D 교통 장면은 차량 객체의 자세와 형태를 포함한 다양한 3D 정보를 포함합니다. 그러나 최근 연구의 대부분은 세부적인 형태 복원에 상대적으로 적은 주의를 기울였습니다. 또한, 대부분의 연구에서는 각 3D 객체를 독립적으로 처리하여 객체 간의 상대적인 맥락과 도로 환경을 반영하는 장면 맥락이 손실되는 결과를 초래합니다. 본 연구에서는 이중 맥락 주의와 주의 기반 모델링(BAAM)을 기반으로 한 새로운 단안 3D 자세 및 형태 복원 알고리즘을 제안합니다. 먼저, 2D 원시 데이터를 바탕으로, 탐지된 객체와 차량 형태 사전 간의 관련성을 고려한 주의 기반 모델링을 통해 3D 객체 형태를 복원합니다. 다음으로, 객체 간 관계 맥락과 객체와 도로 환경 간 장면 맥락을 활용하는 이중 맥락 주의를 통해 3D 객체 자세를 추정합니다. 마지막으로, Bird-Eye-View 거리 기준으로 불필요한 객체를 제거하는 3D 비최대 억제 알고리즘을 제안합니다. 광범위한 실험을 통해 제안된 BAAM은 ApolloCar3D에서 최신 기술을 능가하는 성능을 보이며, BAAM이 KITTI에서 성능을 크게 향상시킬 수 있음을 입증합니다.
- ConferenceCVPR
- TopicComputer Vision, 3D
- Year Published2023
Abstract
3D 교통 장면은 차량 객체의 자세와 형태를 포함한 다양한 3D 정보를 포함합니다. 그러나 최근 연구의 대부분은 세부적인 형태 복원에 상대적으로 적은 주의를 기울였습니다. 또한, 대부분의 연구에서는 각 3D 객체를 독립적으로 처리하여 객체 간의 상대적인 맥락과 도로 환경을 반영하는 장면 맥락이 손실되는 결과를 초래합니다. 본 연구에서는 이중 맥락 주의와 주의 기반 모델링(BAAM)을 기반으로 한 새로운 단안 3D 자세 및 형태 복원 알고리즘을 제안합니다. 먼저, 2D 원시 데이터를 바탕으로, 탐지된 객체와 차량 형태 사전 간의 관련성을 고려한 주의 기반 모델링을 통해 3D 객체 형태를 복원합니다. 다음으로, 객체 간 관계 맥락과 객체와 도로 환경 간 장면 맥락을 활용하는 이중 맥락 주의를 통해 3D 객체 자세를 추정합니다. 마지막으로, Bird-Eye-View 거리 기준으로 불필요한 객체를 제거하는 3D 비최대 억제 알고리즘을 제안합니다. 광범위한 실험을 통해 제안된 BAAM은 ApolloCar3D에서 최신 기술을 능가하는 성능을 보이며, BAAM이 KITTI에서 성능을 크게 향상시킬 수 있음을 입증합니다.