딥 러닝 기반 다중 카메라 영상을 이용한 해상 장애물 탐지 추적에 관한 연구

Abstract

과거에는 선박을 운용하기 위해서 많은 인원이 필요하였으나 최근 들어 선박 운용에 필요한 인원이 줄어들고 있으며, 더 나아가 자율적으로 운항하는 선박을 만들기 위한 연구가 활발히 수행되고 있다. 자율 운항 선박을 구성하는 여러 요소 중 인간의 시각을 대체하기 위한 자율 인지 시스템은 가장 선행되어야 하는 연구 분야 중 하나이다. RADAR (RAdio Detection And Ranging) 및 AIS (Automatic Identification System) 등의 전통적인 인지 센서를 활용한 연구가 진행 중이지만 사각지대나 탐지 주기 등의 한계가 있다. 따라서 본 연구에서는 다중 카메라 (광학, 열상, 파노라마)를 이용하여 전통적인 인지 센서의 한계를 보완하는 새로운 인지 시스템을 고안하였으며, 이를 기반으로 해상 장애물을 추적하여 동적 운동 정보를 얻었다. 먼저 실해역에서 수집한 이미지를 바탕으로 해상 장애물 탐지를 위한 데이터를 구성하고, 딥 러닝 기반의 탐지 모델을 학습시켰다. 탐지 모델을 이용하여 탐지한 결과는 직접 설계한 칼만 필터 기반의 적응형 추적 필터를 통과시켜 해상 장애물의 운동 정보 (궤적, 속력, 방향)를 계산하는데 활용되었다. 또한 본 연구는 카메라를 센서로 활용했을 때의 한계를 보완하기 위하여 동 시간대에 다중 카메라에서 추적한 각각의 정보를 융합하였다. 그 결과 단일 카메라를 활용하는 경우, RADAR의 오차 범위 이내에 추적 결과가 수렴하는 양상을 보였으며, 다중 카메라를 활용하는 경우에는 단일 카메라보다 정확한 추적이 가능함을 확인하였다.