선박 주변 인지를 위한 영상 기반 장애물 탐지 및 추적 방법

Abstract

본 연구에서는 선박 주변 인식을 위한 기존 장비들의 단점을 보완하고 선박에 적용하기 위한 카메라의 영상 기반 장애물 인지 기술을 개발하였다. 주변 장애물 인지 기술은 크게 탐지 (detection), 위치 예측 (localization), 추적 (tracking)의 3가지 부분으로 나눌 수 있다. 먼저, 탐지는 주어진 영상에서 장애물의 존재 여부를 판단하고 그 위치를 찾는 것으로, 본 연구에서는 최근 컴퓨터 비전 분야에서 널리 쓰이고 있는 CNN (Convolutional Neural Network)을 기반으로 한 딥 러닝 탐지 모델을 구축하였다. 딥러닝 모델을 학습 및 검증하기 위해 공개된 해양 이미지 데이터 셋, 가상 해양 이미지 데이터 셋, 그리고 실제 촬영된 해양 영상 데이터를 활용하였다. 위치 예측은 앞서 탐지된 영상 내 장애물의 위치를 실제 공간 상의 좌표로 변환하는 과정이다. 이 과정에서 영상 내의 수평선 정보가 필요한데, 수평선의 위치를 선박에 설치된 자이로 센서 (gyro sensor)를 통해 계산하고, 장애물의 이미지 상 위치와 카메라 모델 정보를 통해 장애물이 자선으로부터 떨어진 거리와 방향을 계산하였다. 마지막으로, 추적은 시간에 따른 장애물의 상태를 파악하는 작업으로 본 연구에서는 장애물의 위치와 속도가 이에 해당한다. 앞서 예측된 장애물의 위치를 바탕으로 확장 칼만 필터 (Extended Kalman Filter)를 활용해 장애물의 이동 경로와 속도를 추적하였다. 개발된 장애물 인지 기술의 효용성을 확인하기 위해, 이를 실제 무인선에서 촬영된 전방 파노라마 영상 및 취득한 센서 데이터에 적용하여 그 결과를 분석되었다. 그 결과, 최종적으로 장애물 탐지, 위치 예측, 추적을 모두 성공적으로 수행할 수 있음을 확인했다.