딥 러닝을 통한 무인선의 영상 기반 장애물 탐지 및 추적

Abstract

선박이 주변에 있는 장애물을 인지하기 위해서는 주로 AIS (Automatic Identification System), RADAR (RAdio Detections And Ranging), LIDAR (LIght Detection And Ranging)와 같은 장비들이 사용된다. 그러나 AIS의 경우 AIS 기기가 없는 소형 선박을 인지할 수 없다는 점, RADAR는 업데이트 주기가 느리고 음영 구역이 존재한다는 점, 그리고 LIDAR는 단거리만 탐지 가능하다는 등의 단점이 존재한다. 따라서, 본 연구에서는 기존 장비들의 단점을 보완하고 무인선에 적용하기 위해 카메라의 영상 정보를 기반으로 한 선박 주변의 장애물 인지 기술을 개발하였다. 주변 장애물 인지 기술은 크게 탐지 (detection), 위치 예측 (localization), 추적 (tracking)의 3가지 부분으로 나눌 수 있다. 먼저, 탐지는 주어진 영상에서 장애물의 위치를 파악하는 것으로, 최근 컴퓨터 비전 분야에서 널리 쓰이고 있는 CNN (Convolutional Neural Network)을 기반으로 한 딥 러닝 모델을 구축하였다. 딥 러닝 모델을 학습 및 검증하기 위해 공개된 선박 이미지 데이터 셋 및 실제 촬영된 영상 데이터를 활용하였다. 위치 예측에서는 앞서 탐지된 영상 내 장애물의 위치를 실제 공간 상의 좌표로 변환한다. 이를 위해 영상 내의 수평선의 위치를 CNN 기반 딥 러닝 모델을 통해 탐지하고, 장애물의 위치와 카메라 모델 정보를 통해 장애물의 자선으로부터 떨어진 거리와 방향을 계산한다. 마지막으로, 추적은 시간에 따른 장애물의 이동 경로 및 속도를 파악하는 것이다. 앞서 예측된 장애물의 위치를 바탕으로 칼만 필터 (Kalman Filter)를 활용해 타선의 이동 경로와 속도를 추적하였다. 개발된 장애물 인지 기술을 바탕으로 실제 무인선에서 촬영된 영상