회전익 항공기의 착함을 위한 이미지 기반 함정 자세 예측
An Image-based Ship Attitude Estimation Method for Helicopter Landing
Article information
Trans Abstract
Landing a helicopter on a moving ship requires accounting for the ship's attitude. However, it is not only challenging to visually assess the ship's attitude, but it also creates illusions for the pilot, increasing the risk of accidents. In this study, we propose an image-based ship attitude estimation method to assist helicopter landings. The proposed method enhances landing safety by predicting the ship's heave, pitch, and roll using only helicopter-mounted optical devices and pre-trained deep learning models, without requiring communication with the ship. To implement this approach, we generated a dataset by simulating a virtual sea environment and ship motion. Using this data, we trained deep learning models to predict the ship's attitude based solely on images. Experimental results confirm the feasibility of the proposed method, with VGG-16 demonstrating particularly effective attitude prediction under simulated conditions.
1. 서 론
해상에 위치한 함정은 파도, 바람, 조류 등의 영향으로 3축 방향의 움직임이 지속해서 일어난다. 따라서, 회전익 항공기를 안전하게 착함하기 위해선 육상 착륙과 달리 항공기의 자세뿐만 아니라 함정의 자세를 지속해서 파악해야 한다. 그러나 항공기 내부 구조로 인해 조종사의 시야가 제한돼 함정의 움직임을 파악하는 것이 어렵다. 또한, 이러한 움직임은 조종사의 비행착각을 유발하여 항공기 자세를 올바르게 유지하기 어렵게 만들어 심한 경우 추락사고 등 안전사고로 이어지게 된다[1]. 비행착각에 빠지는 것을 방지하기 위해 조종사들은 함정의 운동을 무시한 채 수평선을 바라보거나 함정에 설치된 Horizon Reference Bar(HRB)를 참조하여 함정에 접근하고, 함정 요원의 수신호에 따라 착함을 시도한다. 그러나 시정이 불량한 경우 수평선을 식별하기 어렵고, HRB 또한 함정의 3차원 운동을 2차원으로 표시하기 때문에 정확한 함정의 자세를 파악하는 것이 제한된다. 안전한 착함을 위해 함정의 자세 정보를 항공기에 제공하는 방법을 고려해 볼 수 있으나 통신 지연으로 인해 함정의 자세를 실시간으로 파악하기 어렵고 항공기와 함정 간 체계 연동성의 문제로 별도의 추가 장치가 필요할 뿐만 아니라 적이 전자전 공격을 할 경우에는 이를 사용할 수 없으므로 항공기 독자적으로 함정의 자세를 파악하는 독립적인 시스템을 갖추어야 한다.
광학장비 기반의 회전익 항공기 착륙 보조에 관한 연구는 크게 육상과 해상으로 나눌 수 있다. 육상 착륙에 관한 연구는 주로 착륙장의 위치를 정확히 탐지하거나[2-3] 착륙장의 평탄도를 추정하는데[4] 초점을 두고 있다. 반면, 해상 착함에 관한 연구는 크게 세 가지로 구분된다. 첫째, 기울어진 비행갑판 이미지를 평면으로 보정하여 인식하는 연구[5-7], 둘째, 함정으로 접근하는 최적의 비행경로를 결정하는 연구[8], 셋째, 광학장비를 이용해 함정의 자세를 예측하는 연구[5,9]이다. [9]에서는 함정과 항공기 간 기하학적 모델과 칼만 필터를 이용해 함정의 자세를 예측하는 방법을 제시했으나 실제 이미지 인식 과정 없이 참조점의 좌표를 정확히 획득했다는 가정하에 함정의 자세를 예측했고, 통계적 해상모델에 대한 사전 정보 없이는 자세 추정이 어렵다는 제한이 있다. [5]는 광학장비로 획득한 실제 이미지로 함정의 상하 운동을 예측하였으나 이는 착함을 어렵게 만드는 주된 요인인 회전운동을 고려하지 않았다는 한계가 있다.
본 논문에서는 회전익 항공기가 광학장비를 통해 획득한 이미지로 함정의 자세를 예측하여 안전한 착함 시점을 판단할 수 있는 이미지 기반 함정 자세 예측 기법을 제안한다. 제안기법은 항공기가 착함하려는 함정의 비행갑판 형상을 광학장비로 획득한 후 미리 학습된 딥러닝 모델을 통해 함정의 자세를 예측한다. 제안기법의 구현을 위해 CAD 프로그램인 ‘Blender’를 이용하여 함정 운동을 모사한 가상환경을 구축하여 데이터셋을 구축하고 이를 이용해 합성곱 신경망(Convolutional Neural Network, CNN)이 함정의 운동 중 항공기의 착함에 큰 영향을 미치는 상하요(Heave), 종요(Pitch), 횡요(Roll)를 예측하도록 학습시켰다. 제안기법은 함정과 항공기 간 체계연동 없이 항공기에 광학장비를 구비하는 것만으로도 함정의 자세를 예측할 수 있으므로 함정에 별도의 착함 보조 장비를 설치하거나 착함 보조 요원의 운용 소요를 줄일 수 있다. 또한, 체계연동에 따른 비용을 절감할 수 있고 함정과의 정보 교환이 없으므로 적의 전자전 공격에서 자유로운 이점이 있다.
2. 함정의 운동
바다에 떠 있는 함정은 파도, 바람, 조류 등에 따라 다양한 형태로 운동하게 된다. 이를 6-자유도 운동이라고 하며 Fig. 1과 같이 운동 방향의 축을 기준으로 회전운동과 직선운동으로 구분한다.
Six types of ship motion
회전운동은 축에 따라 종요(Pitch), 횡요(Roll), 선수요(Yaw)로 구분한다. 종요는 함정의 폭 방향 축을 기준으로 회전하는 운동이다. 횡요는 함정의 함수와 함미를 이은 축을 기준으로 회전하는 운동으로, 함정의 회전운동 중 가장 크게 나타난다. 선수요는 함정의 수직 방향 축을 기준으로 회전하는 운동으로 함정이 표류 중이거나 닻을 놓고 계류 중일 경우를 제외하고는 항해 중인 함정에서 발생하는 정도가 매우 적다. 함정의 직선운동 또한 축에 따라 좌우요(Sway), 전후요(Surge), 상하요(Heave)로 구분한다. 좌우요는 종요와 동일 축 상에서 함정이 좌현 또는 우현 방향으로 움직이는 운동이며 전후요는 횡요와 동일 축 상에서 함정이 함수 또는 함미 방향으로 움직이는 운동이다. 상하요는 선수요와 동일 축 상에서 함정이 위, 아래로 움직이는 운동이다. 회전익 항공기가 착함을 시도할 때 함정은 일정한 속도로 움직이므로 상하요를 제외한 두 직선운동은 착함에 크게 영향을 주지 않는다.
3. 제안기법
제안기법은 광학장비로 획득한 함정의 비행갑판 이미지를 가지고 딥러닝을 활용해 착함에 큰 영향을 미치는 상하요, 종요, 횡요 값 예측을 목표로 한다. 착함을 시도하는 항공기가 비행갑판 위에서 정지 비행하면서 함정과 정렬한 후, 움직이는 비행갑판을 촬영하면 미리 학습된 모델을 통해 함정의 자세를 실시간으로 예측하여 함정의 운동이 어느 정도 잦아든 시점에 착함을 시도 하도록 보조할 수 있다. 제안기법은 항공기에 비행갑판을 촬영할 수 있는 광학장비를 구비하는 것만으로 함정의 자세를 예측할 수 있으므로 함정에 착함을 보조하기 위한 별도의 장비를 설치하거나 함정-항공기 간 체계연동이 불필요하며 다기능 전시기(Multi Function Display, MFD)나 전방 시현기(Head-up Display, HUD) 연동하여 확장현실을 구축할 경우 조종사는 자신의 시각 정보와 더불어 제안기법이 예측한 함정 자세 정보를 종합하여 안전하게 착함할 수 있다.
3.1 데이터셋 구축 및 전처리
비행갑판 이미지로 함정의 자세를 예측하는 딥러닝 모델을 구현하기 위해선 학습데이터가 필요하다. 그러나 실제 데이터를 획득하는 것이 제한돼 실제 환경과 유사한 가상환경을 구축하여 데이터셋을 생성하였다. 한국 해군이 운용 중인 DDH-I 구축함인 ‘광개토대왕함’을 대상으로 Fig. 2와 같이 ‘Blender’를 이용하여 모델링한 후 ‘Ocean Modifier’를 통해 4 m 이내의 파도를 구현하여 해상상태 5에서 함정의 운동을 모사하였다.
Simulated ship and sea environment
상하요, 종요, 횡요는 파도의 입사각에 따라 그 크기가 각각 달라지나 회전익 항공기의 착함 시에는 파도의 방향보다는 항공기의 안전을 고려해 풍상으로 함정이 진행하므로 세 가지 운동 중 어떠한 운동이 크게 나타날지 단정하기 어렵다. 따라서, 일반적인 회전익 항공기의 착함 제한 수치와 해상상태 관련 연구자료[10]를 참고하여 상하요는 ±1.0 m, 종요는 ±2.0°, 횡요는 ±11.0°의 범위로 설정하였다.
이렇게 운동하는 함정 위를 해수면 기준 20 m 높이에서 항공기가 착함을 위해 정지비행 중 항공기 아래에 부착된 광학장비로 비행갑판을 촬영하는 상황을 가정하여 광학장비의 일반적인 해상도인 720×720픽셀 크기의 이미지 4,000장과 그에 해당하는 상하요, 종요, 횡요 값을 저장하였다. 각각의 운동이 최대, 최소 상태일 때의 이미지는 Fig. 3과 같다.
Example images of flight deck according to ship attitude
일반적으로 함정에 회전익 항공기가 착함하는 경우, 비행갑판의 정중앙 상공에 정위치 한 후 항공기의 자세를 수평으로 유지한 하버링(수평 정지비행) 상태에서 착함을 시도한다. 따라서 항공기의 자세는 수평을 유지한다는 가정하에 광학장비의 각도 오차는 고려하지 않았다. 또한, 안전한 착함을 위해 비행갑판은 평탄하게 설계 돼있고 착함에 방해되는 구조물은 착함 시에는 모두 제거되므로 이러한 요소들에 의한 비행갑판 패턴 변화에 따른 영상 오차는 고려하지 않았다.
추가로 효율적인 신경망 학습을 위해 Fig. 4와 같이 이미지 전처리 과정을 수행하였다. 먼저, 이미지의 크기를 500×500픽셀 크기의 해상도로 축소하였다. 비행갑판의 색상은 함정의 자세를 파악하는 데 크게 영향을 미치지 않을 것이라는 판단과 광원의 위치 및 세기에 따른 오차를 방지 하기 위해 비행갑판의 흰색 표시선과 회색의 갑판이 잘 구분되도록 흑백 이미지로 변환하였다. 마지막으로 Min-Max 정규화를 통해 픽셀값의 범위를 [0, 1]로 제한하여 신경망 학습이 원활하고 빠르게 이루어지도록 하였다.
Image pre-processing of the proposed method
3.2 신경망 구성
본 연구에서는 비행갑판 이미지를 통한 함정 자세 예측을 수행하기 위해 사전 학습된 다양한 CNN 모델을 사용하였다. CNN 모델은 이미지 인식 및 분류, 객체 탐지 등에 효과적인 딥러닝 모델로 Convolution layer, Pooling, Fully Connected Layer를 사용해 이미지의 특징을 효과적으로 추출한다.
VGGNet[11]은 Visual Geometry Group(VGG) 팀이 2014년에 개발한 심층 신경망으로 간단한 구조를 가지면서도 신경망을 매우 깊게 구성하여 높은 이미지 인식 성능을 달성하였다. VGGNet의 모든 Convolution Layer는 3×3 필터를 사용하며, Max Pooling Layer는 2×2 필터를 사용한다. 신경망을 구성하는 층(Layer)의 깊이에 따라 VGG-16과 VGG-19로 구분하며, 이러한 깊은 신경망 구조는 더 많은 매개변수를 학습할 수 있게 해주어 더 복잡한 이미지 특징을 추출하는 데 도움을 준다. VGGNet은 ImageNet 데이터셋에서 높은 성능을 기록하였으며 신경망의 구조가 깊어질수록 성능이 향상됨을 보여주었다. 하지만 깊은 구조로 인해 학습과 예측 시 많은 계산 자원을 요구한다.
ResNet[12]은 2015년에 개발된 심층 신경망 모델로, 기존 심층 신경망 학습을 어렵게 하는 기울기 소실 문제를 해결하고자 설계되었다. 이를 위해 ResNet은 잔차 학습(Residual Learning)을 도입하였다. 잔차 학습은 각 층이 원하는 출력을 학습하는 대신 이전 층의 출력을 입력으로 받아 그 차이를 학습하는 방식을 사용한다. 이를 통해 깊은 신경망 구조에서도 기울기 소실 문제를 해소할 수 있다.
Inception[13]은 구글에서 개발한 심층 신경망 모델로, 깊은 신경망에서도 계산 효율성을 유지하는 것을 목표로 설계되었다. Inception 모듈은 1×1, 3×3, 5×5의 서로 다른 크기의 필터와 Pooling Layer를 동시에 적용하여 다양한 이미지 특징을 추출한다. 다양한 크기의 필터와 Pooling을 동시에 사용하면서도 1×1 Convolution Layer를 통해 계산 복잡도를 줄였다. 이러한 접근을 통해 신경망의 깊이와 넓이를 증가시키면서도 계산 자원을 효율적으로 사용할 수 있게 하였다.
세 가지 CNN 모델의 기본구조는 Fig. 5와 같으며 제안기법에서는 모델별로 성능이 입증된 VGG-16, VGG-19, ResNet50 V2, ResNet101 V2, ResNet152 V2, Inception V3, InceptionResNet V2를 사용하였다.
Comparison of neural network structures
한편, 이 CNN 모델들은 이미지 분류를 위해 사전 학습된 모델이기에 신경망의 마지막 층의 구조가 함정의 3종 운동의 값을 예측하는 회귀 문제에 적합하지 않다. 따라서, 제안기법의 목적에 맞게 각 신경망 모델의 말단에 Flatten Layer와 노드 3개의 Dense Layer를 추가해 회귀 문제에 사용할 수 있도록 신경망을 수정하였다.
추가로 CNN 기반 신경망들의 성능을 비교 평가하기 위해 기존 이미지 신호처리 기법과 신경망을 결합한 회귀모델을 추가로 생성하였다. 이 모델은 Fig. 6과 같이 이미지 데이터를 HSV 필터에 통과시켜 비행갑판의 흰 표시선을 추출하고 Shi-Tomasi 모서리 검출 기법[14]을 이용해 비행갑판의 네 모서리의 좌표를 획득한 후 그 값을 입력받아 다중 퍼셉트론이 함정의 자세를 예측하도록 학습하였다. 이 모델은 Dense Layer 만으로 구성된 간단한 구조를 가진다.
Processing of a comparative method
4. 실험 결과
가상환경을 통해 획득한 4,000장의 이미지 중 3,000장은 신경망을 학습하는 데 사용하고, 1,000장은 각 신경망의 예측 성능 평가에 사용하였다. 각 모델의 성능을 평가하기 위한 지표로 아래 식과 같은 평균 제곱근 오차(Root Mean Squared Error, RMSE), 평균 절대 오차(Mean Absolute Error, MAE), 결정계수(R2 Score)를 사용하였다.
여기서 y는 실제값,
Table 1은 세 가지 함정 운동에 대한 각 모델의 예측 성능과 출력값 연산에 필요한 계산량(Floating point Operation, FLOP)을 비교한 것으로 G는 백만을 뜻한다. 학습 결과, 상하요에 대하여 ResNet50 V2 모델이 MAE 0.1037, RMSE 0.1252, R2 score 0.9131로 가장 우수한 예측 성능을 보였고, 종요에 대해선 VGG-16 모델이 MAE 0.0982, RMSE 0.1286, R2 score 0.9881로 가장 우수한 예측 성능을 보였다. 학습데이터의 값의 분포가 가장 큰 횡요의 예측은 VGG-19 모델이 MAE 0.1935, RMSE 0.4998, R2 score 0.9890으로 가장 우수한 예측 성능을 보였다. 세 가지 함정 운동에 대한 종합 평균 R2 score는 VGG-16이 0.9609로 가장 우수한 예측 성능을 보였다. 예측 성능을 종합해 볼 때 전반적으로 CNN 모델들이 비교기법인 Regression 모델보다 우수한 성능을 나타내었으며 그중에서도 VGG-16 모델이 종합적으로 가장 우수한 예측 성능을 보였다.
Ship attitude prediction performance of the proposed method
Fig. 7은 VGG-16 모델의 오차 누적분포함수로 100 %의 의미는 VGG-16의 오차가 상하요 0.3 m, 종요 0.3°, 횡요 0.8° 이상 발생하지 않는다는 것을 의미한다. 상대적으로 횡요의 오차가 큰 것은 횡요 운동의 데이터의 분포가 다른 두 운동에 비해 범위가 큰 것에 기인한 것으로 운동 값 범위를 고려해 보면 착함에 가장 큰 위험 요소인 횡요를 다른 운동에 비해 더 잘 예측한다고 볼 수 있다.
Cumulative distribution function of the errors
실험 결과를 종합하면 VGG-16이 가장 우수한 성능을 보였으나, VGG-19와 ResNet50 V2 모델도 회전익 항공기의 착함 보조에 충분할 것으로 보이며, 실제 항공기에 적용할 경우를 고려하면 계산량이 적은 ResNet50 V2가 가장 적합할 것으로 판단된다.
5. 결론 및 향후 연구 계획
함정의 운동은 회전익 항공기의 착함을 어렵게 만들 뿐만 아니라 조종사의 비행착각을 유발하기 때문에 해상 착함은 고도의 조종 능력을 요구한다. 현존하는 착함 보조 기법은 어려운 환경에서 항공기의 착함을 보조하지만, 각종 제한사항이 존재한다. 본 논문에서는 딥러닝을 활용해 항공기가 보유한 광학장비로 함정의 자세를 파악하여 안전한 착함 시기를 판단할 수 있는 방법을 제안한다. 제안기법은 항공기의 광학장비로 비행갑판의 모습을 획득하고 딥러닝 모델을 통해 함정의 자세를 예측한다. 제안기법의 구현을 위해 가상환경을 구축하여 획득한 학습데이터를 이용해 다양한 CNN 신경망 모델을 학습시켰으며 실험을 통해 함정 자세 예측 성능을 분석하였다. 그 결과 VGG-16 모델이 가장 우수한 예측 성능을 보였으며 이는 회전익 항공기의 착함을 보조하는데 충분한 결과라고 판단한다. 제안기법을 활용한다면 다음의 효과를 기대할 수 있다.
(1) 함정과 항공기 간 체계연동 없이 보유한 광학장비를 통해 항공기가 자체적으로 함정의 자세를 예측하므로 체계연동에 따른 비용을 절감할 수 있다.
(2) 제안기법은 함정과의 정보 교환이 없으므로 조종사가 함정 자세를 실시간으로 파악할 수 있으며, 적의 전자전 공격에 영향을 받지 않는다.
한편, 본 연구는 회전익 항공기가 착함 전 함정의 자세를 예측하여 안전한 하강 시점을 판단한다는 가정하에 일정한 높이에서 함정 위를 하버링하며 촬영한 비행갑판 이미지로 함정 자세를 예측하였다. 그러나, 실제로 항공기의 하강이 진행되면 항공기와 함정이 가까워져 광학장비의 화각 제한으로 인해 비행갑판의 전체 모습을 촬영하지 못하므로 제안기법이 함정의 자세를 예측하지 못할 가능성이 존재한다. 따라서 향후에는 하강 비행 단계 과정에서 함정의 자세를 지속적으로 예측해 안전한 착함을 보조할 수 있는 기법을 연구하고자 한다.