J. KIMS Technol Search

CLOSE


J. KIMS Technol > Volume 25(6); 2022 > Article
딥러닝과 다양한 데이터 증강 기법을 활용한 주변국 군용기 기종 분류에 관한 연구

Abstract

The analysis of foreign aircraft appearing suddenly in air defense identification zones requires a lot of cost and time. This study aims to develop a pre-trained model that can identify neighboring military aircraft based on aircraft photographs available on the web and present a model that can determine which aircraft corresponds to based on aerial photographs taken by allies. The advantages of this model are to reduce the cost and time required for model classification by proposing a pre-trained model and to improve the performance of the classifier by data augmentation of edge-detected images, cropping, flipping and so on.

1. 서 론

한반도와 주변국을 포함한 동북아시아는 세계 최고의 병력을 보유하고 있는 군비경쟁의 각축장이다[1]. 특히 한반도 주변은 다양한 국가의 잠재적 위협 가능성이 있는 항공기가 활발하게 운용되는 지역 중 하나로 우리 군은 동북아 지역에서 활동하는 잠재적 위협 가능성이 있는 항공기를 사전에 인식, 판별할 수 있도록 분석 및 연구를 지속해 왔다. 사전 인지되지 않은 항공기가 등장할 때 이에 대한 판별은 위성 및 항공사진, 조종사 육안 등 전 출처 정·첩보를 바탕으로 이루어져 왔고 그 정확도와 소요 시간에 대한 개선은 끊임없이 요구되어왔다.
하지만 긴급한 상황에서 육안에만 의존하여 판단하는 상황의 경우 조종사와 분석관들은 매년 새롭게 나타나는 최신 기종에 대한 정보 부족과 군용기의 위장패턴, 낮은 화질의 영상이나 사진으로 인해 정확한 판별에 어려움을 겪어 왔다. 이에 방공식별구역에 나타나는 미식별 항공기에 대한 빠른 분석과 판별에 대한 요구가 증가하고 있지만, 국방 분야의 여러 제약으로 인해 원활한 연구가 이어지지 못하고 있다. 특히, 군 내 무거운 딥러닝 모델 구동이 가능한 컴퓨팅 자원을 구축하고 있는 곳은 제한적이다.
따라서, 본 연구에서는 군용기 촬영 영상을 바탕으로 정확도(Accuracy) 80 % 이상이면서 작은 컴퓨팅 자원으로도 활용이 가능한 증강 기법을 분류 모델에 적용하여 성능 분석을 진행했다. 먼저, 분류기의 성능을 극대화하기 위해서 이미지 데이터 증강 기법을 사용하였다. 기존의 증강(Augmentation) 기법은 회전(Rotation), 자르기(Cropping), 반전(Flipping)이 주로 활용되어왔다[2]. 그러나 군용기의 경우 위장패턴이 모델의 학습에 노이즈가 될 수 있다는 점에 착안, 본 연구에서는 위장패턴에 대한 노이즈는 회피하고 모델이 이미지 객체(Object)의 외형에 더욱 집중할 수 있도록 원천 이미지에 외형 검출 이미지를 증강하는 기법을 제안한다. 또한 이미지 분류 문제에서 널리 쓰이는 회전, 자름, 반전, 지터링(Jittering) 등의 증강 기법을 다양하게 조합하여 군용기 분류에 적합할 만한 다양한 데이터 증강 기법을 여러 조건에서 탐색했다. 기존의 연구에서는 무인기의 움직임을 RADAR-Spectrogram으로 인지하여 CNN 기반의 ResNet 모델로 분석하여 기종을 판별[3]하거나 딥러닝을 활용한 다국적 군함 탐지 및 분류모형에 대한 연구[4]는 진행되었지만 촬영된 항공사진을 바탕으로 즉각적으로 해당 항공기의 기종을 판별하거나 항공기 이미지의 Edge Detection 이미지를 데이터 증강 기법에 활용한 연구는 수행된 바 없다.
본 연구에서는 KADIZ(한국방공식별구역)에 미식별 항공기가 출연하여 아군기가 긴급출동한 상황에서 항공촬영을 통한 미식별 항공기의 기종 판별을 할 수 있는 분류기에 관한 연구를 수행하였다. 이를 위해 항공기 분류를 위한 사전훈련(Pre-trained) 모델을 구축하고자 하였고, 이미지 분류의 백본 네트워크는 ILSVRC 2015 우승 모델인 CNN 기반의 깊은(Deep) 가중치 층(Layers)을 가지는 Residual Network(ResNet)[5]와 작은 모델과 적은 연산량으로 많은 벤치마크(Berchmark) 데이터셋에서 우수한 성능을 보인 EfficientNet[6]을 채택하여 비교 분석하였다. 또한 원본 컬러 이미지에 외형 검출(Edge Detection)을 비롯한 다양한 증강 기법을 적용하였을 때 분류기의 성능이 향상되는지 검증하기 위한 벤치마크 데이터셋으로 Fine-grained Visual Categorization(FGVC) Aircraft 데이터셋을 활용하였으며 최종적으로 웹에서 크롤링한 주변국 군용기 14개 기종에 대한 분류 실험을 수행하였다. 외형 검출 모델은 ′21년 7월 기준 벤치마크 데이터셋 BIPED에 대한 State-of-the-art 모델인 DexiNed[7]를 채택하여 사용하였다.

2. 관련 연구

2.1 Edge Detection

Object에 대한 윤곽선은 이미지의 맥락적 구분(Semantic Segmentation)이나 이미지 분류에서 중요한 역할을 한다. 하지만 윤곽선의 추출은 특히 윤곽선이 불완전하거나 폐쇄되지 않은 때에는 어려운 작업이다[8]. 그러나 윤곽선을 추출하기 위한 기술적 접근에 관한 연구가 다수 진행되어왔다. 이미지 윤곽선 처리를 위한 기술적 접근은 1) Low Level Feature, 2) Brain- biologically Inspiration, 3) Classical Machine Learning Algorithms, 4) Deep Learning Algorithms로 분류할 수 있다[9]. 본 연구에서 활용한 외형 검출(Edge Detection) 모델인 DexiNed는 입력 이미지를 받아 동일 해상도를 가지는 Edge-map을 예측하는 학습된 다층 필터들로 구성되어 있으며 Up-sampling Block을 거칠 때마다 배경은 무시하고 더 구분이 뚜렷한 객체의 윤곽선을 검출해낸다.

2.2 Image Data Augmentation

이미지 데이터 증강 기법은 제한된 이미지 데이터셋의 크기를 극복하면서 과적합(Over-fitting)을 방지하고자 하는 목적으로 이미지 대칭/회전, RGB 데이터 조정을 통한 색 조정 효과, 자르기 등의 간단한 변환부터 생성 모델링에 의해 생성한 가짜 이미지 증강(GAN-based Data Augmentation), 이미지의 일부 가리기(Masking), 이미지를 구획하고 구획 별로 섞기(Mixing), 이미지의 기하학적 변환 등의 기법들이 있다. 각각의 기법은 이미지 데이터의 특성에 따라 작동 효율이 다르며 이와 같은 이유로 사용자가 분석하고자 하는 이미지 데이터셋의 특징에 따라 이미지 데이터 증강 기법을 선택해야 한다. 예를 들면 동물의 종을 분류하는 모델에서 데이터 증강 기법으로 자르기를 사용하면 코끼리의 다리, 코, 몸통 등으로 이미지 데이터가 잘려 증강되므로 해당 모델은 잘 작동하지 않을 것이다. 최근 분류 문제 해결을 위한 이미지 데이터 증강 기법은 GAN-based Data Augmentation 기법이 빠른 계산 속도와 높은 분류 정확도로 인해 주목받고 있다[2].
본 연구에서 연구할 항공기 기종 분류 문제의 경우, 하늘과 같은 비교적 단색의 배경에, 분류해야 할 대상이 객체의 외형이 명확하고, 분류할 항공기가 위장패턴을 가지고 있을 수 있으므로 기존의 데이터 증강 기법보다는 외형 검출한 이미지를 증강함으로써 모델 성능을 높일 수 있다고 판단하였다.

2.3 Image Classification

라벨이 있는 이미지를 해당 라벨로 올바르게 예측하는 분류 모델의 구축 문제는 컴퓨터 비전의 주요 이슈 중 하나이다. 사람은 특정 물체를 보고 해당 물체를 분류할 수 있지만 컴퓨터에게는 0과 255사이의 숫자로 보이기 때문에 매우 어려운 문제이다. 이 차이는 사람과 컴퓨터의 사물을 보는 방식의 차이에서 온다. 해당 물체를 관측한 위치, 빛, 해당 물체의 포즈(Pose), 장애물에 의한 가림, 물체의 세부 분류에 따라 컴퓨터에는 해당 물체가 상당히 다르게 인식된다.
이미지를 데이터로 인식하는 컴퓨터의 특성상 물체의 인식과 관련 있는 물체의 특성뿐 아니라 RGB 채널 별로 보유하고 있는 색의 정보, 배경 등에도 큰 영향을 받는다. 즉, 이미지 데이터의 가장 작은 구성요소인 픽셀(Pixel)은 물체의 특징에 대한 표현도 있지만 불필요한 정보까지 표현한다. 따라서 어떻게 이미지를 올바른 인식과 관련 있는 특징으로 요약할 수 있을지에 관한 기계학습(Machine Learning) 방법론이 표현론적 학습(Representation Learning)이며, 이것이 이미지 분류를 위한 딥러닝의 핵심 아이디어이다[10].

3. 제안하는 방법

3.1 학습 모델

3.1.1 ResNet

ResNet[5]은 인공신경망의 Layer가 더 깊어져도 더 좋은 성능을 얻지 못하는 이유였던 기울기 소실(Gradient Vanishing) 문제를 해결하기 위한 모델로 블록을 통과할 때마다 블록 통과 전 데이터의 특성(Identity) 소실을 막기 위해 1번의 합성곱 층(Convolution Layer)을 통과할 때마다 블록 통과 후 데이터에 블록 통과 전 데이터를 더한다. 기존 딥러닝 신경망의 목적이 Input x를 Target y로 매핑(mapping)하는 함수 H(x)를 얻는 것이었다면 ResNet은 F(x) + x를 최소화하는 데 목적이 있다. 여기서 x는 상수이므로 결론적으로 F(x)를 최소화하는 것과 같다. 따라서, H(x) = F(x) + x 이면 F(x) = H(x) - x 이므로 결국 H(x) - x 를 최소로 만들어 주는 것과 같으며 이를 잔차(Residual)라고 부르기 때문에 ResNet으로 명명되었다. 본 연구에서는 신속한 군용기 식별을 목표로 하였기 때문에 널리 알려진 분류 모델 중에서 비교적 작은 모델 크기와 적은 연산량을 가지면서 준수한 성능[11]을 보이는 ResNet_50을 비교 대상 분류기 네트워크 중 하나로 채택했다.

3.1.2 EfficientNet

최근 모델의 성능을 높이기 위해 네트워크의 깊이(Depth)를 깊게 만들거나[5], 필터(Filter)의 개수(Channel Width)[12]를 늘리거나, 입력 이미지(Input Image)의 해상도(Resolution)를 높이는 방법들이 다양하게 연구되고 있다. EfficientNet[6]은 네트워크 깊이, 채널 개수, 입력 이미지 해상도를 시스템적으로 모델 스케일링(Model Scaling)하여 제한된 자원으로 더 효율적인 네트워크를 디자인하였다. EfficientNet의 파생형 중 하나인 EfficientNet_B0의 경우에는 ILSVRC 2015[13]의 데이터셋에서 ResNet_50과 비교하여 약 1/5 수준의 훈련 파라미터(Trainable Parameters)만 가지면서도 비슷한 수준의 분류 성능을 보인 바 있다. 본 연구에서는 EfficientNet 파생형 중 ResNet_50과 비슷한 연산량(FLOPs)을 가지는 EfficientNet_B4를 비교 대상 분류기 네트워크로 채택하여 ResNet_50과 실험 및 비교 분석하였다.

3.1.3 모델 비교

’22년 11월 10일 현재 Papers With Code 홈페이지 리더보드(Leader Board)의 FGVC Aircraft 데이터셋 State-of-the-art 모델[14]의 네트워크는 Inceptionv4 모델[15]이다. 그러나 Inceptionv4는 본 연구진의 컴퓨팅 자원(4.2. 부문 참조)으로 구동하기엔 너무 무겁고(Trainable Parameters 기준) 복잡하여(FLOPs 기준) 가벼운 모델을 구축하고자 하는 기존의 목적과 부합하지 않아 비교 대상 모델에서 제외하였다. 입력 이미지의 채널과 해상도를 3×299×299(C×W×H)로 가정하고 본 연구에서 채택한 분류기 모델들과 Inceptionv4를 비교 및 요약하면 Table 1과 같다.
Table 1.
Our image classifiers summary
구분 #Params #FLOPs
ResNet_50 23.71M 7.69B
EfficientNet_B4 17.73M 9.97B
Inceptionv4 127.29M 26.67B

3.2 데이터 수집 및 전처리

3.2.1 데이터셋 구성

실험을 위해 FGVC Aircraft 데이터셋과 Military Aircraft로 이루어진 자체 확보 데이터셋을 각각 구축하였다. 학습 데이터셋(Train Dataset):검증 데이터셋(Validation Dataset):시험 데이터셋(Test Dataset)은 각각 6:2:2로 분리하였다.

3.2.2 FGVC Aircraft 데이터셋(벤치마크)

FGVC는 세계 3대 컴퓨터 비전 분야 학술대회로 꼽히는 Computer Vision and Pattern Recognition(CVPR)에서 2011년 조직한 이미지 분류에 대한 컴퓨팅 기술 발전을 위한 워크숍으로 Aircraft, Stanford Dogs 등 8종의 데이터셋을 제공하고 있다. FGVC 데이터셋 중 세부 데이터셋인 FGVC Aircraft 데이터셋[16]을 본 논문에서는 제안한 방법론을 검증하기 위한 벤치마크 데이터셋으로 활용하였다.
FGVC Aircraft 데이터셋은 A310, B737-200 등 100개의 클래스가 있으며 클래스마다 100장의 항공기 이미지가 있다. 이미지의 총수는 10,000장이다.

3.2.3 Military Aircraft 데이터셋(자체 확보)

주변국 군용기의 기종별 이미지 데이터를 확보하고자 구글(Google.com) 및 빙(Bing.com)등의 검색엔진에서 웹 크롤링(Web Crawling)을 수행하여 한국과 미국의 운용 기종에 대해서는 다수의 이미지를 확보하였다. 하지만 주변국인 중국과 러시아의 운용 기종에 대해서는 기종 정보에 대한 정확도를 신뢰하기 힘들었으며 확보한 이미지 데이터의 양도 한·미 기종에 비해 현저히 적어 데이터 불균형(Data Imbalance)의 문제가 발생하였다. 따라서 한·미에서 운용 중이면서 신뢰도 높은 이미지가 다수 확보된 총 14개 기종을 대상으로 연구를 진행했다. 연구가 진행된 해당 기종은 Table 2와 같다.
Table 2.
Types of military aircraft
공격기(2종) 폭격기(2종) 전투기(7종) 다목적기(3종)
A-10
FA-50
B-1
B-2
F-4
F-5
F-15 C-130
F-16 E-737
F-18 KC-330
F-22
F-35
본 연구에서 자체 확보한 Military Aircraft 데이터셋은 총 14개의 클래스로 이루어져 있고 클래스별 이미지의 수는 260개이며 이미지의 총수는 3,640장이다.

3.3 증강 기법 적용

이하 본 연구에서 base는 원본 데이터셋을 뜻하고, edge는 DexiNed로 검출한 데이터셋을 증강했음을 뜻한다. flip은 좌우대칭 또는 상하대칭하여 증강했음을 뜻한다. crop은 입력 이미지를 임의의 크기로 잘라낸 뒤 다시 224×224 크기로 조정(Resize)했음을 뜻한다. jitt은 torchvision.transforms.ColorJitter 모듈을 이용하여 해당 모듈 적용조건(Args) 중 brightness는 0.2, contrast 는 0.2, saturation은 0.2, hue는 0.2로 이미지를 지터링(Jittering)하였음을 뜻한다(Table 3 참조). 증강 기법은 원본만 사용한 경우부터 모든 증강 기법을 적용한 경우까지 총 16가지 조합으로 구분하였으며 세부 내용은 Table 4와 같다.
Table 3.
Image sample and result of augmentation samples on military aircraft dataset
kimst-25-6-572t3.jpg
Table 4.
Combination of augmentation
구분 적용 증강 기법
01 None(Use only the base)
02 edge
03 flip
04 crop
05 jitt
06 edge + flip
07 edge + crop
08 edge + jitt
09 flip + crop
10 flip + jitt
11 crop + jitt
12 edge + flip + crop
13 edge + flip + jitt
14 edge + crop + jitt
15 flip + crop + jitt
16 edge + flip + crop + jitt
본 연구진은 각각의 증강 기법이 모델에 서로 다른 영향을 줄 것으로 생각했는데, 증강 기법 ‘edge’로는 객체의 외형을 집중하고 군용기의 위장패턴 노이즈를 회피할 것으로, 증강 기법 ‘flip’으로는 동일 기종 항공기의 다양한 자세(Pose)에 대한 학습을, ‘crop’은 다양한 항공기 촬영 거리 조건을, ‘jitt’은 촬영 조건에 따른 이미지 색감에 관한 노이즈를 회피하게 하는 역할을 할 것으로 예상했다. 또한, 증강 기법을 복합적으로 사용할수록 실제로는 존재하지 않는 데이터에 대한 정보를 모델이 학습할 수 있으므로 시험 데이터에 대해 더 좋은 성능을 보일 것으로 기대했다.

3.4 목적함수(Objective function)

목적함수 loss는 Cross Entropy Loss이며 (1)과 같이 정의할 수 있다.
(1)
lossmin=1ni=1nc=1CLiclog(Pic)
이때, n은 데이터 개수, C는 클래스 개수, L은 레이블별로 0 또는 1을 가지는 정답 값, P는 모델이 계산한 레이블별 예측값으로, 레이블별 정답일 가능성을 0부터 1까지로 계산한다.

4. 실험 설계

4.1 실험의 구조

실험은 데이터셋 구축, 다양한 조합의 데이터 증강 기법 적용, 모델 학습, 모델 평가 순으로 진행했다. 2개의 데이터셋(FGVC Aircraft, Military Aircraft), 2개의 모델(ResNet_50, EfficientNet_B4), 4개 종류의 데이터 증강 기법(Table 3 참조)을 다양하게 조합하여 비교 분석하였다. 증강 기법 조합의 경우는 4.2에 자세히 기술하였다. 모델의 훈련은 분류-손실계산-학습-검증을 1회(Epoch)로 하여 손실(Loss) 값이 수렴할 때까지 FGVC Aircraft 데이터셋은 30회(Epochs), Miilitary Aircraft 데이터셋은 100회(Epochs) 반복한 뒤에 시험하였다.

4.2 실험조건

효율적인 자원 관리를 위해 이미지 해상도를 224× 224로 조정(Resize)하였다. 안정적이고 빠른 학습을 위하여 모델에 입력하기 전에 전체 데이터셋의 평균과 표준편차로 정규화를 수행하였다. 실험에 사용한 하드웨어의 CPU는 AMD EPYC 7281, GPU는 Quadro RTX 5000, OS는 Linux 16.04 -Ubuntu를 사용했다. 소프트웨어 도구는 Table 5와 같다. 데이터 증강 기법에 사용한 라이브러리와 모듈은 torchvision의 transforms이다.
Table 5.
Software details
구분 버전
Python 3.8.8
conda 22.9.0
Pillow 8.4.0
opencv-python 4.5.5.62
torch 1.12.1
torchvision 0.13.1
matplotlib 3.6.2
Batch Size는 8, Optimizer는 Adam, 학습률 스케줄러(Learning Rate Scheduler)는 ReduceLROnPlateau(mode = ‘min’, factor = 0.5, patience = 10)를 사용했고 시작 학습률(Start Learning Rate)은 10-3이다.

5. 실험 결과

5.1 평가지표

본 연구는 이미지 분류 문제이며 클래스별 데이터의 수량이 일정하므로 평가지표로 정확도(Accuracy)를 채택했다. 정확도는 (2)와 같이 정의할 수 있다.
(2)
ACC=CN×100
이때, N은 시험 이미지 데이터의 총수이며, C는 예측값이 정답 레이블을 맞춘 경우의 총수이다. 또한, 본 연구는 같은 종류의 도메인 클래스에서 세부 종을 구분하는 분류(Fine-grained Visual Classification) 문제이므로 모델이 정답 레이블을 완벽하게 맞히었을 때의 ACC인 Top-1 ACC과 모델이 정상 레이블일 가능성이 크다고 예측한 5개의 레이블 중 정답이 있었을 때의 ACC인 Top-5 ACC을 모두 산출하였다. 예를 들면 FGVC Aircraft 데이터셋에는 Airbus사 A340 계열의 A340-200, A340-300, A340-500, A340-600 클래스가 각기 존재하기 때문에 TOP-5 ACC도 모델의 성능 판단 및 분석에 의미가 있다. 본 연구의 ACC 단위는 백분율(%)이다.

5.2 실험 결과 분석

5.2.1 결과 요약

성능 평가표(Table 6)를 보면, 모델과 데이터셋의 종류와 관계없이 데이터 증강 기법을 사용하면 모든 경우에서 분류 정확도가 향상되었음을 관측할 수 있다. 또한, 전반적으로 단일 종류의 데이터 증강 기법을 사용했을 때보다, 증강 기법을 복합적으로 적용하였을 때 분류가 더욱 정확해지는 경향을 보였다. 특히, 모든 증강 기법을 복합하여 적용한 조합은 모델과 데이터셋에 관계없이 Top-1 ACC가 가장 높았다.
Table 6.
Evaluation table
적용 증강 기법 FGVC Aircraft(100 Classes) Mil Aircraft(14 Classes)
Top-1 ACC Top-5 ACC Top-1 ACC Top-5 ACC
ResN EffiN ResN EffiN ResN EffiN ResN EffiN
None(Use only the base) 75.3% 77.3% 92.2% 94.2% 69.4% 72.3% 77.8% 92.7%
edge 74.2% 80.8% 91.9% 94.8% 71.4% 74.7% 81.8% 94.5%
flip 77.8% 82.6% 92.2% 95.5% 70.7% 62.5% 85.8% 89.0%
crop 73.8% 81.4% 91.2% 95.1% 71.0% 72.9% 92.7% 93.5%
jitt 73.6% 75.5% 90.6% 93.1% 70.4% 78.1% 92.3% 95.0%
소계(평균) 74.8% 80.0% 91.5% 94.6% 70.8% 72.0% 88.1% 93.0%
edge + flip 77.0% 80.6% 91.9% 94.6% 70.7% 78.7% 93.9% 93.8%
edge + crop 76.3% 81.7% 91.7% 94.3% 74.0% 80.6% 93.5% 93.8%
edge + jitt 73.9% 82.9% 89.9% 94.8% 71.7% 73.7% 93.9% 92.3%
flip + crop 74.0% 83.6% 92.9% 95.5% 77.6% 81.4% 94.7% 96.1%
flip + jitt 79.3% 82.7% 93.8% 95.2% 73.9% 61.4% 94.6% 83.5%
crop + jitt 77.5% 79.7% 94.2% 95.0% 73.7% 81.0% 93.1% 94.6%
소계(평균) 76.3% 81.8% 92.4% 94.9% 73.6% 76.1% 93.9% 92.3%
edge + flip + crop 81.0% 85.7% 94.2% 96.0% 76.6% 84.2% 94.3% 96.7%
edge + flip + jitt 78.7% 85.9% 93.3% 95.4% 74.0% 78.0% 92.5% 93.9%
edge + crop + jitt 77.9% 83.7% 92.1% 95.3% 72.1% 81.3% 84.0% 96.1%
flip + crop + jitt 78.2% 82.1% 94.0% 94.8% 77.1% 82.6% 94.3% 96.5%
소계(평균) 78.9% 84.3% 93.4% 95.3% 74.9% 81.5% 91.2% 95.8%
edge + flip + crop + jitt 80.2% 85.1% 94.7% 96.1% 78.5% 85.1% 94.6% 96.0%
모델 측면에선 EfficientNet_B4[6]가 ResNet_50[5]보다 전반적으로 분류 성능이 우수하였다. 거의 모든 조건과 경우에서 더 작은 모델(Table 1 참조)임에도 불구 하고 EfficientNet_B4가 더 앞섰다.

5.2.2 결과 분석

원천 이미지만으로 학습했을 때보다 증강 기법을 적용하여 학습했을 때 모델의 분류 성능이 향상되는 것은 증강 기법을 적용함으로써 과적합(Over-fitting)을 예방할 뿐만 아니라, 원천 데이터에는 없는 정보를 모델이 학습할 수 있게 되었기 때문이라고 유추할 수 있다. 다만, 어떤 특정 증강 기법이 모델의 항공기 또는 군용기 분류 성능에 특별히 강력하다고 할 만한 근거는 찾기 어려웠다. 그러나, 증강 기법을 더 많이 도입할수록 분류 성능이 다소 향상되었음을 확인할 수 있었다. 따라서, 실무적으로 딥러닝 군용기 분류 모델을 개발한다면 다양한 증강 기법을 복합 적용해야 할 것으로 보인다.
모델 측면에서, 항공기를 본 연구보다 더 정확하게 분류하는 모델은 있을 수 있으나 작고 빠르면서 준수한 성능을 내는 모델은 제한적으로만 존재할 것이다. 본 연구에서도 ResNet_50이 EfficientNet_B4보다 연산량은 다소 적지만 더 크고 무거운 모델임에도 불구하고 성능은 EfficientNet_B4가 앞섰다. 따라서, 제한된 시간과 컴퓨팅 자원을 가지고 모델을 개발해야 한다면, 적당한 크기와 복잡성을 가지면서 준수한 성능을 내는 모델을 적절히 선택하고 다양한 증강 기법을 적용하여 모델을 개발할 필요가 있겠다.

5.3 실험의 한계

본 연구에서 적용한 분류기 딥러닝 네트워크는 ResNet_50과 EfficientNet_B4이다. 해당 모델을 선정한 이유는 공중 상황에서 실시간으로 신속하게 촬영된 미식별기를 분류하려면 작은 모델 크기와 적은 연산량만으로 항공기 분류해야 함을 전제로 했기 때문이다. 하지만 최근 컴퓨터 비전 딥러닝 네트워크에선 컴퓨팅 하드웨어의 빠른 발전에 발맞추어 더 크고 복잡한 모델들이 등장하고 있다. 학술적으로, 본 연구의 데이터셋에 대해 더 뛰어난 분류가 가능한 모델이 있을 수 있다. 다만, 본 연구의 핵심적인 기여는 항공기 분류를 가장 잘 수행하는 모델의 발견 또는 개발보다는 적절한 데이터 증강 기법을 적용하여 개발된 사전 훈련(Pre-trained)모델이라면 제한된 컴퓨팅 자원으로도 필요한 수준 이상의 성능을 낼 수 있다는 점을 제안한 데 있다.
본 연구의 자체 확보(Custom) 데이터셋인 Military Aircraft의 경우 전문적인 데이터 확보 인력과 노하우(Know-how)로 구축한 데이터셋이 아닌 만큼 데이터셋의 품질과 신뢰도에 개선이 가능한 부분이 있을 수 있다. 특히, 한국과 미국뿐 아니라 중국, 러시아, 일본을 비롯하여 태평양 일대의 모든 군용기 기종에 대한 충분한 이미지 데이터를 확보한다면 더 정교한 군용기 분류 딥러닝 모델 개발이 가능할 것이다.

6. 결 론

본 연구는 이미지 딥러닝 알고리즘 기반의 주변국 군용기 분류 모델을 구축하고자 하였고 모델의 성능을 높이는 방법으로 기존의 이미지 증강 기법뿐 아니라 외형 검출(edge) 기법을 제시하였으며 복합적인 데이터 증강 기법이 유효함을 보였다.
외형 검출(Edge Detection) 모델로는 DexiNed를 활용했고, 분류(Classification) 모델로는 ResNet_50, EfficientNet_B4를 채택하여 비교 분석했다. 실험 데이터셋은 벤치마크 데이터셋인 FGVC Aircraft와 자체적으로 웹에서 크롤링한 주변국 군용기 이미지인 Military Aircraft 데이터셋을 사용했다.
결론적으로 증강 기법을 복합적으로 사용하면 모델과 관계없이 전반적인 모델의 분류 성능이 향상됨을 확인하였고 특히, EfficientNet_B4는 ResNet_50보다 모델의 크기는 작고 연산량은 비슷하지만, 더 우수한 성능을 보였다.
본 연구의 핵심적인 기여는 분류 대상 이미지의 윤곽선을 검출한 외형 이미지(Edge)와 추가적인 데이터 증강 기법을 통해 군용기 자동 분류 모델 성능을 개선한 데 있다. 본 연구를 바탕으로, 향후 충분한 컴퓨팅 자원과 필요한 만큼의 주변국 군용기 이미지 데이터를 확보한다면 더 높은 신뢰도를 가지는 군용기 자동 분류 딥러닝 모델을 구축할 수 있을 것이다.

References

[1]. Daeki Kim, and Youngse Mun, "An Evaluation on the Military Force in Neighboring Countries of Korea," KJPAE, Vol. 16(1):pp. 139–65, 2006.

[2]. Connor Shorten, and Taghi M. Khoshgoftaar, "A Survey on Image Data Augementation for Deep Learning," Journal of Big Data, Vol. 6, Article Number 60. 2019.
pmid pmc
[3]. Dongsuk Park, Seungeui Lee, SeongUk Park, and Nojun Kwak, "Radar-Spectrogram-Based UAV Classification Using Convolutional Neural Networks," MDPI Sensors, Vol. 21(1):pp. 210–227, 2021.
crossref
[4]. Jeonghwan Kim, Jinyoung Park, and Hoseok Moon, "The Study on the Model for Detection and Classification of Multinational Warship Using Deep Learning," Journal of the Military Operations Research Society of Korea, Vol. 46(2):pp. 73–83, 2020.

[5]. Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun, Deep Residual Learning for Image Recognition, arXiv:1512.03385. 2015.

[6]. Mingxing Tan, and Quoc V. Le, EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks, arXiv:1905.11946. 2019.

[7]. Xavier Soria, Edgar Riba, and Angel Sappa, Dense Extreme Inception Network: Towards a Robust CNN Model for Edge Detection, arXiv:1909.01955. 2020.

[8]. Salem Saleh Al-Amri, N. V. Kalyankar, and S. D. Khamitkar, "Image Segmentation by Using Edge Detection," International Journal on Computer Science and Engineering, Vol. 2.3, pp. 804–807, 2010.

[9]. X.-Y. Gong, H. Su, D. Xu, Z.-T. Zhang, F. Shen, and H.-B. Yang, "An Overview of Contour Detection Approaches," International Journal of Automation and Computing, Vol. 15, pp. 656–672, 2018.
crossref pdf
[10]. Yoshua Bengio, Aaron Courville, and Pascal Vincent, "Representation Learning: A Review and New Perspectives," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 35.8, pp. 1798–1828, 2013.
crossref
[11]. Myeongsuk Pak, and Sanghoon Kim, A Review of Deep Learning in Image Recognition, 2017 4th International Conference on Computer Applications and Information Processing Technology(CAIPT). pp. 1–3, 2017.

[12]. Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, and Hartwig Adam, MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications, arXiv:1704.04861. 2017.

[13]. Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, Alexander C. Berg, and Li Fei-Fei, "ImageNet Large Scale Visual Recognition Challenge," International Journal of Computer Vision, Vol. Volume 115, pp. 211–252, 2015.
crossref pdf
[14]. Jo Plested, Xuyang Shen, and Tom Gedeon, Rethinking Binary Hyperparameters for Deep Transfer Learning for Image Classification, arXiv: 2107.08585v2. 2021.

[15]. Christian Szegedy, Sergey Ioffe, Vincent Vanhoucke, and Alex Alemi, Inceptionv4, Inception-ResNet and the Impact of Residual Connections on Learning, arXiv:1602.07261. 2016.

[16]. Subhransu Maji, Esa Rahtu, Juho Kannala, Matthew Blaschko, and Andrea Vedaldi, Fine-Grained Visual Classification of Aircraft, arXiv:1306.5151. 2013.



ABOUT
ARTICLE CATEGORY

Browse all articles >

BROWSE ARTICLES
FOR CONTRIBUTORS
Editorial Office
160 Bugyuseong-daero 488beon-gil, Yuseong-gu, Daejeon 34060, Korea
Tel: +82-42-823-4603    Fax: +82-42-823-4605    E-mail: kimst@kimst.or.kr                

Copyright © 2023 by The Korea Institute of Military Science and Technology.

Developed in M2PI

Close layer
prev next