객체탐지(Object Detection)란 이미지 내에 포함된 객체를 분류하고 위치를 추정하는 것을 말한다. 영상정보로부터 특징을 추출하는 합성곱 신경망(CNN)을 활용한 객체탐지는 크게 2-stage 방식과 1-stage 방식으로 나눌 수 있다. 2-stage 방식은 객체가 존재할 것으로 예측되는 영역을 찾는 객체영역 후보 추정(Region Proposal)과 해당 객체를 인식하는 분류(Classification)를 순차적으로 실행하는 방식으로 대표적인 모델로는 Faster R-CNN^[4] 등의 R-CNN 계열이다. 특히 Faster R-CNN은 합성곱 신경망을 적용하여 특징맵(feature map)을 추출한 다음 객체가 있을 것으로 추정되는 관심영역(RoI, Region of Interest)을 선정한다. RPN (Region Proposal Network)를 통해 관심영역(RoI)를 선정하고, 각각의 영역에 대해 분류를 진행한다. 이 방식은 정확도가 높지만 2개의 심층 신경망을 연산하기 때문에 속도가 느리다는 단점이 있다. 이러한 단점을 보완하기 위해 1-stage 방식이 제안되었다. 1-stage 방식은 객체영역 후보 추정과 객체분류를 동시에 진행함으로써 속도를 향상하였다. 대표적인 모델은 YOLO^[5], SSD^[6], EfficientDet^[7] 등이 있다. 객체탐지는 자율주행, CCTV 기반 영상보안 분야 등에서는 활용되는 알고리즘으로 정확도만 아니라 신속성의 중요도 또한 높아지고 있는 추세이다. 특히, 1-stage 모델 중 속도가 빠른 모델이 바로 YOLO계열의 모델이다. 이와 같은 이점으로 YOLO 계열은 많은 객체탐지와 관련된 연구에서 활용되고 있다. YOLO은 합성곱 네트워크를 통해 특징맵(feature map)을 추출하여 경계상자 정보, 객체를 포함하고 있을 확률, 객체의 클래스를 생성, 객체를 탐지하는 1-stage 구조이다. 특히 YOLOv4^[8] 모델의 속도는 65FPS 이상을 달성한 실시간 객체탐지가 가능한 모델이다. 이는 1-stage 모델 중 가장 빠른 모델로서 최신 딥러닝을 기법을 활용하여 정확도와 속도를 향상하였다.

본 연구에서 제안하고자 하는 해상에서 접촉한 군함 정보를 획득하는 것은 정확성뿐만 아니라 신속성 역시 중요한 요소이다. 이에 따라 실시간 정보를 획득할 수 있도록 객체탐지 알고리즘으로 YOLOv4를 Baseline으로 선정하였고, 객체탐지 알고리즘을 적용하여 함형을 분류하고 함정번호 영역을 인식할 수 있도록 하였다.

문자인식 기술은 문자 영역을 검출하는 Text Detection과 검출된 영역 내 문자가 무엇인지 판별하는 Text Recognition으로 구분할 수 있다. 문자인식의 기술은 실생활에서 자동차 번호판 검출, 가스계량기 검침 등 적극적으로 활용되고 있다. 본 연구에서는 함정번호, 즉 숫자를 인식하기 위한 Text Recognition 영역이다. Text Recognition에 관한 대표적인 모델로는 이미지 기반 시퀀스(sequence) 인식방법인 CRNN (Convolutional Recurrent Neural Network)^[9]이 있다. 이미지 내에서 문자는 연속된 형태(Sequence)로 표현되고 있으며 이를 다루는 순환 신경망(RNN, Recurrent Neural Network)을 적용하는 것이 필요하다고 설명하고 있다. 합성곱 신경망 계층을 통해 추출한 특징맵(feature map)을 특징시퀀스(feature sequence)로 변환하여 순환 신경망 계층으로 입력함으로써 텍스트 연속 벡터를 예측한다. 특히 순환 신경망으로부터 만들어진 프레임을 CTC(Connetionist Temporal Classification)^[10] 알고리즘을 적용하여 가장 높은 확률을 가진 레이블을 찾도록 한다.

CRNN 모델에서는 VGG 구조를 기반으로 하여 합성곱 신경망 계층에 적용하였고, 순환 신경망 계층에는 Bidirectional-LSTM구조^[11]를 적용하였다. 특히 Bidirectional LSTM의 양방향 연결은 이미지 기반 시퀀스(sequence)에서 유용하고 상호 보완적 역할을 수행한다. 합성곱 신경망과 순환신경망 계층이 연결된 CRNN 기본 알고리즘은 문자열의 연속적 형태를 고려할 때 각 신경망의 이점을 잘 활용할 수 있는 구조이다. 본 연구에서는 변형된 CRNN을 구성하여 함정번호를 인식할 수 있도록 하였다.

합성곱 신경망 네트워크가 깊어짐에 따라 객체탐지의 성능이 크게 향상되었다. 그러나 합성곱 신경망을 통해 특징맵(feature map)을 추출하는 과정에서 소형 객체의 특징(feature) 정보를 소실할 수 있는 어려운 점이 있다^[13]. 본 연구에서 인식하고 자 하는 함정번호는 영상정보 내에서 함정에 비해 매우 작은 소형 객체로 간주할 수 있다. 이로 인해 객체탐지 알고리즘에서 함정번호가 정확하게 인식되지 않을 가능성이 있다. 이에 수집된 데이터 중 500장을 대상으로 YOLOv4 알고리즘만을 적용하여 함정정보와 함정번호 획득 가능성에 대한 실험을 우선으로 수행하였다. 군함의 영상에서 함형과 함정번호를 동시에 인식할 수 있도록 하기 위해 실험에서는 함형 10개, 함정번호 숫자 10개, 총 20개 class로 지정하여 실험을 진행하였다. 함형의 AP (Avarage Precision)는 90 % 이상으로 높은 성능을 보여주었으나, 함정번호 숫자에 대한 AP는 40~50 %로 인식률이 현저히 낮은 것을 확인할 수 있다.(Fig. 2) 따라서 본 연구에서는 함정번호의 인식률을 향상하기 위하여 함정번호 영역을 별도의 class로 지정하여 객체탐지를 진행하고 한다.

다시 말해서, 함형의 분류 및 함정번호 영역의 탐지를 위해 객체탐지를 적용하였고, 함정번호 인식을 위해 문자인식을 적용하였다. 제안하는 모델은 단계화하여 구현할 수 있도록 구성하였으며, 각 단계에 적합하도록 데이터셋을 구축하였다.

객체탐지의 학습을 위해서는 이미지 내에 포함된 객체(object)의 속성(class)와 이미지 내 실제위치(ground- truth)를 지정하기 위한 라벨링(labeling) 작업이 필요하다. 함형 10개와 함정번호 영역 1개, 총 11개로 라벨링 작업을 수행하였고, 라벨링 작업을 지원해 주는 오픈소스인 LabelImg tool¹⁾을 사용하여 주석(annotation)을 생성하였다.

함정번호는 문자인식 학습을 위하여 객체탐지의 실제위치(groud thruth)와 같도록 별도 분할(crop)하여 Fig. 3과 같이 학습 데이터셋을 구축하였다. 문자인식에서는 함정번호 이미지와 정답(ex. 32, 560, 681, 973)을 쌍으로 하여 주석을 생성하였다. 또한, 함정번호의 수가 68개인 것을 고려하여, 회전, 좌우 이동, 밝기변화를 주어 데이터를 증강하였다.

함형의 분류와 함정번호 영역을 탐지하기 위한 1단계에는 속도와 정확도가 높은 YOLOv4 모델을 기본 구조로 하였다. YOLOv4 모델은 CSPDarknet53, SPP, PAN, YOLOv3 방식으로 구성되어 있다. CSPDarknet53은 Darknet53구조에 CSP(Cross-Stage-Partial)를 적용하였다. CSP는 입력 계층를 나누어 일부분은 합성곱연산을 진행하고, 합성곱 연산 결과를 나머지 일부분과 결합(Concatenation)하는 구조로서, 이를 이용하여 CSPDarknet53는 정확도를 유지하면서 연산량을 줄이는 효과를 달성할 수 있다. CSPDarknet53의 뒤에 배치되는 SPP(Spatial Pyramid Pooling)^[14]의 기능은 고정된 크기에 의해 제한되지 않는 합성곱 신경망의 입력을 만드는 것이다. SPP는 서로 다른 4개의 척도를 가지는 최대풀링을 사용하여 특징맵을 생성한다. SPP는 네트워크의 실행 속도를 줄이지 않으면서 수용 필드를 늘리고 중요한 컨텍스트 특징을 효과적으로 분리하는 역할을 수행한다. SPP 이후 PAN(Path Aggregation Network)^[15]을 연결하였다. PAN은 하향식 피처 피라미드 뒤에 상향식 경로 확대 구조를 통해 특징맵을 재구성하여 객체를 예측하는 부분으로 전달하는 역할을 수행한다. 객체를 예측하기 위해 세 가지 다른 척도(Scale)로 객체를 예측하는 YOLOv3의 방식을 사용하였다. 또한 저자^[8]는 Attention 모듈을 결합시 연산량 추가보다 성능향상의 효과가 더 크다고 설명하고 있다. Attention 모듈은 특징맵에서 강조해야 할 특징을 찾아 특징의 중요도를 조정하는 역할을 수행하며, YOLOv4에 적용한 Attention 모듈의 방식은 SAM (Spatial attention)^[16]을 변형한 방식이다. 본 연구에서는 저자가 제안하는 YOLOv4와 Attention 모듈을 결합한 SAM-YOLOv4을 객체탐지 단계의 알고리즘으로 선정하여 실험을 진행하였다.

문자인식을 위한 CRNN의 기본적인 구조는 Table 2 의 #1과 같으며 합성곱 신경망 계층, 순환 신경망 계층, Transcription 계층으로 구성되어 있다. 합성곱 신경망 계층은 입력 이미지에서 합성곱 연산을 통해 특징맵을 추출한다. 특징맵은 연속된 정보로 변환하는 과정을 거쳐 순환신경망 계층에 입력되며, Transcription 계층에서는 순환신경망 계층에 의해 예측된 값을 label sequence로 변환한다. 이때 예측된 값은 해당문자 또는 문자가 존재하지 않는 공백(blank)으로 매핑된다. CTC 알고리즘에 의해 반복되는 레이블은 합쳐지고, 공백(blank)을 삭제하여 최종 문자열을 출력한다.

CRNN의 합성곱계층의 특징은 3×3 커널(kernel)을 사용하는 VGG^[17] 형태를 기반으로 하고 있으며, 3번째와 4번째 최대풀링 계층에서 1×2 보폭(strides)를 적용하여 너비의 크게 하는 특징맵을 생성할 수 있도록 하였다. 또한 순환 신경망에는 순방향의 정보와 역방향의 정보가 호 교환할 수 있는 Bidirectional LSTM 를 사용하였다. 본 연구에서는 기존 VGG형태의 합성곱 신경망 계층을 Table 2와 같이 변경하였다. 합성곱 계층에 이전의 특징맵 정보를 연결하는 ResNet^[18] 형태와 DenseNet^[19] 형태로 각각 변환하여 구성하였다. Resnet의 Residual Block의 특징은 합성곱 층의 입력과 출력을 합하는 구조이다. DenseNet은 합성곱 층을 통해 이전에 생성한 특징맵을 결합(Concatenation)하는 DenseBlock과 DenseBlock 사이에 1×1 합성곱과 풀링 Transition 층에 두어 특징맵의 크기를 줄이는 구조이다. 본 연구에서는 합성곱 계층 변형을 통해 보다 정확한 특징맵을 추출할 수 있도록 실험을 진행하였다. 특히 DenseNet은 구조의 특성상 입력 이전의 모든 레이어를 결합하여 특징맵을 생성하므로 초기 정보를 네트워크 후반부까지 효과적으로 전달할 수 있다. 이에 DenseNet 네트워크는 이미지와 관련된 여러 네트워크에서 적용되고 있다. 따라서 본 연구에서도 CRNN 의 합성곱 계층에 DenseNet을 적용하는 것을 제안하고 있으며, 합성곱 계층을 변경하여 비교 실험을 진행하였다.

기존 CRNN에서는 길이가 정해져 있지 않는 실제 이미지 내 문자열의 특성을 고려하여 입력 이미지의 가로(w)의 크기를 정하지 않고, 높이(h)만을 32로 정하여 학습하였다. 본 연구에서는 함정번호 숫자는 2~3개로 정해져 있으며, 해당 영역의 평균의 픽셀크기는 63(w) × 36(h)인 점을 고려하여, 입력이미지 크기를 정하여 학습을 진행하였다. 특히 입력이미지의 크기와 합성곱 계층의 형태에 따라 예측프레임의 크기는 달라진다. CTC알고리즘은 높은 확률을 가지고 있는 레이블을 예측하는데, 예측프레임 수를 조정하여 성능을 확인할 수 있도록 입력값을 조정하였다.

마지막으로 함정번호 영역에 대한 문자인식 후 함형에 따른 정보, 즉 함형에 따라 특정되는 시작 숫자를 입력하여 최종 출력될 수 있도록 하였다.

본 연구에서 구축된 군함 관련 데이터셋은 대규모로 구축할 수 있는데 한계점이 있다. 이에 성능향상을 위해 MS COCO 데이터셋에서 사전 학습된 가중치를 적용하여 전이학습을 진행하였고, 학습률 0.001, Epoch 40,000을 적용하여 학습하였다.

객체탐지에서 사용하는 평가지표인 IoU, mAP, Precision, Recall을 활용한 평가결과이다. Table 3의 학습결과에서 본 연구의 1단계 객체탐지에 적용한 YOLOv4, SAM-YOLOv4 모두 mAP50에서 96 % 이상 높은 성능을 확인할 수 있다. 특히, Attention 모듈을 결합한 SAM-YOLOv4 알고리즘에서 IoU 지표의 향상된 성능을 확인 할 수 있으며, 본 연구에서는 함정번호영역의 정보손실을 최소화할 수 있는 높은 IoU 지표를 보인 SAM-YOLOv4 구조가 적합하다.

Table 4에서 각 함형별로 성능(AP)을 살펴보면 LST, MLS, AOE, ATS 등 군함의 외형 특징이 명확하게 구분되는 지원함 함형의 경우에는 높은 성능을 확인할 수 있다. 반면 DDG, DDH, FFG, FF, PKG 등과 같은 전투함의 경우에는 선체 형태, 보유 무장이 비슷한 형태로 보일 수 있어 지원함에 비해 다소 정확도가 떨어진 결과를 알 수 있다. 또한, 함정번호 영역에 대한 AP는 96.63 %로 여러 요소를 포함하고 있는 함정 측면 영상에서 함정번호 숫자만을 포함하고 있는 영역을 높은 성능으로 탐지하고 있다. 1단계 객체탐지의 함형 분류 및 함정번호 영역 탐지 결과 예시는 Fig. 5와 같다.

문자인식 실험 시에는 제3장에서 언급한 데이터 어그멘테이션을 통해 학습 데이터를 증강하여 2,565장으로 학습하였다. 학습 시 Epoch 2000, 학습률 0.0005를 적용하였다. 문자인식 성능평가 지표로는 예측된 문자열과 정답 문자열의 일치 여부를 나타내는 정확도이다. 실험결과는 Table 5와 같다.

문자인식 실험결과는 #4 DenseNet 형태의 문자인식 알고리즘에서 입력이미지값 64(w)×32(h) 일 때 86.6 %의 높은 성능을 달성했음을 확인할 수 있다. 특히 예측 프레임의 각 숫자와 공백(blank)의 배열을 살펴보면, #4의 형태, DenseNet의 특징맵 추출 방식이 본 연구의 문자인식에 가장 적합한 구조를 나타내고 있음을 확인할 수 있다. 또한, 함정번호의 숫자 수를 고려했을 때 예측 프레임의 수가 15개 일 때 보다 7개 일 때 훨씬 성능이 높음을 확인할 수 있다. 이에 본 연구에서 제안하는 모델의 2단계 문자인식 구조에는 #4 DensetNet 형태의 CRNN 구조가 가장 적합하다.

알고리즘의 성능을 고려하여 예측 문자 수 7~8개인 #1, #3, #4의 알고리즘 구조에서 Precision과 Recall 지표를 활용하여 함정번호를 구성하고 있는 숫자별 성능을 분석하였다.(Table 6)

기존 CRNN 알고리즘인 #1 실험에서는 “8”, “6”, “3”의 숫자에 대한 성능이 다른 숫자에 비해 낮은 것을 확인할 수 있으며, 합성곱 신경망을 변경한 #3, #4 실험에서 해당 숫자에 대한 향상된 성능을 확인할 수 있다. 특히 제안하는 알고리즘인 #4 실험에서 성능 평가지표는 대체로 높은 성능을 보여주고 있으나 여전히 숫자 “8”, “3”의 경우에는 Recall이 다른 숫자에 비해 상대적으로 낮았다.

구체적으로 문자인식 알고리즘(#4)이 오답을 예측한 예시를 살펴보면 Fig. 6과 같다. 본 연구에서 학습된 알고리즘을 통해 오답을 예측하는 경우를 분석해보면 함정번호 영역 이미지의 크기가 소형이거나, 선체색상과 함정번호 글자색상의 차이가 크지 않는 경우이다. 특히 숫자 ‘8’, ‘3’에 대해 오류를 다수 확인할 수 있으며, CRNN 구조의 특성상 문자를 연속적으로 학습하기 때문에 다른 함정번호로 예측하는 경우를 확인할 수 있다.

마지막으로 제안하는 모델에서는 문자인식의 알고리즘의 출력 이후 함형에 따른 함정번호 정보를 입력하여 최종 출력할 수 있도록 하였다. 이 결과 문자인식의 정확도는 #4 구조에서 87.5 %로 향상할 수 있었다. 예를 들면 Fig 6의 함정번호 ‘812’는 FFG 함형으로 함정번호는 8로 시작한다. 이때 문자인식의 예측값은 ‘912’로 함형정보 ‘8 × ×’를 추가하여 정확한 함정번호인 ‘812’를 예측할 수 있다. 이는 함정번호 부여 기준에 근거한 것으로 앞서 객체탐지의 높은 신뢰성을 바탕으로 함형정보를 추가함으로서 문자인식의 신뢰도를 향상할 수 있다.

본 연구에서 제안하는 문자인식의 방법에서 87.5 %의 비교적 높은 성능을 달성하였으나, 보다 향상된 군함 식별 정보를 획득하기 위해 성능향상을 위한 연구가 요구된다. 특히 해상에서는 영상정보를 획득하는 환경과 장비 등 상황에 따라 군함의 선체색상과 함정번호의 색상 차가 변할 수 있다. 그러므로 인식률 향상을 위해서는 다양한 상황에서의 군함 영상정보가 필요한 반면 본 연구가 구축한 데이터셋은 소규모라는 제한점이 있다. 이에 데이터를 증강하기 위해 생성적 적대 신경망 모델 중 DCGAN(Deep Convolution GAN)^[20] 네트워크를 활용하여 데이터증강 방안을 강구 하였다. 그러나 원천(raw) 데이터의 한계로 DCGAN을 통해 생성된 이미지(Fig. 7)를 학습 데이터로 활용하는 것은 충분하지 못하였다. 향후 데이터셋을 일정 수준 보강함으로써 생성적 적대 신경망을 활용한 데이터 증강이 가능할 것으로 예상되며, 이를 통해 함정번호 인식 성능을 개선할 수 있을 것으로 기대된다.