날씨와 주야에 관계없이 영상을 촬영할 수 있는 합성 개구면 레이더(Synthetic Aperture Radar, SAR) 센서가 증가함에 따라, SAR 영상을 판독하는 전문 인력의 업무 부담을 경감시켜줄 표적자동식별(Automatic Target Recognition, ATR) 기술의 중요성도 지속적으로 부각되고 있다. SAR 영상에서의 표적자동식별 기술 또한 근 30여 년간 연구가 수행되어 왔으며, 초기에는 주로 표준영상 정합(template matching)^[1]이나 모델기반 컴퓨터 비전(Model-Based Vision, MBV)^[2]기반 기법 등이 차용되었다. 이후에는 서포트 벡터 머신(Support Vector Machine, SVM), 최 근접 이웃(Nearest Neighbor, NN) 분류기와 같은 패턴인식(pattern recognition) 기반의 기법이 SAR-ATR 분야에 적용되어 의미 있는 결과를 도출하였다^[3,4]. 최근 5년 동안에는 컴퓨터 비전 분야에서 큰 성공을 거둔 딥러닝(deep learning) 기반의 기법이 종래의 기법보다 우수한 SAR-ATR 성능을 도출함으로써 관련 연구의 대세가 되어가고 있다. 딥러닝의 대표적 기법인 합성곱 신경망(Convolutional Neural Network, CNN)을 SAR-ATR 분야에 적용하는 것 외에도^[5], 패턴인식 기법과의 연계^[6], 새로운 네트워크 구조의 제안^[7–9], 영상 시퀀스 식별^[10], 생성망(generative network)과 결합한 데이터 증대^[11], CNN 도출 특징 간 융합^[12] 등 실로 다양한 딥러닝 기반의 응용 기법이 SAR-ATR에 적용되었다.

강인한 SAR-ATR 시스템의 요건 중 가장 중요한 것이 식별을 위한 DB나 네트워크를 학습시키는데 사용되는 표적영상과 실제 입력되는 표적영상 간의 차이점이 적은 표준운용조건(Standard Operating Condition, SOC)에서 뿐만 아니라 차이가 커지는 확장운용조건(Extended Operating Condition, EOC)에서의 성능이 우수해야 한다는 것이다. EOC의 대표적인 사례로 ‘변형표적(target variant)을 들 수 있는데, 이는 동종의 표적이라도 차량의 형태나 부가물의 종류 및 위치, 시리얼 번호, 생산 버전 등과 같은 다양한 요인이 발생하는 경우를 지칭한다. 전자파 산란에 의해 형성되는 SAR 영상의 특성 상, 표적의 종류가 동일해도 변형 내역에 따라 실제 형성되는 SAR 표적영상이 민감하게 달라질 수 있다. 이렇게 발생하는 표적영상 내의 작은 변화를 극복하고 일관적이고 정확한 식별을 수행하는 SAR-ATR 시스템이 강인하다고 할 수 있다.

본 논문에서는 채널집중(channel attention) 모듈을 CNN에 삽입한 채널집중 네트워크를 위에서 언급한 SAR-ATR에서의 변형표적 식별문제에 적용한다. 딥러닝 네트워크에서의 채널집중 기법의 경우, 2018년 ‘Squeeze-Excitation(SE)’ 네트워크^[13] 이래 활발한 연구가 수행되었으며, 식별에 유용한 특징을 선택적으로 강조하는 작용으로 인해 사진영상 뿐만 아니라 SAR 표적영상 식별에도 효과적으로 적용된 바 있다^[14–16]. 이러한 작용을 SAR-ATR에서의 변형표적 식별 성능 향상에 활용하고자 하는 것이 본 논문의 주요한 연구동기이다. 또한 다양한 딥러닝의 SAR-ATR 적용 사례 중에서 채널집중 기법을 변형표적 문제에 적용한 사례를 찾아보기 힘들다는 것도 또 다른 연구동기가 된다. 한편 이전의 연구사례에서 활용된 채널집중 기법들은 대부분 네트워크의 특징맵(feature map)의 채널특성 강화에 사용되는 여기벡터(excitation vector)를 채널방향의 차원축소(dimensionality reduction)를 통해 획득하였다. 그러나 일부 연구^[17]에서 지적한 바와 같이 이러한 차원축소 과정은 특징맵을 구성하는 채널 간 의 직접적인 연관성을 파괴하여 성능향상에 한계를 야기할 수 있으므로, 본 논문에서는 차원축소 과정이 없는 채널집중 모듈을 딥러닝 네트워크 CNN에 도입하여 변형표적 식별 문제에 적용하고자 한다.

본 논문의 2장에서는 기본 CNN 구조 및 여기에 적용될 채널집중 모듈의 구조, 3장에서는 변형표적에 관한 MSTAR 공개 데이터셋 및 식별시험 결과, 4장에서는 채널집중 작용에 대한 고찰을 채널 활성화 맵을 통해 다룬다. 5장에서는 본 논문의 결론을 내린다.

2.1장에서는 본 논문의 SAR 변형표적 식별에 관한 베이스라인(baseline)이 되는 CNN 형태의 기본 네트워크의 구조를 다루며, 2.2장에서는 기본 네트워크에 삽입될 3종의 채널집중 모듈의 구조를 다룬다.

 

4장에서는 네트워크에서 도출된 특징맵으로부터의 채널 활성화 맵을 이용하여 3장에 기술된 실험결과에 대해 고찰한다. 지면 관계상 모든 표적영상에 대해 채널 활성화 맵을 제시할 수는 없으므로, EOC-C 및 EOC-V에서 가장 낮은 식별 확률을 나타낸 표적에 대해 대표적인 영상 각 1장에 대해 결과를 분석한다. 채널 활성화 맵은 주로 특징의 추상화가 덜 된 낮은 계층(본 논문에서는 ‘stage 2’)에서 도출된 특징맵으로부터 관측하기 때문에, 네트워크가 최종적으로 예측한 부류(class)와 연관성이 다소 적을 수 있으나, 네트워크가 결과를 도출하는 데 있어서 특징맵의 채널을 어떻게 활용하였는지를 직관적으로 보여주는 도구이다.

먼저 Fig. 6에는 EOC-C에서 4종의 네트워크 구조 공통적으로 가장 낮은 성능을 나타낸 시리얼 번호 S7인 T72 표적영상 중 방위각이 61도인 영상에 대해 네트워크의 ‘stage 2’ 출력 특징맵의 채널 별 활성화 맵을 나타내었다. 이때 출력 특징맵의 크기는 64×64×64이며, 64개의 채널 활성화 맵 중 크기가 큰 16개만 선별하여 Fig. 6에 나타내었다. Fig. 6(a)은 표적영상을, Figs. 6(b)˜(e)는 각각 Net 1˜4의 ‘stage 2’ 출력 특징맵에서 선별한 채널 별 활성화 맵이다. 표적영상을 살펴보면 대체적으로 표적 부분 외의 배경 클러터 (background clutter) 레벨이 낮고, 표적의 좌측 면에 강한 산란점이 나타난다. Fig. 6(b)에 나타난 Net 1에 의한 활성화 맵을 관측하면 주로 배경 클러터 부분에 강한 활성화 신호가 형성되는 것으로 미루어 볼 때, 네트워크가 표적 부분 보다는 배경 부분에 더 집중하여 학습했다는 것을 알 수 있다(화살표 참조). 이는 다른 MSTAR 표적영상 식별 관련 연구사례^[9,20]에서 지적된 바와 같이 MSTAR 표적영상의 높은 배경 클러터 상관도(background correlation)를 보여주는 것으로서, Net 1이 EOC-C 실험에서 95 %의 성능을 도출한 것에 배경 클러터의 기여가 상당할 수 있음을 보여주는 것이다. SE 채널집중 모듈이 적용된 Net 2의 결과인 Fig. 6(c)에는 이러한 문제가 상당히 완화되어, 네트워크가 보다 표적부분에 집중하여 학습을 수행한 것을 알 수 있다 (화살표 참조). 일부 활성화 맵에서는 클러터의 비중이 높은 편이나, 16개의 맵 모두 표적 부분의 강한 산란점에 집중하여 활성화 양상이 형성되었음을 알 수 있다. 이는 네트워크가 채널집중 작용에 의해 보다 표적 부분의 산란특성을 충실히 학습하게 됨으로써, 98.52 %의 개선된 성능으로 이어졌음을 예상할 수 있다. 그러나 마치 표적 부분에 평균 필터를 적용한 것과 같이 평탄화(smoothing)되어, 표적 부분 내의 강한 부분 외에 산란점 구성의 세밀함이 다소 떨어진다. 반면에 SE 모듈에 공간방향 집중 효과가 더해진 CBAM은 Fig. 6(d)와 같이 표적영상을 구성하는 산란점의 세밀한 분포를 보다 잘 나타냄을 알 수 있다 (화살표 참조). 그러나 추가적인 공간방향 집중 작용은 배경 클러터로의 네트워크 학습이 집중되는 부작용도 일부 야기하여 Fig. 6(b)에 나타난 문제점이 관측되는 채널 활성화 맵도 일부 존재함을 알 수 있다. EOC-C 실험에서 Net 3의 높은 성능 99.70 %는 표적 부분에 대한 세밀함의 개선과 함께 배경 클러터가 일부 기여하였다고 추정할 수 있다. Fig. 6(e)에 나타난 채널방향 차원축소를 거치지 않는 채널집중 네트워크 Net 4에 의한 결과는 Net 2와 Net 3의 장점이 모두 나타나고 (화살표 참조), 배경 클러터 강조나 표적 부분의 평탄화와 같은 단점은 완화되었음을 알 수 있다. Fig. 7에는 Fig. 6에 대한 그라디언트 부류 활성화 맵(Gradient Class Activation Map, Grad-CAM)을 네트워크 별로 나타내었다. Net 1, Net 2, Net 3에 비해서 Net 4의 결과가 표적의 좌측 산란점에 부류 활성화의 중심이 위치한 것을 알 수 있으며, 표적 중심영역에 대한 집중도도 높은 것을 알 수 있다.

Fig. 8에는 EOC-V에서 시리얼 번호 9566인 BMP2 표적영상 중 방위각이 202도인 영상에 대해 네트워크의 ‘stage 2’ 출력 특징맵의 채널 별 활성화 맵을 나타내었다. Fig. 8(a)의 표적영상을 살펴보면, 상대적으로 배경 클러터의 레벨이 높고, 표적의 그림자가 12시 방향으로 뚜렷하게 형성되었음을 알 수 있다. Fig. 8(b)의 Net 1에 의한 활성화 맵을 관측하면, 주로 중심의 표적 영역에 활성화 양상이 집중되어 있음을 알 수 있으나, 일부 맵의 경우에는 배경 클러터 및 그림자 위쪽의 표적 영역과 무관한 부분에 학습이 집중된 것을 알 수 있다(화살표 참조). Fig. 8(c) 및 8(d)의 Net 2, Net 3에 의한 활성화 맵에서는 일부 클러터 활성화 집중도가 높은 맵을 제외하면 중심의 영역에 학습의기여도가 높다는 것을 알 수 있다. 그러나 화살표로 표시한 것과 같이, 중심 영역 중에서 표적 영역뿐만 아니라, 그림자 영역에 의한 기여가 크다. 이는 SE 모듈이나 CBAM에 의해 네트워크가 그림자 영역을 학습에 더 많이 이용하였다고 추정할 수 있다. SAR 표적영상에 형성된 그림자의 경우도 표적식별의 주요 특징으로 삼을 수 있으나, 표적 영역에 비해서는 선명도가 떨어지며 일부 SAR 영상에서는 그림자 영역에대한 식별이 불가능하다는 한계가 있다. Fig. 8(e)의 나타난 채널방향 차원축소를 거치지 않는 Net 4에 의한 결과는 다른 활성화 맵에 비하여 표적 영역에 대한 학습의 집중도가 높으며, 이것이 높은 성능으로 이어지는 요인 중 하나라고 생각할 수 있다. Fig. 9에는 Fig. 8에 대한 그라디언트 부류 활성화 맵을 나타내었다. 집중작용이 없는 Fig. 9(a)의 경우 활성화 중심이 표적 후미에 집중되나, SE 모듈과 CBAM에 의한 결과는 Fig. 8에서 관측한 바와 같이 표적의 그림자 쪽 부분에 활성화 중심이 이동한 것으로 알 수 있다. 그러나 ECA에 의한 Fig. 8(d)은 상대적으로 표적 부분에 부류 활성화 집중도가 더 높다.

본 논문에서는 채널방향의 차원 축소 과정이 없는 채널집중 모듈을 딥러닝 네트워크에 도입하여 SAR 변형표적 식별 문제에 적용하였다. 차용한 채널집중 모듈의 성능 개선에 대한 기본 가정을 바탕으로 MSTAR SAR 변형표적 영상에 적용한 결과, 기본 네트워크는 물론 기존의 채널집중 모듈을 적용한 네트워크보다도 효율적이면서 우수한 성능을 보였다. 또한 채널 활성화 맵을 통하여 제안된 채널 집중 모듈의 성능 향상에 미치는 영향을 직관적으로 확인하였다. 본 논문에서는 SAR-ATR 연구에서 널리 활용되는 MSTAR 데이터 셋으로부터 식별성능을 산출/분석함으로써 본 논문에서 제안된 기법의 유효성을 입증하였다. 그러나 MSTAR 데이터 셋은 표적영상의 중심에 항상 표적이 단독으로 위치하고 있는 형태이고, 데이터 셋 자체가 통제된 조건 하에 획득되었으므로 클러터 형태 또한 일정하다. 따라서 MSTAR에서 접하지 못한 다양한 운용조건을 갖는 데이터 셋에 본 논문의 기법을 추가 적용함으로써 차원축소가 없는 채널집중 작용의 효과를 보다 면밀히 검증할 수 있을 것이라 판단된다.