J. KIMS Technol Search

CLOSE


J. KIMS Technol > Volume 24(1); 2021 > Article
Conditional GAN을 이용한 SAR 표적영상의 해상도 변환

Abstract

For successful automatic target recognition(ATR) with synthetic aperture radar(SAR) imagery, SAR target images of the database should have the identical or highly similar resolution with those collected from SAR sensors. However, it is time-consuming or infeasible to construct the multiple databases with different resolutions depending on the operating SAR system. In this paper, an approach for resolution conversion of SAR target images is proposed based on conditional generative adversarial network(cGAN). First, a number of pairs consisting of SAR target images with two different resolutions are obtained via SAR simulation and then used to train the cGAN model. Finally, the model generates the SAR target image whose resolution is converted from the original one. The similarity analysis is performed to validate reliability of the generated images. The cGAN model is further applied to measured MSTAR SAR target images in order to estimate its potential for real application.

서 론

광학영상과는 달리 전천후의 특성을 갖는 합성개구면 레이더(Synthetic Aperture Radar, SAR)에서 획득된 영상은 감시정찰 수행 시 중요한 역할을 수행하고 있으나, 광학영상에 비해 직관적인 영상 이해가 어렵기 때문에 전문가의 SAR 영상 판독지식이 필요하다. 그러나 SAR 센서를 통해 획득되는 영상의 수량에 비해 전문가의 수는 제한적이므로 SAR 영상에 있는 주요 표적을 자동으로 식별하는 기술의 개발 또한 지난 30여 년 동안 중요 연구주제로 다루어졌다. 이러한 SAR 영상 표적 자동식별(SAR-Automatic Target Recognition, SAR-ATR)[1]이 성공적으로 수행되기 위한 핵심요소는 SAR 표적영상의 데이터베이스(DB)이며, DB에 저장된 표적영상과 실제 획득되는 영상간의 유사도와 관계되 는 신뢰성[2]의 요건을 갖추는 것이 가장 중요하다. 또한 운용 중인 SAR 시스템 변수와 관계되는 요건을 갖추어야 하며, 특히 SAR 영상의 해상도 측면에서는 DB의 표적영상과 실제 획득되는 표적영상 간 해상도가 상호 일치해야 한다. 미 MIT 대학 링컨 연구소에서는 HDVI(High Definition Vector Imaging)기법을 통한 SAR 표적영상의 해상도 변환을 통해 해상도와 SAR 표적식별 성능의 상관관계를 입증한 바 있다[2]. 이러한 해상도 변환에 관한 연구는 주로 초해상(super-resolution) 연구에 집중되었으며, HDVI 외에도 주파수 영역에서의 매개변수 추정 기법[3,4]이나 칼만 필터 및 압축 센싱과 같은 레이더 신호 추정 기반 기법[5,6]이 주로 연구되었다. 한편 최근 딥러닝(deep learning) 및 여기서 파생된 생성적 적대 신경망(Generative Adversarial Network, GAN)[7,8]이 영상처리 분야에서 각광받으면서, SAR 영상 품질개선[9,10]이나 SAR/광학영상 일대일 변환[11,12]과 같이 SAR 영상을 GAN에 적용한 연구도 지속적으로 발표되고 있다. GAN을 이용한 SAR 영상의 초해상 연구도 최근 발표되기 시작하였으며, 주로 표적영상 단위가 아닌 수백 픽셀 가로, 세로 크기의 scene에 대해 적용되거나[13], 영상정보를 보존하는 업 샘플링[14] 등 광학영상 관점의 연구이다.
그러나 앞서 언급한 바와 같이 성공적인 SAR 표적식별을 위한 DB의 측면에서는 단순히 해상도를 높이는 것 이상으로 DB에 저장된 표적영상의 해상도와 센서에서 획득되는 SAR 표적영상의 해상도를 상호 일치시키는 것이 중요하다. 즉 전자가 후자보다 높은(해상도 값이 더 적은) 경우 획득된 표적영상의 해상도를 각종 초해상 알고리즘에 의해 높여야 하지만, 반대의 경우는 다운 샘플링 등으로 해상도를 낮춰야 한다. 단순한 접근법으로는 운용되는 SAR 시스템에 따라 다양한 해상도의 DB를 구비할 수 있으나, 시간과 자원의 소모가 많으며 다양한 해상도를 갖는 실측 표적영상이 DB로 구성할 만큼 충분치 못할 수도 있다.
본 논문에서는 획득되는 SAR 표적영상의 해상도를 DB의 표적영상 해상도에 맞추기 위해 초해상이나 다운 샘플링과 같은 단방향 기법의 범위를 넘어, SAR 표적영상의 해상도 변환이라는 보다 범용적인 접근방식을 제안한다. 이를 위해서 기존 GAN 보다 안정적인 학습이 가능하여 GAN 연구의 대세를 이루는 조건부 GAN(conditional GAN, cGAN)을 활용한다. 다양한 cGAN의 구조 중에서도 조건 설정을 위한 벡터를 부여하는 방식[9]보다는 영상을 부여하는 방식의 pix2pix[8] 구조를 차용한다. cGAN 모델의 학습을 위하여 SE-WORKBENCH-RF 소프트웨어로부터 해상도가 다른 SAR 표적영상 쌍을 다수 생성하고, 학습된 cGAN 모델을 이용하여 학습에 활용되지 않은 표적영상의 해상도를 변환한다. 본 논문에서 제안되는 기법의 신뢰성을 확인하기 위해, cGAN에 의해 해상도가 변환된 표적영상과 실제로 변환목표 해상도를 갖는 표적영상 간의 유사도 분석을 수행한다. 이러한 cGAN 모델은 실측 표적영상인 MSTAR 영상에 적용되어 제안된 기법의 실제 적용 가능성을 확인한다.

cGAN 모델 학습을 위한 표적영상 쌍 생성

SAR 표적영상 해상도 변환을 위한 cGAN 모델 학습을 위해서는 다수의 해상도가 서로 다른 표적영상 쌍이 필요하다. 본 논문에서는 OKTAL-SE 社의 SE-WORKBENCH-RF SAR 시뮬레이션 도구를 이용하여 Table 1의 설정변수를 이용하여 해상도가 0.1 m, 0.3 m인 SAR 표적영상 쌍을 생성하였다. 이 시뮬레이션 도구에서는 지면에 놓인 표적으로부터 기준거리(slant range) 및 고도에 의해 정의되는 지점에 가상의 SAR 센서를 위치시킨다. 이후 ‘side-looking’에 의한 SAR 신호수집을 모사하기 위해 센서를 합성개구길이 만큼의 직선 궤적을 따라 정의된 센서속도 및 시간, 펄스 반복 주파수(Pulse Repetition Frequency, PRF)에 의해 이동시킨다. PRF에 해당하는 주기마다 센서에서는 광선추적에 의한 전자기 수치해석 기법인 Shooting-and-Bouncing Ray(SBR)를 적용하여 기준거리 만큼 떨어진 표적으로부터의 전자기 산란파를 거리 해상도 마다 수집하고, 이를 궤적 방향(along-track)으로 누적시킴으로써 2차원 SAR 데이터를 획득한다. 이러한 SAR 데이터에 SAR 프로세싱 알고리즘(본 논문에서는 range migration algorithm 사용)을 적용하고, 표적영상 만큼의 영역만 잘라내면 표적영상을 획득할 수 있다. SAR 시뮬레이션에 적용된 표적 CAD 모델의 종류는 BM21, BTR70, 2S7 PION, T72 등 4종이며, 표적 및 해상도 당 내림각 15° 및 방위각 2° 간격으로 180개의 영상을 생성하였다. 즉 0.1 m 해상도와 0.3 m 해상도의 표적영상이 각각 720개로서 일대일 쌍으로 존재한다. Fig. 1에는 내림각이 15°로 고정되어 있고, 방위각 20°, 40°, 60°인 BM21 표적에 대해 해상도가 0.1 m(좌) 및 0.3 m(우) 인 표적영상 쌍을 예시로 나타내었다.
Table 1.
Parameters of SAR target image pairs
제 원 값(해상도 0.1 m) 값(해상도 0.3 m)
주파수 16.8 GHz 9.6 GHz
PRF 1875 Hz 750 Hz
픽셀간격 0.08 m 0.2 m
기준거리/고도 6,720 m/1,740 m 11,520 m/2,980 m
합성개구길이 600 m
센서속도,시간 150 m/s, 4 s
내림각 15°
대역폭 1.5 GHz 500 MHz
해상도 0.1 m 0.3 m
Fig. 1.
BM21 SAR target image pairs(1 st row: 0.1 m resolution, 2 nd row: 0.3 m resolution)
kimst-24-1-12f1.jpg

cGAN 모델 구조

3장에서는 2장에서 언급한 다른 해상도의 표적영상 쌍을 이용하여 학습시킬 cGAN의 간략한 이론 및 cGAN의 일종인 pix2pix 네트워크 구조를 다룬다.

3.1 GAN 및 cGAN의 개념

Fig. 2(a)에는 GAN의 개념도를 나타내었다. 먼저 생성기(Generator, G)에서는 랜덤 벡터 z를 받아서 CNN 형태의 네트워크를 거친 후 ‘fake’ 영상 G(z)를 생성한다. 이후 분별기(Discriminator, D)에서는 G(z) 또는 ‘real’ 영상 x를 입력받아 real이면 1, fake이면 0을 출 력한다. 이러한 복수의 네트워크로 구성되는 GAN을 훈련시키기 위해서는 손실함수 LGAN을 G와 D를 기준으로 번갈아 최소화, 최대화하는 ‘minimax’과정을 거치며, G에서는 D에서 ‘real’로 간주되도록 실제와 유사한 영상을 생성하는 것이 최종목표가 된다.
Fig. 2.
Conceptual diagram of GAN and cGAN
kimst-24-1-12f2.jpg
(1)
LGAN=Ex[log(D(x)]+Ez[log(1D(G(z)))]
Fig. 2(b)는 cGAN의 개념도를 나타내었으며, GAN에 비해 조건설정 인자 y가 추가된다. y는 랜덤 벡터 z로부터 영상을 만드는 G에 일종의 제한조건을 부여하여 영상의 생성과정을 유도하는 역할을 수행함으로써 보다 안정적인 GAN의 학습을 가능하게 한다. SAR 표적영상에 cGAN을 접목한 초기연구[9]에서는 y 에 특정 설정을 의미하는 값의 벡터가 부여되었으나, cGAN의 G에서 생성된 SAR 영상이 y 에서 고려하지 않은 스펙클 잡음의 형상을 따라가는 문제가 발생하였다. 따라서 본 논문에서는 pix2pix 구조의 cGAN[8]을 차용하여 조건설정 인자 y 에 벡터 대신 해상도 변환 이전의 실제 표적영상을 부여한다. 예를 들어 0.3 m 해상도 영상으로부터 0.1 m 해상도 변환 영상을 생성 시, G 에서는 y 로부터 변환한 0.1 m 해상도 영상 G(z, y)를 생성하고, D에서는 0.3 m 해상도 영상 y를 참조하여 실제(real) 0.1 m 해상도 영상 x 또는 G(z, y)에 대해 real / fake 여부를 구분한다. pix2pix 구조의 cGAN 모델에서는 (1)과 유사한 GAN 손실함수 뿐만 아니라, 해상도 변환영상 G(z, y)와 실제영상 x간 유사도를 높이기 위한 L1 손실함수를 추가 고려한다. 즉 (4)와 같이 두 손실함수의 λ 가중합을 G와 D에 대해 minimax 과정을 거쳐 cGAN 모델을 학습시킨다. cGAN은 최근 GAN 연구의 대세를 이루고 있으며, 손실함수의 도입 및 조합법 또한 cGAN의 주요 연구 분야 중 하나이다.
(2)
LcGAN=E[log(D(x,y)]+E[log(1D(y,G(z,y)))]
(3)
LL1=Ex,y,z[xG(z,y)1]
(4)
minGmaxDLcGAN+λLL1

3.2 네트워크 구조

Fig. 2(b)에 나타낸 pix2pix 형태 cGAN의 G와 D를 구성하는 네트워크 구조(사다리꼴 표시)에 대해 살펴본다. Fig. 3의 좌측과 같이 G(Generator)는 크게 인코더(좌)와 디코더(우)로 구성되어 있으며 256×256×1 크기의 y SAR 표적영상을 입력으로 받는다. 입력영상은 인코더의 down 모듈 8개를 거쳐 2×2×512 크기 특징맵(feature map)으로 변환되며, (각 모듈에 표기된 M× N×C 수치는 해당 모듈에서의 특징맵 크기) 각 모듈은 4×4 convolution(conv)과 batch 정규화(BN), 0.2 leaky ReLU로 구성된다. 이러한 특징맵은 디코더의 up 모듈 8개를 거쳐 해상도가 변환된 256×256×1 크기의 G(z, y) SAR 표적영상이 된다. up 모듈 8번부터 5번까지는 4×4 transposed conv와 BN, 50 % drop-out, 0.2 leaky ReLU 및 채널방향 concatenation(쌓기)으로 구성되며, up 모듈 4번부터 1번까지는 drop-out을 제외하고 동일하게 구성된다. 여기서 50 % drop-out의 작용에 의해 생성되는 영상에 확률적인 불확정성을 부여하며, 이는 Fig. 2에서 설명한 랜덤 벡터 z를 모사한 부분이라고 할 수 있다. 또한 각 up 모듈과 그에 대응되는 down 모듈의 특징맵을 ‘skip connection’으로 연결하는 U-Net 구조를 차용하여 인코딩 과정에서 특징맵의 가로, 세로 크기가 줄어들면서 손실된 부분을 보존한다.
Fig. 3의 우측과 같이 D(Discriminator)는 심도 4인 단방향의 CNN으로 구성되며, 256×256×1 크기의 G(z, y) 또는 x, 그리고 동일한 크기의 y를 채널방향으로 쌓은 형태의 256×256×2 크기 영상을 입력 받아서 4개의 모듈(D1∼D4)을 거친 후 32×32×1 크기의 특징맵을 산출 한다. 각각의 모듈은 4×4 conv와 BN(D1 제외), 0.2 leaky ReLU로 구성되며, 마지막 1×1 conv에 의해 도출되는 32×32개의 요소 값을 바탕으로 입력 영상의 real 및 fake 여부를 가리는 ‘patch GAN’ 구조를 사용한다. 즉 32×32 크기 특징맵에 ‘1’인 요소가 더 많으면 입력 영상을 real로 판별하고, ‘0’인 요소가 더 많으면 fake로 판별한다. patch GAN 구조는 영상의 지역적인 특성을 반영하여 영상의 고주파 성분(SAR 표적영상에서 산란점이 다수 분포하는 부분)을 더 정확하게 구분할 수 있게 한다.
Fig. 3.
Structures of G(left) and D(right) of cGAN model
kimst-24-1-12f3.jpg

cGAN 모델 기반 SAR 표적영상 해상도 변환

4종의 표적에 대해 해상도 0.1 m 및 0.3 m인 표적영상을 720쌍(x & y) 생성하였으며, xy에는 동일한 표적 종류 및 방위각을 갖는 다른 해상도의 영상을 각각 입력한다. 이 때 각 쌍마다 평행이동에 의한 9배 데이터 수량 증대(augmentation)를 적용하여 최종적으로 6480쌍의 SAR 표적영상이 cGAN 학습에 이용된다. xy 에는 두 해상도의 표적영상 들을 번갈아 위치시키면서 고해상도 변환용 cGAN 모델(0.3 m → 0.1 m)과 저해상도 변환용 cGAN 모델(0.1 m → 0.3 m)을 생성한다. cGAN 구현 및 학습을 위해서 NVIDIA GTX 1080 Ti GPU 및 MATLAB 딥러닝 툴박스를 사용하고, mini-batch 수는 1, cGAN 및 L1 손실 가중치 λ는 100, G와 D의 학습률(learning rate)은 0.0002, 총 epoch은 20이다. 학습된 cGAN 모델에 의한 표적영상 해상도 변 환결과의 신뢰성 확인을 위해 훈련에 활용되지 않은 2종의 표적 CAD 모델(K9, T80)로부터 내림각 15°, 15° 간격의 방위각을 갖는 해상도 0.1 m 및 0.3 m의 영상을 별도로 생성하여 (총 48쌍) 학습된 두 종류의 (고, 저해상도 변환용) cGAN 모델에 입력하였다.

4.1 고해상도 변환(0.3 m → 0.1 m) 결과

Fig. 4Fig. 5에는 0.3 m 해상도를 갖는 K9 및 T80 모델의 SAR 표적영상을 고해상도 변환용 cGAN 모델에 입력하여 0.1 m 해상도를 갖도록 변환된 결과(중간 열)를 나타내었으며, 비교를 위해 첫 번째, 세 번째 열에는 실제 0.1 m 해상도 표적영상 및 0.3 m 표적영상에 쌍 삼차보간(bicubic interpolation)을 적용한 결과를 나타내었다. 쌍 삼차보간 기법을 SAR 표적영상에 대해 적용하면, 0.3 m 해상도 영상을 더 많은 픽셀로 표현하는 결과가 도출된다. K9 모델의 표적영상의 경우, 대표적으로 나타낸 30°,75°,165°,255°,345° 방위각에 대해서 cGAN모델에 의해 0.1 m 해상도로 변환된 결과가 실제 0.1 m 해상도 영상과 유사하다는 것을 알 수 있으며, 0.3 m 해상도 영상에서 하나의 산란점으로 합쳐져 나타나는 부분이 여러 산란점으로 세분화되어 나타나는 경향이 있음을 알 수 있다. 그러나 실제 0.1m해상도 표적영상에서 이면각(dihedral) 반사에 의해 선형 산란이 나타나는 부분에 대한 모사의 정확도는 다소 떨어지며, 마지막 행의 90° 방위각의 경우 변환 전 영상의 표적신호가 미약하여 변환결과가 부정확한 경우도 있다. T80 모델의 표적영상의 경우도 cGAN모델에 의해 0.1 m 해상도로 변환된 결과가 실제 0.1 m 해상도 표적영상과 유사하게 나타났다. 다만 135° 방위각에서는 T80 표적모델의 뒤 부분이 제거되는, 잘못된 해상도 변환결과를 생성하는 경우도 발생한다. 시험용 표적 K9 및 T80의 SAR 표적영상에 대한 고해상도 변환 결과, cGAN 학습결과에 대해 공통적으로 확인할 수 있는 것은 다음과 같이 정리할 수 있다.
시험용 표적 K9 및 T80의 SAR 표적영상에 대한 고해상도 변환 결과, cGAN 학습결과에 대해 공통적으로 확인할 수 있는 것은 다음과 같이 정리할 수 있다.
① 저해상도의 산란점을 보다 세분화하여 높은 해상도의 산란점으로 표현하는 것을 주로 학습한다.
② 표적주변의 랜덤한 클러터(스펙클)를 실제 고해상도 영상과 매우 유사하게 학습한다. 이로부터 cGAN 학습 시 표적부분을 중심으로 주변 클러터를 더 잘라낸(crop) 영상을 이용하면 보다 표적부분에 대한 학습이 더 잘 이루어질 수 있을 것으로 예상된다.
③ 일부 클러터 패턴의 경우, 고해상도 변환 시 cGAN 모델이 표적으로 오인하여 클러터 영역에 밝은 산란점, 즉 artifact를 생성하는 경우가 발생한다.
변환결과와 실제영상 간의 유사도를 분석하기 위하여 구조적 유사도(Structural SIMilarity) 및 최대신호 대 잡음 비(peak signal to noise ratio, PSNR)의 지표[15]를 도입한다. Fig. 6(a)에는 실제영상과 cGAN 변환결과 간 SSIM 뿐만 아니라 실제영상과 쌍삼차보간 결과 간 SSIM을 나타내었다. 가로축의 ‘test case index’는 1∼24는 K9 표적영상, 25∼48은 T80 표적영상을 나타내며, 표적 별 첫 index(1, 25)가 방위각 0°를 나타내고 index 가 증가할 때마다 방위각이 15° 씩 증가한다. SSIM의 경우 쌍 삼차보간 결과보다 cGAN 변환결과가 실제 해상도 영상과 더 높은 유사도를 가짐을 확인할 수 있으며, 전체 SSIM 평균은 cGAN 결과는 0.8691, 쌍 삼차보간 결과는 0.7657을 나타낸다. 이러한 경향은 Fig. 6(b)의 PSNR 그래프에서도 동일하게 나타나며, cGAN 변환결과와 실제영상 간의 평균 PSNR이 32.1dB로서 쌍 삼차보간 결과보다 약 2dB 높다. 영상 1장에 대해 해상도 변환에 걸리는 시간은 cGAN은 평균 0.16초, 쌍 삼차보간의 경우 평균 0.006초가 소요된다.
Fig. 4.
Comparison after resolution up-conversion(K9)
kimst-24-1-12f4.jpg
Fig. 5.
Comparison after resolution up-conversion(T80)
kimst-24-1-12f5.jpg
Fig. 6.
Performances for resolution up-conversion (a) SSIM (b) PSNR
kimst-24-1-12f6.jpg

4.2 저해상도 변환(0.1 m → 0.3 m) 결과

Fig. 7Fig. 8에는 0.1 m 해상도를 갖는 K9 및 T80 모델의 SAR 표적영상을 저해상도 변환용 cGAN 모델에 입력하여 0.3 m 해상도를 갖도록 변환된 결과(중간 열)를 나타내었으며, 비교를 위해 첫 번째, 세 번째 열에는 실제 0.3 m 해상도 표적영상 및 0.1 m 표적영상에 쌍 삼차보간 기반의 smoothing을 적용한 결과를 나타내었다. cGAN 변환결과의 경우, smoothing으로 해상도를 의도적으로 낮춘 결과보다 실제영상에 유사하다는 것을 육안으로 확인할 수 있다. 그러나 일부의 경우(Fig. 7 마지막 행 표적영상), 해상도 변환 과정에서 왜곡이 발생하였음을 알 수 있다. Fig. 8의 마지막 행 표적영상(방위각 285°)에서는 cGAN 변환결과의 표적부분이 실제 0.3 m 해상도 표적영상의 표적부분과 상당히 일치하지만 클러터 부분의 값이 다소 높게 변환되어 쌍 삼차보간 smoothing 결과의 SSIM 값 0.91에 비해 0.66으로 매우 낮은 SSIM 값을 보인다.
저해상도 변환 문제는 미지의 표적신호를 추정해야 하는 고해상도 문제보다 난이도가 낮아 smoothing 결과 또한 cGAN 변환결과 못지않게 실제영상과 상당히 유사한 결과를 제공한다. 다만 smoothing은 모든 영상에 획일적으로 적용되지만, cGAN 모델의 경우 학습을 기반으로 구현되므로 지속적인 해상도 변환의 품질향상을 기대할 수 있다. 한편 Fig. 8의 마지막 행과 같이 유사도 지표가 육안 관측과 상이한 결과를 제공하는 경우가 있어 보다 신뢰도 높은 SAR 표적영상의 유사도 지표가 필요하다. Fig. 9(a)에는 실제영상과 cGAN 변화결과 및 쌍삼차보간 smoohting 결과 간의 SSIM을 나타내었다. 평균 SSIM의 경우 cGAN 변환결과가 0.8452로서 0.8 이상의 높은 유사도를 갖지만, smoothing 결과도 0.8435로서 큰 차이를 보이지 않는다. PSNR도 각각 30.7 dB와 30.3 dB로서 차이가 적다. 이는 저해상도 변환문제의 난이도에 따른 결과이기도 하지만, 채택된 유사도 지표의 한계에 따른 결과이기도 하다.
Fig. 7.
Comparison after resolution down-conversion (K9)
kimst-24-1-12f7.jpg
Fig. 8.
Comparison after resolution down-conversion (T80)
kimst-24-1-12f8.jpg
Fig. 9.
Performances for resolution down-conversion (a) SSIM (b) PSNR
kimst-24-1-12f9.jpg

4.3 MSTAR 영상에 대한 고해상도 변환 적용

다음으로 본 논문에서 제안하는 cGAN 기반의 SAR 표적영상 해상도 변환기법의 실측영상에 대한 적용 가능성을 확인하기 위해, 4.1에서 언급한 고해상도 변환용 cGAN 모델을 MSTAR 표적영상에 적용한다. MSTAR 표적영상의 명목 상(nominal) 해상도는 0.3 m 이지만 Taylor 윈도우 적용 등과 같은 영상 후처리(post-processing)과정을 감안하면 실제 해상도는 약 0.253 m이다. 따라서 cGAN 모델 적용 후에는 해상도가 약 2.5배 높아질 것으로 예상된다.
Fig. 10에는 MSTAR 표적 10종 중, BMP2, BTR70, T62, ZIL131 표적에 대해 일부 방위각에 대하여 원본 MSTAR 영상(좌) 및 cGAN에 의해 해상도 0.1 m로 변환된 결과(우)를 나타내었다. Fig. 11에는 일부 MSTAR 표적영상에 대하여 cGAN 변환결과가 부정확하게 산출된 사례를 나타내었다. Fig. 10Fig. 11로부터 실측영상인 MSTAR 영상에 제안된 해상도 변환기법을 적용한 결과를 정리하면 아래와 같다.
① 4.1에서 확인한 바와 같이 해상도 0.3 m의 MSTAR 영상을 구성하는 산란점 또한 cGAN에 의해 세분화 되어 해상도가 높아짐을 확인할 수 있다.
② cGAN의 조건 설정 인자 y를 벡터로 부여하는 경우 영상 생성결과가 클러터 학습결과를 주로 반영하여 영상의 표적부분이 클러터와 같이 흩어지는(shattered) 문제가 발생할 수 있다[9]. 그러나 본 논문에서 사용한 pix2pix 구조의 cGAN은 영상형태의 조건 설정 인자로 cGAN 학습의 안정성을 높이므로 별도의 전처리가 없어도 위와 같은 문제가 발생하지 않았다.
Fig. 11에 나타낸 바와 같이 MSTAR 영상에 강한 산란이 발생하여 산란점 형태로 존재하지 않는 부분에 대한 해상도 변환결과는 부정확하다.(BMP2, T62) 또한 2S1 표적영상과 같이 표적의 일부 산란점이 특히 강하게 나타나는 경우는 다른 표적부분에 대한 변환결과가 부정확하다. ZIL131 표적의 경우, cGAN 학습에 활용되지 않은 표적 종류인 트럭에 해당 되므로, 해상도 변환결과가 원래 MSTAR 영상의 형상을 따라가지 못하는 경우가 다른 표적영상에 비해 상대적으로 많이 확인되었다.
④ MSTAR 표적영상에는 0.1 m 해상도 영상이 없으므로 cGAN 변환결과에 대한 유사도 지표를 산출할 수는 없다. 그러나 시뮬레이션으로 생성된 표적
영상 쌍으로 학습시킨 cGAN 모델로부터 Fig. 10에 나타낸 결과와 같이 실측영상인 MSTAR 표적영상의 해상도를 높인 결과를 안정적으로 제공하였다. 이는 동일표적 및 방위각 조건에서 해상도만 다른 다양한 실측 표적영상을 획득하는 것이 현실적으로 어렵다는 측면을 고려할 때, 본 논문에서 고안한 cGAN 모델의 실제 적용가능성을 확인하였다는 의미가 있다.
Fig. 10.
Comparison after resolution up-conversion (MSTAR)
kimst-24-1-12f10.jpg
Fig. 11.
Comparison after resolution up-conversion (MSTAR)
kimst-24-1-12f11.jpg

결 론

본 논문에서는 cGAN 모델을 이용하여 SAR 표적영상의 해상도를 변환하는 기법을 제시하였다. 해상도 변환을 위해 안정적인 훈련 성능을 보이는 pix2pix 구조의 cGAN 모델을 채택하였고, SE-WORKBENCH-RF SAR 시뮬레이션 도구로 생성한 SAR 표적영상을 이용하여 고해상도 변환 및 저해상도 변환용 cGAN 모델을 학습시켰다. 학습된 모델은 학습에 적용하지 않은 시험용 표적영상의 해상도 변환에 적용되었으며, 해상도 변환결과 영상과 실제 목표 해상도를 갖는 표적영상과의 유사도 분석을 통해 제안된 기법의 유효성을 확인하였다. 이어서 시뮬레이션 영상으로 학습시킨 고해상도 변환용 cGAN 모델을 MSTAR 실측 표적영상에 적용하여 유의미한 해상도 변환결과를 얻었으며, 이를 바탕으로 제안된 변환기법의 실제 적용가능성을 확인하였다. 본 논문의 연구결과를 보다 개선시키기 위하여 다음과 같은 추후과제를 도출하였다.
① 본 논문에서 사용된 cGAN에 대한 개선의 여지가 있다. 학습 관점에서는 표적부분이 보다 많은 부분을 표적영상 내에서 점유할 수 있도록 클러터 부분의 크기를 잘라내어 학습에 이용하거나, 보다 다양한 종류의 표적 및 많은 수량의 영상을 학습에 이용할 수 있다. 또한 네트워크 구조의 관점에서는 이미 pix2pix 구조 기반의 후속 cGAN 모델이 많이 발표된 바 있으므로 보다 최신 구조의 cGAN 모델을 활용하거나 네트워크의 심도 및 patch GAN 등을 변경하여 다양한 성능 개선 방안을 모색할 수 있다.
② 저해상도 변환 과정에서 실제 저해상도 표적영상과 저해상도로 변환된 표적영상의 유사도 비교 시, 육안으로 관측되는 결과와 SSIM이나 PSNR과 같은 유사도 지표로 산출되는 결과가 다소 상이하였다. 따라서 산란점으로 주로 표현되는 SAR 표적영상의 특성을 고려한 유사도 지표가 필요하다.
③ MSTAR 표적영상에 대한 해상도 변환 결과에 대해 실제 고해상도 표적영상이 없어 유사도 분석을 수행하지 못하였다. 본 논문에서 제시된 기법의 실제 적용가능성을 보다 높이기 위해서 서로 다른 해상도를 갖는 동일 표적의 실측 SAR 표적영상을 확보한 후, 시뮬레이션 표적영상으로 학습된 cGAN 모델을 적용하여 해상도를 변환한 결과와 유사도 분석을 수행할 계획이다.
④ 끝으로 해상도 변환 결과영상 간의 유사도 분석이 궁극적으로는 SAR-ATR 표적식별 성능과 연계되어야 하므로, 해상도 변환결과를 식별 알고리즘에 대입하여 식별 성능을 산출하고, 이에 대한 결과 분석을 수행해야 한다.

References

[1] K. El-Darymli, et al, "Automatic Target Recognition in Synthetic Aperture Radar Imagery: A State-of-the-Art Review," IEEE Access, Vol. 6, pp. 6014–6058, 2016.
crossref
[2] L. Novak, et al, "The Automatic Target Recognition System in SAIP," The Lincoln Laboratory Journal, Vol. 10(2):pp. 187–292, 1997.

[3] Z. Bi, et al, "Super Resolution SAR Imaging via Parameteric Spectral Estimation Methods," IEEE Trans. Aerospace and Electronic Systems, Vol. 35(1):pp. 267–281, 1999.

[4] D. Pastina, et al, "Super-Resolution of Polarimetric SAR Images of Ship Targets," Signal Processing, Vol. 83, pp. 1737–1748, 2003.
crossref
[5] C. He, et al, "Learning Based Compressed Sensing for SAR Image Super-Resolution," IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, Vol. 5(4):pp. 1272–1281, 2012.
crossref
[6] S. Kanakaraj, et al, "SAR Image Super Resolution Using Importance Sampling Unscented Kalman Filter," IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, Vol. 11(2):pp. 562–571, 2018.
crossref
[7] I. Goodfellow, et al, "Generative Adversarial Nets," Advances in Neural Information Processing Systems, Vol. 11, pp. 2672–2680, 2014.

[8] P. I sola, et al, "Image-to-Image Translation with Conditional Adversarial Networks," Proc. of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp. 1125–1134, 2017.

[9] J. Guo, et al, "Synthetic Aperture Radar Image Synthesis by Using Generative Adversarial Nets," IEEE Geoscience and Remote Sensing Letters, Vol. 14(7):pp. 1111–1115, 2017.
crossref
[10] P. Wang, et al, "Generative Adversarial Network-based restoration of Speckled SAR Images," IEEE 7th International Workshop on Computational Advances in Multi-Sensor Adaptive Processing, 2017.
crossref
[11] X. Niu, et al, "Image Translation Between High-Resolution Remote Sensing Optical and SAR Data Using Conditional GAN," Advances in Multimedia Information Processing, p. 245–255, 2018.

[12] C. Grohnfeldt, et al, "A Conditional Generative Adversarial Network to Fuse SAR and Multispectral Optical Data for Cloud Removal from Sentinel-2 Images," 2018 IEEE International Geoscience and Remote Sensing Symposium, pp. 1726–1729, 2018.
crossref
[13] L. Wang, et al, "Super-Resolution SAR Image Reconstruction via Generative Adversarial Network," 12th International Symposium on Antennas, Propagation and EM Theory, 2018.
crossref
[14] H. Huang, et al, "High Resolution SAR Image Synthesis with Hierarchical Generative Adversarial Networks," 2019 IEEE International Geoscience and Remote Sensing Symposium, pp. 2782–2785, 2019.
crossref
[15] Z. Luo, et al, "The Super-Resolution Reconstruction of SAR Image Based on the Improved FSRCNN," IET Journal of Engineering, Vol. 2019(19):pp. 5975–5978, 2018.
crossref
TOOLS
Share :
Facebook Twitter Linked In Google+ Line it
METRICS Graph View
  • 0 Crossref
  •    
  • 1,185 View
  • 22 Download
Related articles in J. KIMS Technol.


ABOUT
ARTICLE CATEGORY

Browse all articles >

BROWSE ARTICLES
FOR CONTRIBUTORS
Editorial Office
160 Bugyuseong-daero 488beon-gil, Yuseong-gu, Daejeon 34060, Korea
Tel: +82-42-823-4603    Fax: +82-42-823-4605    E-mail: kimst@kimst.or.kr                

Copyright © 2022 by The Korea Institute of Military Science and Technology.

Developed in M2PI

Close layer
prev next