Article information

Abstract

1. 서 론

고화질 비디오에 대한 지속적인 수요증가로 동영상 압축기술이 꾸준히 발전하고 있으며, 이를 위하여 Joint Collaborative Team on Video Coding(JCT-VC)은 고효율 영상압축 기술인 HEVC(High Efficiency Video Coding) 표준을 2013년 제정하였다^[1–4]. 이와같은 영상압축 기술의 발전은 군에서 제약된 전송속도로 정지영상을 전송하던 환경을 동영상 전송이 가능하도록 만드는 결과를 가져오게 되었으며, 이는 영상 내 움직이는 표적에 대한 탐지를 더욱 원활하게 만들어주었다.

하지만 이와같은 영상압축기술의 발달에도 초협대역(Ultra-narrowband) 전투무선망의 전송속도환경에서 VGA급 동영상을 원활하게 전송하기 어려운 것이 현실이다.

원활한 동영상 전송과 동영상을 통한 표적탐지를 위해 영상압축 시 고려해야할 두 가지 주요한 사항은 비트율(Bit Rate)과 압축속도(Encoding Speed)이다^[5–7].

비트율은 동영상의 초당 압축크기이며, 초협대역 전송환경에서 영상을 전송할 경우 전투무선망의 전송속도 이하로 제어되어야 동영상이 손실없이 전송 될 수 있다.

압축속도는 동영상이 압축되는데 소요되는 시간으로 표적탐지와 같이 실시간 처리가 중요한 환경에서 지연을 발생시키지 않도록 고려되어야 한다.

본 논문에서는 숲이나 개활지에서 이동하는 표적영상을 초협대역 영상전송 환경에서 원활하게 전송하기 위한 표적정보 전처리 알고리즘을 제시하였다. 또한 알고리즘 검증을 위해 실영상을 수집하여 제시한 표적정보 전처리 알고리즘을 모의하였고 알고리즘을 적용하지 않은 영상압축 모의결과와 비교분석하였다.

2. 표적정보 전처리 알고리즘

기존 영상전송 및 표적 탐지방식은 카메라에서 수집된 원본영상을 H.264 또는 고효율 영상압축 기술(HEVC)을 통해 영상압축, 영상전송, 영상수신, 영상복원 및 표적탐지를 하는 절차로 수행되었다.^[8–9]. 이와같은 방식은 영상수신 후 표적탐지를 수행하므로, 수집된 모든 영상정보를 수신단으로 전송해야하는 부담을 가지게 된다.

본 논문에서 제안하는 표적정보 전처리 알고리즘은 카메라에서 수집된 원본영상에 표적탐지 기법을 적용하여 영상 내 표적 이외의 정보는 삭제하는 전처리 후 영상압축 및 전송하는 구조이다. 이때 전처리된 영상만 보내게 되면 수신 시 표적영역에 대한 정보만 있고 삭제된 표적주변 영역에 대한 영상정보가 없기 때문에 어떤 영상을 보냈는지 판단하기 어려울 수 있다. 이를 보완하기 위해 운용자의 선택에 따라 원본영상을 일정주기로 중간에 삽입하여 전송할 수 있게 하였다.

표적정보 전처리 알고리즘의 절차는 Fig. 1과 같으며, 카메라를 통해 수집된 원본영상을 프레임단위로 분할하여 운용자 선택에 따라 원본 프레임과 표적탐지 기법을 통해 영상합성을 수행한 영상 프레임(원본 프레임 + Object Map)을 정렬 후 압축 및 전송하게 된다.

Fig. 1.

Procedure diagram for target information preprocessing algorithm

표적정보 전처리 알고리즘은 영상전송 전 표적탐지를 수행하고 결과값을 전송하는 구조이므로 표적탐지 기법에 대한 신뢰성이 먼저 확보되어야 한다.

본 논문에서는 표적 탐지 신뢰성 확보를 위해 고정된 카메라뿐만 아니라 병사에게 부착된 흔들리는 카메라에서 수집되는 영상에도 강인한 탐지기법으로 한 프레임 내 영상정보로 작은 표적을 탐지하는데 유리한 Saliency Map 기반의 탐지알고리즘을 적용하였다^[10,11].

Saliency Map (S(x))의 계산은 식 (1)과 같다.

g(x)는 Gaussian filter, I-1는 Inverse Fourier Transform, R(f)는 Spectral residual, P(f)는 Phase spectrum을 나타낸다.

Saliency Map을 통한 Object Map의 계산은 식 (2)와 같다.

이때 사용된 T(Threshold)는 영상 내 전경과 배경을 분리하는데 최적값을 찾는 “Otsu's Algorithm”을 적용하였으며, 이를 통해 각 프레임별 표적탐지에 최적화된 가변 Threshold로 Object Map을 도출하였다^[12–14].

Threshold(T)의 계산은 식 (3)과 같다.

σB2(T)는 전경과 배경으로 구분되는 두 개의 클래스 내 분산이며, σW2(T)는 클래스 간 분산이다.

계산된 Object Map은 원본 프레임과 합성을 통해 표적 이외의 정보를 삭제한 영상을 생성하는데 사용하게 된다.

3. 표적정보 전처리 알고리즘 모의 및 결과 분석

표적정보 전처리 알고리즘의 모의를 위해 야외에서 모의영상을 수집하였다.

수집된 모의영상을 통해 표적정보 전처리 알고리즘에서 사용되는 표적탐지 기법의 탐지 신뢰성을 먼저 확인하였고, 최종적으로 표적정보 전처리 알고리즘 및 영상압축을 모의하였다.

3.1 모의 영상 수집

표적정보 전처리 알고리즘의 모의를 위하여 야외에서 표적 이동영상을 수집하였다.

Fig. 2는 영상 수집장소에 대한 사진이며, (a)는 개활지, (b)는 숲 이다.

Fig. 2.

Video acquisition place

영상 수집장소는 야외에서 초협대역 전송환경으로 고려될 수 있는 장소인 개활지와 숲으로 나누었으며, 표적은 사람과 차량으로 구분하였다. 이때 차량은 SUV(Sport Utility Vehicle)와 세단(Sedan) 두 종류로 나 누어 좀 더 다양한 표적영상을 수집하였다.

표적거리는 카메라와 표적 사이의 거리를 나타내며, 표적은 표적거리에서 좌우로 이동하였다. 단 차량의 경우 표적거리를 따라 수직방향으로 이동하였다.

각 영상은 표적의 이동을 충분히 확인할 수 있는 수준에서 약 17 ∼ 40 초 정도의 시간으로 수집하였으며, 수집영상에 대한 세부정보는 Table 1과 같다.

Table 1.

The information of video acquisition environments and video name

영상은 주간, 야간 표적탐지에 유리한 IR 카메라를 사용하여 VGA해상도, 30FPS의 8 bit Gray Format으로 수집하였다.

3.2 표적탐지 기법 모의

표적탐지 기법의 탐지 신뢰성 확인을 위하여 수집된 영상 6종에 대하여 표적탐지 기법 모의 및 영상합성을 수행하여 표적 탐지율(R_D)을 계산하였다. 표적 탐지율(R_D)에 대한 계산은 식 (4)와 같다.

(4) RD=((Itt−Imt)/Itt)×100

I_tt는 전체 표적 영상의 프레임 수, I_tt는 표적 미탐지 영상의 프레임 수를 나타낸다. 여기서 표적 미탐지 영상은 표적의 일부분만 탐지(전체 표적 크기의 50 %이하) 되는 경우로 정의 하였다.

Fig. 3은 Video #1의 표적탐지 기법 모의 및 영상합성 결과이며 (a)와 (b)는 표적 탐지와 미탐지인 경우를 나타내는 예시이다.

Fig. 3.

The example of detection or miss detection case

영상 내 미탐지가 나타난 경우는 Saliency Detection 의 특성인 표적과 배경의 주파수 패턴이 순간적으로 유사하거나, 표적이 작아지면서 표적을 배경으로 클러스터링 하며 발생한 것으로 분석된다.

표적탐지 기법의 모의결과는 Table 2와 같다.

Table 2를 통해 개활지, 사람표적의 경우 50 m 거리에서 85.5 %(Video #1), 100 m 거리에서 28.9 %(Video #2)의 표적 탐지율을 확인할 수 있으며, 차량표적의 경우 50∼100 m 거리(Video #3, Video #4)까지 99 % 이상의 표적 탐지율을 확인할 수 있었다.

Table 2.

The result of detection algorithm

숲, 사람표적의 경우는 50 m 거리에서 100 %(Video #5), 100 m 거리에서 97.9 %(Video #6)의 높은 표적 탐지율을 확인할 수 있었다.

개활지의 사람표적인 경우 100 m의 거리에서 28.9 % (Video #2)의 낮은 표적 탐지율을 보이긴 했지만 이는 영상을 1프레임별로 측정할 경우 확인되는 탐지율이며, 동영상으로 표적을 확인할 경우 초당 평균 약 9회의 표적탐지를 확인할 수 있는 수치이다. 또한 화면 내 연속적으로 이동하는 표적으로 인하여 영상 내 표적이 있다는 사실을 인지하기에는 충분하였다.

아울러 개활지 보다 숲에서 사람 표적이 나무에 가려 표적크기가 작음에도 표적 탐지율이 개활지 대비 50 m에서 14.5 %(Video #5 – Video #1), 100 m에서 69 %(Video #6 – Video #2) 더 높게 나오는 것을 확인 할 수 있는데 이는 개활지의 태양열에 노출된 표적보다 숲의 나무그늘에 있는 표적이 적외선 센서에 더 선명하게 검출되어 나타난 현상으로 분석되었다.

이를 통해 약 50∼100 m 사이의 사람 및 차량 표적을 탐지할 경우 Saliency Detection을 전처리에 사용하여도 표적을 탐지할 수 있을 것으로 판단하여 표적정보 전처리 알고리즘에 적용하였다.

3.3 표적정보 전처리 알고리즘 및 영상압축 모의

표적정보 전처리 알고리즘 모의는 수집영상 6종(Video #1 ∼ Video #6)에 대하여 각 영상별 원본영상, 표적정보 전처리 영상으로 나누어 압축 및 복원을 수행하였다.

모의 시 적절한 원본 프레임 삽입주기 확인을 위하여 표적정보 전처리 영상에 원본영상 삽입주기를 10, 20, 30 프레임으로 가변하거나 표적정보 전처리 영상만 압축 및 복원하도록 모의하였다.

영상압축 및 복원에 사용된 코덱은 FFmpeg의 x.265 library를 사용하여 고효율 영상압축을 모의하였으며, 모의를 통해 압축속도(Encoding Speed) 및 비트율(Bit rate)을 측정하였다.

Fig. 4는 표적정보 전처리 알고리즘 모의영상이며, Table 3는 모의결과이다.

Fig. 4.

The simulation image of target information preprocessing algorithm

Fig. 4를 통해 개활지 영상(Video #1 ∼ Video #4)의 Object Map이 숲 영상(Video #5 ∼ Video #6)의 Object Map보다 비교적 단순한 모양의 탐지영역을 나타내는 것을 확인할 수 있는데 이는 배경의 밝기변화가 나무가 많은 숲 영상보다 단조롭기 때문으로 판단되었다. 또한 압축 전 영상과 복원된 영상에서 동일한 표적을 확인할 수 있었으며, 이를통해 압축 및 복원이 잘 이루어 진 것으로 판단할 수 있었다.

Table 3을 통해 표적정보 전처리 알고리즘의 압축속도 및 비트율의 모의 측정치를 확인할 수 있으며, 원본영상 대비 압축속도 비율과 비트율을 통해 원본영상압축과 표적정보 전처리 알고리즘을 적용한 영상의 압축 성능비교를 하였다.

Table 3.

The simulation result of target information preprocessing algorithm

압축속도는 표적정보 전처리 영상에 원본영상을 삽입하는 경우 삽입 주기별 원본영상 대비 압축속도 비율의 평균값을 계산 시 10 프레임은 84.3 %, 20프레임은 92.7 %, 30프레임은 98.1 %로 하락하는 것을 확인할 수 있었으며 표적정보 전처리 영상만 전송하는 경우는 130 %의 압축속도 향상을 확인할 수 있었다. 또한 원본영상의 삽입주기가 30프레임에 가까워질수록 원본영상만 전송할 경우와 압축속도의 성능이 비슷해지는 것을 확인할 수 있었다.

비트율은 표적정보 전처리 영상에 원본영상을 삽입하는 경우 삽입 주기별 원본영상 대비 비트율의 평균값을 계산하면 10프레임은 114.2 %, 20프레임은 116.2 %, 30프레임은 116.9 %, 표적정보 전처리 영상만 전송하는 경우는 118 %로 향상되는 것을 확인할 수 있었다. 이를 통해 알고리즘 모의에 사용된 모든 영상에서 표적정보 전처리 알고리즘 적용 시 비트율이 향상되는 것을 확인할 수 있었다. 또한 원본영상의 삽입 주기가 커질수록 원본영상 대비 비트율 평균이 상승하는 것을 확인할 수 있었다.

4. 결 론

본 연구에서는 초협대역 전송환경에서 보다 원활한 영상전송 및 표적탐지를 위한 표적정보 전처리 알고리즘을 제시하였다. 또한 제시된 알고리즘의 성능확인을 위해 실장비가 운용될 수 있는 개활지와 숲 지역에서 표적이동영상을 수집하여 원본영상과 표적정보 전처리 알고리즘 적용영상에 대한 압축속도 및 비트율 비교 모의를 수행하였다.

모의를 통해 압축속도의 경우 표적정보 전처리 영상에 원본영상을 삽입하여 압축하면 압축속도가 하락하며, 약 30프레임 주기로 원본영상을 삽입하는 경우 원본영상만 압축하는 경우와 압축속도가 비슷해지는 것을 확인할 수 있었다.

비트율의 경우 표적정보 전처리 영상에 원본영상을 삽입하여 전송하거나 표적정보 전처리 영상만을 전송하는 경우 모두 비트율이 향상되는 것을 확인할 수 있었다.

이와같은 모의 결과를 통해 표적정보 전처리 영상만을 송신하는 것이 압축속도와 비트율 향상에 가장 좋은 성능을 나타내며, 원본영상을 삽입할 경우 가능한 삽입주기를 30프레임 이상으로 설정해야 압축속도의 성능하락을 최소화 할 수 있을 것으로 판단되었다.

본 논문에서 제시한 표적정보 전처리 알고리즘을 기반으로 도심지, 강변 및 해안가 등 다양한 환경 및 카메라 운용에 따른 원본영상 삽입주기를 분석하면 향후 초협대역 영상전송 및 표적탐지분야에 활용될 수 있을 것으로 판단된다.

후 기

본 연구는 국방과학연구소가 지원하는 “초협대역 고효율 영상압축 기술 개발” 사업의 일환으로 수행하였음(UC170016ED).

Article information Continued