J. KIMS Technol Search

CLOSE


J. KIMS Technol > Volume 24(1); 2021 > Article
지상 전투 차량을 위한 다채널 영상 스트리밍 시스템의 회전 구동 대비 품질과 압축 대비 지연 분석

Abstract

The multi-channel video streaming system is an essential device for future ground combat vehicles. For the system, the application of digital interfaces is required instead of the direct analog method to support selectable multiple channels. However, due to the characteristics of the digital interfaces that require en/decoding and signal conversion, the system should support the ability to adapt to quality and delay requirements depending on how video data is utilized. To support addressed issue, this study designs and emulates the multi-channel compressed-video streaming system of ground combat vehicle's fire control system based on commercial standards. Using the system, this study analyzes the quality of video according to the rotational speed of the acquisition device and Glass-to-Glass (G2G) delay between video acquisition and display devices according to video compression rates. Through these experiments and analysis, this paper presents the design direction of the system having scalability on the latest technology while providing high-quality video data streaming flexibly.

서 론

기 개발된 기존 유인 플랫폼의 개량 및 미래전을 대비하기 위해 개발 중인 무인 플랫폼들은 감시 능력의 향상에 그 초점을 맞추고 있다. 이를 위해 군용 플랫폼들은 광학 센서 및 장비의 성능을 향상하거나 다 수의 광학 센서 및 장비들을 탑재하여 정보의 획득과 가공, 분석 능력을 확대하여 감시 및 상황판단 능력 향상을 통해 운용성을 극대화하고 있다. 군사 분야의 경우 지상[1], 해양[2], 항공[3] 플랫폼을 불문하고 이러한 추세가 반영되어 활발한 연구가 진행 중에 있다. 민간 분야의 경우, 감시 플랫폼 관련 시장 규모가 국내만 6조원[4]에 달할 뿐만 아니라 4차 산업혁명이 시작된 이후 심층학습 기반 영상처리를 포함하는 이동 플랫폼 기반 응용[13,5] 어플리케이션 수요의 증가에 따라 획득 영상 품질에 대한 요구사항 또한 증대되는 추세이다.
기 개발되어 운용중인 K계열 전투차량에는 포수 또는 전차장이 주·야간에 표적을 탐지/추적/사격할 수 있도록, 조준경에 주간/열상카메라가 탑재되어 있다. 조준경에 탑재된 카메라의 영상은 아날로그 영상 인터페이스를 사용하여 운용자 별 모니터에 전시되기 때문에 카메라 영상을 추가 또는 공통으로 전시하려면 시스템을 재설계하여야 하는 문제점이 있다. 따라서 향후 성능개량 또는 개발되는 무기체계는 카메라 영상을 공동전시, 추가 또는 제거가 용이한 네트워크기반 영상 인터페이스의 적용이 필요하다. 따라서 향후 지상 무기체계를 위해서는 다수의 영상 획득 장치로부터 획득되는 다채널 영상 스트림을 복수의 운용자에게 전송/전시하는 시스템을 대상으로 입력과 출력 구성의 추가/배제가 유연한 네트워크 기반 모듈화된 영상 인터페이스 시스템이 설계되어야 한다.
이와 같은 모듈화 구조[6]와 상용제품(Commercial Off The Shelf, COTS)을 적용하여 다채널 영상 스트리밍 모듈 구성을 적용한 네트워크 기반 플랫폼은 개발 효율성을 위해 군사 분야 선진국에서도 적용 연구 중이다. 이 때 상용제품은 기술 독점권 제한을 받지 않도록 표준규격을 적용하기 때문에 개발 비용/기간 단축, 장비 업그레이드 및 성능 개량 시 비용/기간 단축, 종합군수지원(Integrated Logistics Support, ILS) 비용/기간 절감 등의 장점이 있다.
따라서, 본 논문에서는 아날로그 영상 인터페이스에 비해 많은 장점을 가진 네트워크 기반 영상 인터페이스를 적용 및 현재 군 장비에 영상 압축 기술 등을 적용 시 문제점을 사전 분석하고, 조준경 장비를 운용 시 최적의 실시간 영상을 제공할 수 있는 조건을 제시한다. 이를 위해 1) 조준경의 구동속도에 따른 영상 압축 대비 품질 특성을 분석하고, 2) 압축 또는 무압축 원본 영상을 전송 시 시간 지연 특성을 분석하여 실시간 전시 가능성을 분석한 내용을 기술하였다.
본 논문의 2 장에서는 민간 상용 표준의 적용 기반 다채널 영상 스트리밍 시스템 구성의 예를 제시하기에 앞서, 기존 지상 전투차량을 위한 영상신호 생성/수집 장치 및 전시 장치 구성을 분석하고, 3 장에서는 유연한 다채널의 추가/배제 및 유연한 영상 채널 변경/영상 압축 설정 기능을 지원하여 지상 전투 차량의 운용성, 호환성, 확장성 향상이 가능한 영상 스트리밍 시스템의 상용 표준 기반 구성 예를 제시한다.
4 장에서는 장치의 회전 구동 속도, 영상 비트율에 따른 영상의 품질과 영상 압축률에 따른 화면 간(Glass-to-Glass, G2G) 지연 분석을 수행한다. 이를 위해 포탑의 회전 구동을 모의하는 장치를 구축하여 본 연구에서 제공하는 상용 표준 기반 영상 스트리밍 시스템에서 제공하는 영상 압축률 별 품질을 영상 획득 장치의 회전 구동 속도 별로 측정하고 분석한다. 5 장에서는 이 시스템의 영상 획득/전시 화면 간 G2G 지연 시간을 측정 및 분석하고 향후 플랫폼 설계 및 개발 시 고려해야할 사항을 도출한다.

기존 전투 차량 영상 수집/전송/전시 시스템

최신 K계열 지상 전투 차량인 K2 및 K21의 사격 통제 장치를 위한 영상 획득 장치는 아날로그 인터페이스를 통해 획득된 CCD(Charge Coupled Device) 및 IR(Infrared) 영상을 사격 통제 및 운용 통제를 위한 영상 정보로 활용한다. 전력화가 완료되어 군에서 운용 중인 기존 K1 계열 지상 전투차량의 경우에도 최신 K2 계열 지상 전투 플랫폼에 적용된, VGA급 영상 기반 사격 통제 장치를 적용하기 위한 개량 사업이 착수[7,8] 되었다.
인터페이스 측면을 보면, 지상 전투 차량의 영상 획득 장치로부터 획득된 영상 스트림은 사격 통제 및 운용 통제를 위해 포수 및 전차장 전시기 등으로 전송되는데, 획득된 영상은 NTSC(National Television System Committee System)의 컬러 영상 규격인 RS-170(A) (TIA/EIA-343)로 부호화된다. 조준경 내부 및 전시기 내부 영상의 전송은 대표적인 대용량 시리얼 통신을 지원하는 표준인 ANSI/TIA/EIA-644 LVDS(Low-Voltage Differential Signaling)[9] 통신 인터페이스를 적용하고 있다.
이러한 아날로그 인터페이스는 별도의 사전/사후 처리과정 없이 장치 간 직결이 용이하다는 장점이 있는 반면 사후 변경이 불가하여 입력 영상 데이터 타입의 변경이나 데이터를 구성하는 콤포넌트의 추가가 불가능하다. 또한 대상 플랫폼 별 장치 구성이나 요구사항에 따라 플랫폼 별로 전기적인 인터페이스는 아날로그 신호를 통하기 때문에 K계열 전투 차량 내부에 탑재된 장치 간 호환성이 없다. 또한 다중 포트를 지원하지만 설계 이후 추가적인 장비 탑재 등 확장성이 제한되는 문제가 있다.

상용 표준 기반 영상 수집/가변 압축/선택 전송/선택 전시 시스템 구성

본 장에서는 입력 영상에 대한 다양한 호환성을 지원 가능한 디지털 영상 인터페이스 및 네트워크 장비를 구성하여 2 장에서 소개한 아날로그 인터페이스의 단점을 극복할 수 있는 지상 전투 차량을 위한 영상 스트리밍 시스템 모의 장비를 상용 표준 기반으로 구성한다. 구성하는 영상 스트리밍 시스템의 목적은 유연한 전시화면 전환 및 고품질 영상의 다채널 전시를 통해 운용성 향상이다. 이를 위해 포수, 전차장 등 지상 전투 차량 운용 구성원에게 제공되는 운용 및 조준 영상을 대상으로 영상 획득 및 디지털 영상 변환, 상용 표준 기반 압축, IP(Internet Protocol) 표준 기반 전송, 전시하는 시스템이다.
제안하는 시스템의 개념도는 Fig. 1과 같고, 데이터 흐름도는 Fig. 2와 같다. 이 시스템은 4개의 영상 획득 장치가 2개의 영상 압축 및 전송 유닛에 연결되어 있고, 2개의 영상 유닛은 이더넷 스위치를 통해 4개의 영상 전시 유닛에 영상을 전송하는 구조이다.
Fig. 1.
Concept of video streaming system for ground combat vehicles
kimst-24-1-31f1.jpg
Fig. 2.
Data flow of commercial standard-based video acquisition/variable compression/selective transmission/selective display device
kimst-24-1-31f2.jpg
Fig. 1에서 전차장용 조준경(Commander Sight)과 포수용 조준경(Gunner Sight) 영상은 향후 세계적인 추세를 보면 FHD(Full High-Definition) 급의 컬러 영상 및 영상 영상이 적용될 것으로 예상된다. 따라서 1920× 1080 해상도의 FHD 급 영상을 적용하였다. 이 영상은 ITU-T BT.601-7 표준을 따르는 YUV 포맷으로 변환되고, 변환된 데이터는 운용자의 선택에 따라 가변적인 데이터양으로 압축될 수 있다. 이때 사용되는 압축 표준은 AVC(Advanced Video Coding, 또는 H.264)이다.
압축된 영상은 RTP(Real-time Transport Protocol, RFC 3016) 표준을 따르는 패킷 구성으로 IP 멀티캐스팅(RFC 1112)으로 송신된다.
송신된 패킷들은 기가비트 이더넷(IEEE 802.3)을 만족하는 케이블 및 스위치를 통해 운용자 그룹에 포함된 모든 전시 장비에서 영상을 선택적으로 수신할 수 있다. 예를 들어 100 kbps로 압축된 전차장용 조준경의 CCD 영상만 수신 및 전시할 수 있고, 무압축 YUV 포맷의 IR 및 CCD 영상을 동시에 수신 및 전시할 수도 있다. 구현된 시스템에서 가변 적용이 가능한 영상의 평균 비트율은 아래 Table 1과 같다.
Table 1.
Average bit-rate of video by compression category
압축 구분 영상 평균 비트율(Mbps)
고압축(저 비트율) 0.1
0.5
1
중압축 2.5
5
저압축(고 비트율) 10
20
32
무압축 550
780
Table 1에서 무압축의 경우 센서로 획득된 영상 그대로의, 영상 데이터의 손실이 없는 최고 화질을 의미한다. 압축률이 높을수록(저 비트율) 영상은 품질의 손실이 커지는 특성을 가진다.
Fig. 2의 전차장 운용(Commander Management), 전차장 조준(Commander Target), 포수 운용(Gunner Management), 포수 조준(Gunner Target) 전시기로 수신된 영상은 200 Hz의 주사율로 전시된다.
3.1 절과 3.2 절에서는 상용 표준 기반 영상 획득/가변 압축/전송/전시 시스템을 구성하는 조준경과 전시기를 모의하고, 모의기 내 영상 데이터 흐름도를 제공한다.

3.1 조준경 모의 및 영상 데이터 흐름

상용 표준 기반 영상 수집/가변 압축/선택 전송/선택 전시 시스템 모의를 위한 조준경의 영상 데이터 흐름도는 Fig. 3과 같다.
Fig. 3.
Video data flow in commercial standard-based sighting device
kimst-24-1-31f3.jpg
모의된 조준경은 영상 획득 장치(video acquisition device) 내 영상 센서로부터 30 FPS(Frames Per Second)로 출력되는 무압축 영상(RGB 포맷)을 YUV 포맷으로 변환한 후 HD-SDI(Serial Digital Interface)를 통해 영상 압축 보드(video compression board)로 전송하는 것으로 일련의 과정을 시작한다.
영상 압축 보드의 메모리(memory)로 입력된 YUV 영상 프레임(frame)은 영상 프로세서를 이용해 H.264 표준을 이용하여 압축된다. 압축된 영상은 인트라(Intra, I)-영상프레임과 예측된(Predicted, P)-영상프레임만으로 구성되어 단방향 예측 방식만을 채용하고, 압축 과정으로 인한 실시간성 저해를 방지하기 위해 양방향 예측 방식을 사용하는 양방향예측된(Bidirectional predicted, B)-영상프레임은 채용하지 않는다. 영상 압축 보드의 출력은 동기화된 압축된 영상 프레임과 압축되지 않는 영상 프레임이다.
RTP 서버 응용 프로그램(RTP server application)은 H.264로 압축된 영상 스트림을 멀티캐스트 방식으로 지정된 운용자 그룹에 전송하거나, 압축되지 않은 YUV 영상 스트림을 멀티캐스트 방식으로 지정된 운용자 그룹에 전송하거나, 두 가지 스트림 모두를 전송하는 방식을 선택적으로 사용할 수 있다.

3.2 전시기 모의 및 영상 데이터 흐름

상용 표준 기반 영상 수집/가변 압축/선택 전송/선택 전시 시스템 모의를 위한 전시기의 영상 데이터 흐름도는 Fig. 4와 같다.
Fig. 4.
Video data flow in commercial standard-based display device
kimst-24-1-31f4.jpg
모의된 전시기는 RTP 클라이언트 응용 프로그램이 멀티캐스팅된 스트림을 수신하면서 일련의 과정을 시작한다. 하나 이상의 H.264 영상 프레임 또는 YUV 영상 프레임의 수신이 완료되면 영상 전시 응용 프로그램(video display application)을 통해 복호/변환/전시 과정이 수행된다. 이 때 압축된 영상은 복호화(decoding)과정을 거치고, 무압축 영상은 복호화 과정을 거치지 않는다. YUV 영상 프레임은 RGB 변환과 렌더 과정을 거쳐 전시기에 전시된다.

3.3 상용 압축 표준

본 연구에서 모의한 상용 표준 기반 조준경 및 전시기는 상용 영상 압축 표준인 H.264(또는 Advanced Video Coding, AVC)이다. 국내외에서 가장 범용적으로 사용되는 이 영상 압축 표준은 ITU-T(International Telecommunications Union-Telecommunication standardization Sector) VCEG(Video Coding Experts Group)와 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) JTC(Joint Technical Committee) 1 MPEG(Moving Picture Experts Group)이 공동으로 표준화를 수행한 상용 표준이다.

3.3.1 압축 영상의 품질 측정 매개변수

전시기에 전시되는 영상의 품질 측정을 위해 본 논문에서 사용한 매개변수는 PSNR(Peak Signal-to-Noise Ratio)과 SSIM(Structural Similarity Index Map)이다.

PSNR

PSNR은 s는 영상 프레임 내 픽셀(pixel)의 최댓값에서 최솟값을 뺀 값으로, 예를 들어 회색조 영상일 경우 255-0=255이다. 단위는 데시벨(decibel, dB)이고 압축에 의한 품질의 손실이 적을수록 높은 값을 가진다. 손실 압축 기법을 사용하지 않은 원본 영상의 경우 (1)의 분자 값인 MSE(Mean Square Error)가 0이 되므로 값이 정의되지 않는다. PSNR은 클수록 영상 픽셀 값들이 원본 영상과 가깝다.
(1)
PSNR=10logs2MSE
본 연구에서 구성한 모의 시스템에서 영상 획득 장치가 구동하지 않는, 고정된 조건에서 PSNR을 이용한 영상 비트율 별 PSNR 측정 결과는 Fig. 5와 같고, SSIM 측정 결과는 Fig. 6과 같다. Fig. 5Fig. 6의 CAM1은 보행하는 사람을 촬영한 경우, CAM2는 움직임이 없는 사물을 촬영한 경우이다.
Fig. 5.
Rate-distortion curve of video acquisition device with fixed drive(PSNR)
kimst-24-1-31f5.jpg
Fig. 6.
Rate-distortion curve of video acquisition device with fixed drive(SSIM)
kimst-24-1-31f6.jpg
PSNR 측정 결과, 가변 압축 기능을 이용하여 영상 평균 비트율을 1 Mbps(1,000 kbps) 이상으로 설정할 경우 35 dB 이상, 10 Mbps(10,000 kbps) 이상으로 설정할 경우 40 dB 이상의 우수한 FHD 영상 품질을 제공할 수 있음을 알 수 있다.
SSIM 측정 결과를 보면, PSNR 대비 낮은 비트율 구간에서, 비트율 증가에 따라 품질이 향상되는 것을 확인할 수 있다. (2)로 계산되는 SSIM은 과거로부터 통용되어온 이미지 품질 파라미터인 PSNR이 픽셀의 값 차이만을 고려하는 단점을 보완한 것이다. 이것은 인간의 시각 인지 특성을 고려한 품질 평가 측정 파마리터로서 영상의 구조 정보 기반 품질 평가에 효과적이다. (2) 내의 l(A,B), c(A,B), s(A,B)는 각각 두 이미지(A, B) 간의 휘도, 대비, 구조를 비교한다.
(2)
SSIM(A,B)=l(A,B)c(A,B)s(A,B)
식 (3)(5)는 휘도, 대비, 구조 함수를 수식화한 것이다.
(3)
l(A,B)=2μAμB+C1μA2+μB2+C1
여기에서 μAμB는 이미지 A와 B의 내부 평균을 의미한다.
(4)
c(A,B)=2σAσB+C2σA2+σB2+C2
여기에서 σAσB는 이미지 A와 B의 내부 표준편차를 의미한다.
(5)
s(A,B)=σAB+C3σAσB+C3
여기에서 σAB는 각 이미지상의 내부 공분산을 의미한다. C1, C2, C3의 기본값 설정은 각각 C1=(0.01*L)2, C2=(0.03*L)2, C3=C2/2와 같이 정의되어 C3를 C2를 이용해 표현할 수 있다. 이에 따라 식 (2)식 (6)과 같이 표현될 수 있다. 동적범위값 L은 영상의 데이터 형에 따라 달라지는 값으로 본 논문에서는 255로 적용하였다.
(6)
SSIM(A,B)=(2μAμB+C1)(2σAB+C2)(μA2+μB2+C1)(σA2+σB2+C2)
이러한 특성으로 인해 PSNR은 픽셀 단위 노이즈가 값에 큰 영향을 주기 때문에 절대적인 영상 품질의 향상을 확인하는데 유용하고, SSIM은 전반적인 영상의 3가지 특징을 조합하여 사람이 인지할 수 있는, 영상 품질의 저하를 확인하는데 유용하다.
Fig. 7Fig. 8은 100 kbps 및 1, 10, 30 Mbps의 평균 비트율 설정을 적용하였을 때 실제 프레임 별 비트율과 PSNR 및 SSIM 결과를 도시하였다. 이 때 ‘CAM1’은 움직이는 피사체를 촬영하고, ‘CAM2’는 정지된 피사체를 촬영한 경우이다.
Fig. 7.
Frame unit PSNR measurement of video acquisition device with fixed drive
kimst-24-1-31f7.jpg
Fig. 8.
Frame unit SSIM measurement of video acquisition device with fixed drive
kimst-24-1-31f8.jpg
Fig. 7의 경우 I(Intra)-프레임과 P(Predicted)-프레임 간 품질 우위는 비트율 별 차이가 존재하지만 일반적으로 통용되는 I-프레임이 P-프레임 대비 높은 품질을 갖는 전형적인 현상을 확인할 수 있다. 이는 PSNR 측면의 품질은 비트율이 절대적인 영향을 끼친다는 것을 의미한다.
Fig. 7과 동일한 실험 환경에서 SSIM 측정 결과를 도시한 Fig. 8을 보면, I와 P-프레임 간 품질 우위가 절대적이지 않고, 비트율이 절대적인 영향을 끼친다고 볼 수 없다. 비트율이 약 1,022배 차이 나는 경우(Fig. 8 내의 A 및 B 군)에도 SSIM은 동일한 수치를 보이기도 한다. Table 2는 A 및 B 군에서 동일한 SSIM을 나타내는 표본을 ‘1000CAM1’의 P-프레임과 ‘10000CAM1’의 I-프레임 간 비트율 비 및 ‘1000CAM2’의 P-프레임과 ‘30000CAM2’의 I-프레임 간 비트율 비를 나타낸다.
Table 2.
Bit-rate difference between video frames with having the same SSIM
비트율 비 ‘10000CAM1’ / ‘1000CAM1’ ‘30000CAM2’ / ‘1000CAM2’
최소 차이 표본 간 비 109.9 232.6
최대 차이 표본 간 비 228 1022.9
평균 134.7 599.1
추가적인 특징은 일부 구간(C 군)와 나머지 구간(A 및 B 군) 간의 격차이다. 이를 통해 일정 수준 이하의 품질(PSNR 기준 30 dB 이하의 표본)을 배제하는 특성을 확인할 수 있다.
Fig. 7Fig. 8의 실험 결과를 통해 확인한 PSNR 및 SSIM의 특징을 이용해 본 논문의 4장에서는 PSNR 을 절대적인 품질 기준으로, SSIM을 품질 하한선을 확인하는 기준으로 활용한다.

영상 획득 장치의 회전 구동 및 회전 구동에 따른 영상 품질 측정 실험

4.1 영상 획득 장치의 회전 구동

본 연구에서는 지상 전투 차량의 포탑 구동과 같이, 영상 획득 장치의 고속 회전 구동에 따른 품질 분석을 위해 Fig. 9와 같이, 90 도의 화각을 가진 카메라가 좌우로 15 도 씩 30 도 회전시킨다. 이 때 영상 시퀀스의 좌우 끝 부분을 1920*1080의 해상도(FHD)로 획득 할 수 있도록 구성하였다. 영상 획득 장치의 회전 구동 속도는 Table 3에 포함되어있는 속도로 왕복 구동 할 수 있는 장치를 구성하였고, 그 형태는 Fig. 10과 같다.
Table 3.
Rotating speed of video acquisition device
deg/sec rad/sec mil/sec
0.5 0.0087 8.8889
1 0.0174 17.7778
5 0.0873 88.8889
10 0.1745 177.7778
15 0.2615 266.6667
Fig. 9.
Emulation of reciprocating rotation drive of the video acquisition device
kimst-24-1-31f9.jpg
Fig. 10.
Reciprocating rotation drive device
kimst-24-1-31f10.jpg

4.2 영상 획득 장치의 회전 구동에 따른 영상 품질 측정

영상 획득 장치의 회전 구동에 따른 영상 품질 특성 측정 실험을 위한 두 가지 영상 시퀀스(‘Bridge-far’와 ‘Bridge-close’)[10]는 동일 피사 대상(다리)을 근거리 및 원거리로 촬영한 시퀀스를 사용하였다. 실험에서 사용한 두 가지 영상 시퀀스는 영상 품질 관련 연구에서 물의 반사와 사람의 보행에 따른 영상의 움직임과 복잡도가 높고 낮은 경우의 비교 연구[11]에 활용되는 영상 시퀀스이다.
Fig. 11에 도시된 ‘Bridge-far’의 경우 약간의 물결과 물결에 의한 반사광이 존재하는 특징이 있고, Fig. 12에 도시된 ‘Bridge-close’의 경우 ‘Bridge-far’에 비해 큰 물결과 반사광이 존재하는 동시에 다수의 인원들이 통행함에 다른 움직임이 존재한다.
Fig. 11.
Long distance/low motion(simple) sequence: ‘Bridge-far’
kimst-24-1-31f11.jpg
Fig. 12.
Short distance/high motion(complex) sequence: ‘Bridge-close’
kimst-24-1-31f12.jpg

4.2.1 회전 구동하는 영상 획득 장치의 원거리 영상 획득 시 품질 측정

Fig. 1314는 영상 획득 장치가 회전 구동하는 조건에서 회전 구동 속도와 움직임/복잡도가 낮은 영상의 비트율에 따른 영상 품질 측정 결과를 도시하였다.
Fig. 13.
PSNR by rotating speed/video bit-rate of ‘far’ video
kimst-24-1-31f13.jpg
Fig. 14.
SSIM by rotating speed/video bit-rate of ‘far’ video
kimst-24-1-31f14.jpg

4.2.2 회전 구동하는 영상 획득 장치의 근거리 영상 획득 시 품질 측정

Fig. 1516은 영상 획득 장치가 회전 구동하는 조건에서 회전 구동 속도와 움직임/복잡도가 높은 영상의 비트율에 따른 영상 품질 측정 결과를 도시하였다.
Fig. 15.
PSNR by rotating speed/video bit-rate of ‘close’ video
kimst-24-1-31f15.jpg
Fig. 16.
SSIM by rotating speed/video bit-rate of ‘close’ video
kimst-24-1-31f16.jpg

4.2.3 영상 획득 장치의 회전 구동에 의한 영상 품질 특성 분석

영상 획득 장치의 저속 회전 시 영상 프레임의 전체가 움직임에 따라 전역 움직임 벡터가 발생하는 것과 같은 효과를 나타내었다. 화면 간 예측 방법을 사용하는 H.264와 같은 압축 표준에서 전역 움직임 벡터에 의한 품질 저하 방지는 영상 데이터 비트양의 증가를 수반한다. 전송을 포함하는 스트리밍 시스템에서 비트양의 급격한 변동은 지양해야하기 때문에, 특히 다중 채널/다중 운용자를 위한 시스템 동작에 적절하지 않다. 따라서 고정 비트율 적용 시 영상 품질의 저하가 발생하게 된다.
반면, 영상 획득 장치의 고속 회전 시에는 전역움직임벡터와 같은 효과 정도를 넘어서 화면 전환(scene change) 효과를 나타내어 저속 회전 대비 급격한 품질 저하 추세를 보였다. 화면 전환 효과가 발생할 시 품질 보장을 위해서는 화면 간 예측을 사용하지 않는 I-영상프레임이 필요하다. 그러나 I-영상프레임과 P-영상프레임을 혼용하는 영상 데이터 GOP(Group Of Picture) 구조는 영상압축기의 최초 구동 시에만 변경이 가능하다. 이러한 실험 결과에 따라 미래 지상 전투 차량의 운용성 향상을 위한 상용 표준 기반 영상 스트리밍 시스템을 위해서는, 압축 영상과 별도로 필요시 무압축 영상을 추출하여 전송할 필요가 있음을 확인하였다.
또한, 영상 품질 측정 매개변수에 관하여, PSNR은 측정값의 회전 구동 장치가 저속으로 회전할 때 측정값의 변화량이 적은 SSIM 대비 품질 변화 추세 파악에 용이하고, SSIM은 고속으로 회전하여 측정값의 변화량이 충분할 때, 영상의 품질의 하한선을 식별하는 기준으로 활용하는 것이 적절함을 확인하였다.

제공하는 시스템의 G2G 지연 시간 측정 및 분석

본 절에서는 제안된 시스템의 압축률 별 G2G 지연 시간 측정 결과를 제공한다. 제안된 시스템의 G2G 지연 요소는 Fig. 17과 같다.
Fig. 17.
G2G delay elements of the system
kimst-24-1-31f17.jpg

5.1 영상 획득 장치의 회전 구동에 따른 영상 품질 측정

본 절에서는 Fig. 2와 같은 네트워크 구성과 다중 사용자를 대상으로 한 멀티캐스팅 전송으로 인한 스위치 내 트래픽 부하에 의한 G2G 지연 영향을 분석하였다. 전송 방식을 실시예의 기본 전송 방식인 멀티캐스팅과 다중 사용자에 의한 네트워크 부하를 배제한 단일 사용자 대상 유니캐스팅으로 구분하여 G2G 지연을 측정하였다. Fig. 18은 두 가지 전송 방식의 평균 G2G 지연 측정 결과를, Fig. 19는 최소 G2G 지연 측정 결과를 도시하였다.
Fig. 18.
Average G2G delay by transport method
kimst-24-1-31f18.jpg
Fig. 19.
Minimum G2G delay by transport method
kimst-24-1-31f19.jpg
전송 방식 별 G2G 지연 실험 결과, 대역폭이 충분한 네트워크 구성품을 이용한 시스템 구성 시 (IEEE 802.3 규격의 기가비트 급 케이블 및 10 기가비트 급 스위치) Fig. 2에 도시된 바와 같은, 다중 채널/다중 사용자 구성에 따른 트래픽 부하와 영상 데이터 전송 방식에 영향이 없는 것을 알 수 있다. 다만, 실험 결과는 해당 영상 채널의 비트율이 증가함에 G2G 지연 또한 선형적으로 증가하는데, 네트워크 단 이후 영상 전시기에서의 수신/복호/전시 과정을 처리하기 위한 연산 부하로 인한 것으로 분석되었다.

결 론

본 논문에서는 네트워크 기반 다채널 FHD 영상의 실시간 운용전시 및 카메라 구동 속도/영상 압축에 따른 영상 품질과 G2G 지연을 분석하였다.
이를 위해 현재 군에서 운용중인 K계열 전투 차량의 아날로그 기반 영상 시스템을 네트워크 기반 모듈화된 구성으로 설계하고, 향후 무기 체계에 적용이 가능하도록 FHD 영상을 기준으로 모의하였다. 모의된 시스템은 네트워크 기반 영상 인터페이스의 적용으로 인해 운용자 구성, 장치 상태, 영상 품질 요구사항 등에 따라 적응적으로 영상 컴포넌트의 변경(압축 영상 과 무압축 영상)과 데이터양 제어(압축률 조정)이 운용 중에 가능하다.
이 시스템에 대한 영상 품질 측면의 실험을 통해 회전 구동하는 영상 획득 장치에 연동된 영상 압축 및 스트리밍 모듈의 경우 회전 구동에 극히 취약함을 분석하였다. 이를 통해 시스템 설계에서 제안한, 적응적인 비트율 제어 기능을 통해 고속 회전 구동과 같은 환경을 대비할 수 있어야 한다는 설계 고려사항을 도출하였다. 특히 고속 회전 구동으로 인한 화면 전환 효과의 경우, 고 비트율을 적용했음에도 품질 저하를 방지할 수 없었다. 이러한 급격한 품질 저하를 방지하기 위한, 필요시 무압축 영상의 순간적인 전송 및 전시 기능과 같은 지상 전투 차량용 압축 기반 다채널 영상 스트리밍 시스템의 개선 방안을 식별하였다.
또한 G2G 지연 측면의 실험을 통해 아날로그 기반 기존 시스템 대비 압축 조건에 따른 지연 시간 특성을 분석하였다. 분석 결과 영상 획득/전송/전시 과정에서 저성능의 전시 처리기로 인해 비트율이 증가함에 따라 G2G 지연이 증가함을 확인할 수 있었다. 이러한 결과를 통해 기존 플랫폼 개량 또는 미래 플랫폼 설계를 위해서는 영상 데이터의 요구사항이 증가한 만큼, 충분한 대역폭을 제공과 함께 전시 처리기의 성능 향상이 고려되어야 한다는 가이드라인을 도출 할 수 있었다. 또한 사격, 정밀감시, 상황판단 등 품질과 지연 요구사항이 상이한 응용방법 별 영상 품질과 지연 간 상관관계를 고려하거나 변경이 가능한 설계가 고려되어야 한다.
향후 연구에서는 상기의 개선 방안들을 적용하여, 유인체계 뿐만 아니라 무인체계의 품질 및 지연 요구 사항을 만족할 수 있는 시스템 설계를 제공하고자 한다. 이와 함께 지능형 영상 처리 알고리즘 적용 시 효과를 분석하여 본 연구의 미래 플랫폼 적용 가능성을 보이고자 한다.

References

[1] J. Kim, J. Min, K. Kwak, and K. Bae, "Traversable Region Detection Based on a Lateral Slope Feature for Autonomous Driving of UGVs," Journal of Institute of Control, Robotics and Systems, Vol. 23(2):pp. 67–75, February, 2017.
crossref
[2] J. Park, J. Han, J. Kim, N. Son, and S. Y. Kim, "Automatic Detection of Nearby Ships using Monocular Vision for Autonomous Navigation of USVs," Journal of Institute of Control, Robotics and Systems, Vol. 23(6):pp. 416–423, June, 2017.
crossref
[3] Y. Jin, Z. Qian, and W. Yang, "UAV Cluster-Based Video Surveillance System Optimization in Heterogeneous Communication of Smart Cities," IEEE Access, Vol. 8(1):pp. 55654–55664, March, 2020.
crossref
[4] J. Song, A. Park, and S. B. Lee, "Trend of Technology in Video Surveillance System," Journal of the Korea Society of Computer and Information, Vol. 25(6):pp. 57–64, June, 2020.

[5] A. Appathural, et al, "An Efficient Optimal Neural Network-Based Moving Vehicle Detection in Traffic Video Surveillance System," Circuits, Systems, and Signal Processing, Vol. 39(1):pp. 734–756, August, 2019.
crossref
[6] DoD, U. S."DoD Instruction 5000.02," Operation of The Defense Acquisition System, 2015.

[7] Y. H. Jung, B.-H. Park, K.-L. Roh, and B.-K. Lee, "Performance Improvement of the Key Components for the K2 MBT," KIMST Annual Conference Proceedings, pp. 1779–1780, 2017.

[8] Editorial Department of KDIA. "Defense & Technology," Korea Defense Industry Association, Vol. 1(498):pp. 25–26, August, 2020.

[9] X. Jian, W. Zhigong, and N. Xiaokang, "Design of High Speed LVDS Transceiver ICs," Journal of Semiconductors, Vol. 31(7):pp. 075014July, 2010.
crossref
[10] Video Trace Library, Available at. http://trace.eas.asu.edu/yuv/index.html/. Accessed 2020/11/05..

[11] G. M. Callico, et al, "Anisotropic Quality Measurement Applied to H. 264 Video Compression," VLSI Circuits and Systems IV, Vol. 7363(1):pp. 1–12, May, 2009.
crossref
TOOLS
Share :
Facebook Twitter Linked In Google+ Line it
METRICS Graph View
  • 0 Crossref
  •    
  • 1,936 View
  • 14 Download
Related articles in J. KIMS Technol.


ABOUT
ARTICLE CATEGORY

Browse all articles >

BROWSE ARTICLES
FOR CONTRIBUTORS
Editorial Office
160 Bugyuseong-daero 488beon-gil, Yuseong-gu, Daejeon 34060, Korea
Tel: +82-42-823-4603    Fax: +82-42-823-4605    E-mail: kimst@kimst.or.kr                

Copyright © 2024 by The Korea Institute of Military Science and Technology.

Developed in M2PI

Close layer
prev next