병사용 착용형 시스템은 복합 센서와 전시기가 탑재된 통합 헬멧과 통합처리기, 정보입력모듈로 이루어지며, 개발 시제품의 구성도는 Fig. 1과 같다. 헬멧에 탑재된 안테나와 통합처리기 내의 무선통신 처리 모듈은 무선 애드혹 환경에서의 송수신 기능을 제공한다. 헬멧에 부착된 전시기는 지도 및 영상 운용화면을 전시가능하며, 영상 운용화면은 6대의 영상 센서로부터 파노라믹 영상합성처리를 통하여 생성된 360도 전방향 영상에 대하여, 운용자의 가시영역을 고려하여 전방 180도 단위의 영상을 전시기에 전시한다. 통합처리기는 병사 또는 상위망 간의 명령, 첩보보고 등 전술 정보 송수신 처리, 병사 간 영상 공유 처리, 헬멧에 장착된 복합센서 신호처리, 병사로부터의 입력정보 처리, 운용화면 전시처리 등을 수행한다. 정보입력모듈은 손목장착형으로서 병사의 전문 작성을 위한 문자(text) 입력과 메뉴제어, 지도 확대/축소 등 화면제어 등의 기능을 제공한다.

작전환경에서 타병사로부터 공유되는 영상에서의 관심영역 화질 개선 문제와 관련하여 무선 환경 상에서 할당 가능한 대역폭이 매우 제한적이므로 고화질 영상의 실시간 스트리밍을 위해서는 높은 압축율과 빠른 압축/복원이 필수적으로 요구된다. 또한, 이동하며 임무를 수행하는 병사의 무선통신 상황은 실시간으로 변화하므로 비트레이트 정보를 동적으로 반영 가능해야 한다. 제한된 대역폭을 효율적으로 사용하기 위한 방법으로 관심 영역(ROI)에 대한 차등적 영상압축 기술을 적용시킬 경우 ROI의 화질을 개선시키는 대신, 비 ROI 영역에 대한 화질을 저하시킴으로서 동등한 대역폭 내에서 관심 영역에 대한 화질을 향상시킬 수 있다. ROI 설정 방식에 있어서는 표적, 지형, 사물 등 관심대상물의 움직임 또는 병사의 움직임에 따라 관심영역은 변화할 수 있기 때문에 관심영역(ROI)을 고정적으로 운용하기 보다는 동적으로 변경 가능해야 한다. 작전 중인 병사는 손을 이용한 마우스나 터치방식 등에 의한 제어에 제약이 있기 때문에 ROI 설정에 있어서 자동 설정방법 또는 자연스러운 방식의 제어 방법이 고려되어야 한다.

기존의 ROI 자동 추정 관련 연구로는 컨텐츠 분석을 이용한 접근 방법^[4,5]이 대다수를 이루며, 사람의 임의 ROI 지정에 의한 접근 방법^[6]을 이용한 실용화 사례가 제시되었다. 자연스러운 사용자 인터페이스에 관한 연구로는 헤드 장착형 전시기(HMD)와 가상현실(Virtual Reality, VR)을 위한 음성인식, 핸드제스처 등을 이용한 기술들이 연구기관과 일부 기업을 중심으로 활발히 수행 중에 있으나^[3], 응답속도, 정밀도 등의 성능이 운용성을 충족시키기 어려움에 따라, 현재까지 대부분의 상업용 가상현실 헤드 장착형 전시기는 손을 사용하는 컨트롤러 또는 버튼이 주를 이루고 있다.

본 논문은 병사용 착용형 시스템에서 효과적인 병사 간 영상 공유를 위하여 시선감지를 활용한 ROI 설정 및 영상압축 방법을 제안한다. Fig. 2와 같이 헬멧에 탑재된 시선감지센서 영상으로부터 시선방향 추적을 통하여 ROI를 설정하고, 무선상황에 따른 비트레이트 정보를 반영하여 영상을 압축함에 따라 병사가 손을 사용하지 않고도 자연스러운 방식으로 ROI 설정이 가능하며, 무선 환경에서의 가용대역폭 변화를 실시간 자동으로 반영 가능하다. 여기서 ROI 설정은 정적인 장애물, 지형지물, 이동 표적 등 다양한 관심영역의 대상에 대하여 ROI 영역의 위치 및 크기를 임의로 변경할 수 있도록 하기 위하여 시선위치 뿐 아니라 표적위치, 사용자 임의영역, ROI OFF 총 4가지 방법 중 선택 적용이 가능하도록 설계하였다. 시선위치 기반의 모드에서는 시선추적센서를 활용한 시선위치 추정에 의하여 자동 설정되고, 표적위치 기반의 ROI 설정은 표적탐지/추적에 의해 표적을 포함하는 복수개의 영역으로 자동 설정된다. 임의영역 ROI는 운용자가 화면 상에서 선택한 영역으로 설정되고, ROI OFF 설정시에는 균등압축을 수행한다. 영상압축 전송율 설정은 무선망 상태정보(bitrate)에 의한 자동 설정과 인 코딩시 하나의 그룹(Group Of Pictures, GOP)으로 묶이는 프레임 수, 초당 전송 프레임 수(Frame Per Second, FPS) 등 주요 압축 관련 파라미터의 수동설정이 가능하다. 비트레이트 및 ROI 설정에 따라 압축된 영상은 통신모듈을 통하여 타 운용자 단말기로 전달되며, 타 운용자 화면에 ROI 영역의 영상이 비 ROI 영역 대비 보다 선명하게 전시된다.

제안된 방법은 크게 운용단계와 초기설정 단계로 구분되며, 운용단계는 동공위치 검출 단계, 동공위치 보정단계, 시선위치 추정 단계로 구성된다.

프레임 단위의 동공위치 검출 단계의 구현을 위하여 F. Timm^[8]의 알고리즘을 적용하였다. 적용된 방법은 내적연산을 주로 사용하므로 디지털 신호처리기(Digital Signal Processor, DSP)에서 정해진 해상도의 입력에 대해 고정처리 시간을 가지며, 동공 이미지의 회전 및 조도 변화에 대한 안정적인 성능을 보이는 동시에 최적화가 용이한 장점을 갖는다. 동공위치 검출을 위한 F. Timm의 방법의 세부단계는 표준 입력 영상 획득 단계, 픽셀 단위 경사도 계산단계, 가중치 계산 단계, 동공 위치 추정 단계로 구성된다. 표준 입력 영상 획득 단계에서는 시선감지 IR 센서신호로부터 눈영역 영상을 획득하고 일정한 정의된 사이즈로 영상 크기 표준화, 전처리를 수행한다. 픽셀 단위 경사도 계산 단계에서는 영상 모든 픽셀을 대상으로 가로, 세로 방향의 경사도 벡터(gradient vector)를 계산한다. 눈썹, 머리카락 등의 노이즈 제거를 위해 각 벡터의 절대값에 대하여 임계치(threshold)를 적용한다. threshold T_g는 0보다 크며, 방향벡터 절대값의 평균 M_g와 표준편차 σ_g, 상수 k를 사용하여 (1)과 같이 계산하여 정의할 수 있다.

가중치 계산 단계에서는 렌즈 반사 등으로 인한 노이즈의 영향을 줄이기 위하여 가우시안 스무딩 처리를 수행하고, 피부보다 어두운 색상을 갖는 동공영역에 대하여 높은 가중치를 할당하기 위하여 반전 처리를 수행한다. 동공위치 추정단계에서는 이미지 상의 모든 점 x_i, i∊{1,…, N}에 대하여 각 점의 경사도와 동공중심점간의 이동벡터 간의 일치도를 내적연산으로 검사하여 최대가 되는 동공 위치 c를 추정한다. 최적의 동공 중심점 c^*는 (2)와 같이 계산된다.

여기서 c는 중심점 후보(possible center)이며, g_i는 이미지 상의 모든 점 x에서의 경사도 벡터, d_i는 정규화된 c와 × 간의 이동 벡터, w_c는 점 c에서의 가중치 값이다.

동공 위치 보정 단계에서는 눈의 깜빡임, 동공의 의도치 않은 위치 변화로 인한 문제를 해결하기 위하여 동공 위치를 보정한다. 동공위치 검출 알고리즘을 일정시간 동안 수행하여 임계치 이하의 점들을 제거하고, 임계치 이상의 동공 중심점 c^*를 수집한 후 meanshift 방식을 적용하여, 프레임 단위의 수집된 좌표들의 밀집영역 내 평균점을 좌표로 정하고, 신규프레임으로부터 검출된 동공위치 간의 오차가 최소화될 때까지 반복 수행하면서 동공의 위치를 갱신한다.

시선위치 추정 단계에서는 보정된 동공의 중심 좌표를 사전 설정된 각 영역의 기준좌표와 매칭하여 가장 가까운 영역을 현재의 시선방향으로 결정한다. 각 영역의 기준좌표와의 매칭을 위하여 (4)와 같이 최근접 이웃(nearest neighbor) 방법을 활용하였다. 여기서 x_n은 n번째 영역을 대표하는 y_n과 매핑된 동공중심 좌표로서 초기화 과정을 통하여 사전 설정된 좌표이다. 현재의 동공 중심좌표 x와 대응되는 현재 시선이 위치한 화면 상의 영역 y^(x)는 x와 최소거리를 갖는 x_n과 대응되는 영역 y_n으로 결정한다.

초기설정 단계는 최초 헬멧을 장착한 운용자 특성에 따른 인식율 변화를 최소화 하고 안정적 운용을 하기 위하여 필요하다. 운용자는 화면 상의 기준점 위치를 일정시간 응시하여, 동공위치 검출 알고리즘 수행을 통하여 동공 중심점 c^*를 수집하고, 수집된 점들 중 식 (4)의 최대값을 갖는 점을 해당 영역의 기준좌표로 설정한다. 화면 영역을 나누는 기준좌표의 설정 개수는 센서의 초당 프레임수, 해상도 등 센서 성능 뿐 아니라, 적용시스템의 장착환경, 요구 성능과 밀접한 관련이 있다. 따라서 적용 시스템 상에서 헬멧 장착 위치의 정면/측면 여부, 화면제어 정밀도에 관한 요구수준 등을 고려하여 정해야 한다. 다양한 상황을 고려하여 센서가 안정적으로 동작 가능하도록 화면 ROI 구역을 각각 3개, 6개, 9개 등으로 최소 단위로 분할한 후 기준좌표와의 거리를 통하여 해당영역을 판단하도록 설계하였다.

제안된 방법을 위한 영상압축처리 단계는 Fig. 3과 같이 영상 ROI 감지 단계, 영상 압축 파라미터 설정 단계, ROI 영상압축처리 단계로 구성된다. 영상 ROI 감지 단계에서는 입력장치를 이용한 사용자 입력을 통하여 ROI 모드 정보와 그에 따른 사용자 설정 파라미터를 입력받는다. 또는 표적추적 및 시선감지 알고리즘을 통하여 자동적으로 ROI 영역을 감지한다. 압축 파라미터 설정 단계에서는 지정된 압축방식이 망 상태를 고려한 자동설정 모드인 경우, 무선통신 상태에 따른 비트레이트 정보를 수신하여 전체 가용 대역폭을 자동적으로 설정하고, 운용자 설정 모드인 경우, 사용자 입력 파라미터(비트레이트, GOP, FPS 등)에 따라 압축률을 설정한다. ROI 설정은 ROI 지정 모드에 따라 표적 ROI의 경우, 표적이 위치한 영역의 ROI 영역의 정보로 갱신한다. 표적이 2개 이상인 경우, ROI를 각각 설정하거나, 모든 표적 위치를 포함하는 영역의 ROI로 설정할 수 있다. 시선추적 ROI의 경우, 수신된 시선위치 값을 통해 ROI 영역 정보를 구한 후 갱신한다. 임의영역 ROI 모드에서는 운용자가 선택한 영역에 대하여 ROI를 갱신한다. ROI OFF이면 ROI 설정을 해제한다.

영상 압축단계에서는 설정에 따라 영상압축처리 및 수신 영상에 대한 설정정보를 이용한 복원처리를 수행한다. 영상 압축을 위해서는 다양한 상용기술이 있지만, 그 중에서 고화질영상의 스트리밍에 가장 많이 사용되고 있는 Mpeg4(H.264)^[7]를 채택하였고, 신속한 ROI 압축처리를 위하여 하드웨어 방식의 압축 코덱을 적용하여 설계하였다. 적용된 압축처리기(코덱)는 ROI 영역의 고화질(High Definition, HD) H.264 방식의 비선형 압축처리 기능을 제공하고, SVC(Scalable Video Coding) 기술 적용을 통한 다양한 프레임율 적용이 가능하다. 이에 따라 제안된 방법에서 요구되는 ROI 차등압축 기능과 망 상태에 따른 비트전송율 실시간 설정 기능을 지원 가능하다.

시선위치 추정 알고리즘 검증을 위한 개발 및 실행환경은 Intel Core™ i7-860 프로세서 기반의 윈도우7이며, 실제 탑재될 임베디드 환경을 고려하여 영상처리 라이브러리는 사용하지 않고 c++로 구현하였다. 시선감지센서의 입력 영상 프레임레이트는 60 fps이며, 눈 영역이 포함된 영상의 표준 크기는 50×42 화소(pixel), k값은 0.9로 설정하였다. 각 단계별 실행결과로서 Fig. 4.(a)는 크기 정규화 결과이며, (b)는 가중치 계산을 위한 스무딩 및 반전처리 결과이다. 최종적으로 Fig. 4.(c)와 같이 동공 중심 위치가 잘 검출되었음을 육안으로 확인 가능하다.

영상전시를 위해 요구되는 프레임율이 30 fps일 때 시선감지처리, 압축처리, 전시처리를 병렬 처리하도록 설계할 경우 각각의 프레임 별 최대 처리가능 시간은 33.33 ms이다. 시선위치 추정을 위한 전체 수행시간 중에서 상대적으로 긴 시간이 소요될 것으로 예상되는 주요 처리절차에 대한 단계별 수행시간 측정 결과는 Table 1과 같으며, 총 수행시간은 20 ms로서, 병사 간 영상 ROI 설정을 위해 제시된 시선감지 알고리즘을 적용할 경우 처리 시간 측면에서의 요구조건이 충족됨을 확인 가능하다.

Fig. 5는 각 프레임 단위의 동공위치 좌표 수집 결과로서, 식 (4)로부터 구한 confidence 값이 변화함을 보여준다. 동공위치 보정 단계에서 아웃라이어(outlier)의 제거를 위하여 초기설정 단계에서 프레임 단위 동공 중심점들을 수집한 후, 식 (4)의 최대값(confidence)을 기준으로 80 %인 값을 임계치로 설정하여 운용 단계의 동공 위치 위치보정 과정에서 활용하였다. Fig. 6은 시선감지 센서 위치에 따른 눈의 입력 영상이 정면이 아닌 다소 비스듬한 입력 영상임에도 불구하고 제안된 방법에 따라 시선위치 추정이 수행되고 있음을 보여준다. 시선을 각각 좌측, 중앙, 우측으로 움직임에 따라 정상적으로 시선위치가 추정됨을 확인하였다.

ROI 압축된 영상의 ROI 영역 및 비 ROI 영역에서 화질 개선 및 저하 여부에 대한 검증을 위하여 균등압축 영상에서의 해당 영역 화질과 비교하였다.

영상 왜곡에 대한 화질 평가 방법으로 개개인의 주관적 평가에 의한 방법은 시간과 비용 소모가 크기 때문에 정량적으로 계산하는 방법에 관한 많은 연구가 수행되고 있으며, 그 중 가장 널리 알려진 품질평가 방식은 PSNR로서, 신호의 최대 가능출력과 손실 노이즈 간의 비율을 계산하는 방식이다. PSNR 계산식은 (5)와 같다. 여기서 f(x,y)는 원본영상의 픽셀 값이 며, g(x,y)는 압축영상의 픽셀 값이다. m은 수평 화소수, n은 수직 화소수, B는 채널에 대한 비트수이다. 칼라영상에서의 PSNR은 (7)과 같고, w1, w2, w3는 칼라영상에서 R, G, B 각각에 대한 가중치이다. PSNR의 장점은 계산이 단순하고, 물리적 의미가 명확하여 광범위하게 활용되고 있으나, PSNR은 인간의 시각적 품질 인지 특성과 부합되지 않는다는 단점이 있다.

한편, 인간의 시각 시스템(Human Visual System) 인지에 최적화된 이미지 평가 기법과 관련된 연구가 활발히 수행되고 있으며, SSIM(Structural SIMilarity)^[9]은 가장 많이 알려진 도구 중 하나이다. SSIM은 두 이미지 간의 픽셀단위의 차이를 계산하는 MSE 방식과 달리, HVS의 인지에서 중요한 영향을 미치는 휘도(luminance), 명암비(contrast), 구조(structure)적 차이를 고려하여 전체 이미지 품질을 표현하는 방식으로 0~1 사이 값을 가지며, 1일 경우 100 % 원본과 동일함을 의미한다. SSIM의 계산식은 식 (8)과 같이 표현되고,

여기서 μ_x와 μ_y는 각 이미지 상에서 윈도우의 내부 평균을 의미하고, σ_x와 σ_y는 내부 편차, σ_xy는 내부 공분산을 의미한다. 최종적으로 레퍼런스 이미지 X와 왜곡된 이미지 Y간의 MSSIM은 각 윈도우에서의 SSIM의 평균으로 아래 식 (8)과 같이 계산된다.

실험을 위한 개발환경은 Intel Core™ i5-3570CPU @ 3.40 GHz, RAM은 8 GB이며 사용된 리눅스 커널 버전은 2.6.22이다. 실행환경은 DSP기반의 개발용 보드로서 크로스컴파일 및 압축 기능 구현을 위하여 TI 사의 dvsdk^[10]를 활용하였다. 본 실험을 위하여 사용한 원본 영상은 야외에서 촬영한 2종의 영상으로서, 사람이 카메라로부터 25 m 거리에서 좌우로 이동하는 영상(videoA)과 50~300 m 거리를 앞뒤로 이동하는 영상(videoB)이다. 원본영상으로부터 ROI 압축영상과 균등압축 영상을 생성하였고, 원본 및 압축영상 모두 1920 ×1080의 해상도를 갖는 RGB 8 bit 영상이며, frame rate은 25 fps이다. 화질측정을 위한 ROI 영역(Fig. 7 적색박스)은 전체화면의 9등분 중 2개영역에 해당하는 영역의 x, y, width, height(640, 360, 640, 720)를 설정하였고, 비교실험을 위한 비 ROI 영역은 ROI를 제외한 나머지 영역 중에서도 ROI 영역과 동일한 크기의 영역(0, 360, 640, 720)으로 설정하였다. 대역폭은 전장의 무선통신 환경 하에서 다수의 병사 간 영상공유를 위하여 실질적으로 할당 가능한 대역폭 수치로서 균등압축과 차등압축 모두 1 Mbps로 설정하였다. 원본영상으로부터 생성된 균등압축과 ROI/NROI 차등압축 영상의 초당 비트전송율은 Table 2와 같으며, 여기서 비압축 RGB 8비트 영상의 초당 전송율이 1.24 Gbps임을 고려할 때 원본영상은 wmv파일로 저장되는 과정에서 상당한 손실압축이 반영되었음을 확인 가능하며, (b)의 균등압축 영상과 (c)의 ROI 및 비 ROI 차등압축 영상은 약 0.85 정도로 1 Mbps를 초과하지 않는 선에서 유사한 수준의 초당 비트 전송율을 갖도록 압축되었음을 확인 가능하다.

본 논문에서는 2종의 테스트영상에 대하여 균등압축 영상, ROI 차등압축 영상을 생성하고 ROI 영역과 비 ROI 영역에 대하여 주관적 방법 및 객관적 방법으로 화질 비교를 수행하였다. Fig. 7은 주관적 비교를 위하여 25 m 영상에서 추출한 예시이다. Fig. 7의 (a)와 (b)는 사람이 ROI 영역(A)과 비 ROI 영역(B)에 있을 때의 화질 차이를 보여주며, A보다 B에서 확연한 화질 저하를 확인 가능하다. (c)와 (d)는 ROI 차등압축 영상과 균등압축영상에서 사람이 동일한 ROI 영역 내에 있을 때의 화질 차이를 보여주며, C의 화질이 D보다 약간 더 선명함을 확인할 수 있다. Fig. 8과 9는 25 m 영상과 50~300 m 테스트 영상에 대하여 정량적 수치에 의한 객관적 비교를 위해 PSNR과 MSSIM을 계산한 결과이다. PSNR1과 MSSIM-R1, G1, B1은 균 등압축에 대한 수치 그래프로서 ROI 영역과 비 ROI 영역에서 약간의 변동은 있으나 비교적 균등한 수치를 보임을 확인할 수 있다. PSNR2 및 MSSIM-R2, G2, B2는 ROI 차등 압축에 대한 그래프로서 ROI 영역에서의 수치가 각각 균등압축보다 높은 값을 보이고 있으며, 비 ROI 영역에서는 균등압축보다 큰 폭으로 낮은 수치를 보임을 확인할 수 있다. Table 3은 2종의 영상에 대한 화질 측정 평균값으로서 PSNR의 경우 ROI 영역에서의 균등압축시 25~26 dB 사이의 평균값을 보이며, 차등압축시의 약 27 dB로 1~2 dB 정도 높게 나타났다. 비 ROI 영역에서는 균등압축시 25~26 dB 사이의 평균값을 보이며, 차등압축시 약 22 dB로서 균등압축 대비 3~4 dB 정도 낮게 나타났다. MSSIM의 경우 ROI 영역에서는 균등압축시 각각 74.45, 76.53 % 원본과의 유사도를 보이고, 차등압축시 81.46, 83.01 %의 균등압축 대비 향상된 유사도를 보인다. 반면, 비 ROI 영역에서는 균등압축시 67.8, 70.17 %에 비해 차등압축시 40.63, 41.61 %으로 유사도가 상당히 낮게 나타났다. 즉, 1 Mbps의 제한된 통신환경 하에서 균등압축에 비하여 ROI 영상 압축시 ROI에 대한 개선된 화질로 병사 간 영상 공유가 가능함을 확인하였다. 화질 개선의 정도는 전체영상에서 ROI가 차지하는 면적의 크기, ROI와 NROI 영역 간의 비트(bit) 분배율과 밀접한 관련이 있다. 본 실험에서는 압축기에서 제공하는 1~5단계 중 3단계를 적용하여 실험하였다. 분배율 차이를 크게할 경우 1 Mbps 환경에서 NROI의 화질이 크게 저하되며, 분배율 차이를 낮출 경우에는 균등압축과 유사해지는 결과를 보인다. 향후, 표적 존재유무, 크기 등 상황에 따라 ROI 크기를 변화시키며 비트를 적응적으로 분배할 경우 제한된 대역폭을 보다 효율적으로 활용할 수 있을 것이다.