2.3.1 기계를 위한 비디오 부호화

인공지능의 발달로 기계의 관점에서 영상을 이해하고 처리하는 소요가 늘어나고 있다. 즉, 일상위험감지 (Surveillance), 지능형 교통시스템(Smart Traffic System), 스마트시티(Smart City), 스마트 제조(Intelligent Industry), 지능형 콘텐츠 등의 기계 비전(Machine Vision) 애플리케이션 수행을 위해 기계 입장에서 다양한 객체검출(Object Detection), 객체추적(Object Tracking)을 위한 영상처리가 필수적이다^[1].

따라서 앞에서 살펴본 기존의 비디오 영상 부호화 표준은 인간의 시각 시스템에 적합한 형태로 표준화가 진행되었다면, 앞으로는 기계의 입장에서 효율적인 임무 수행을 위한 비디오 영상 부호화 표준이 필요하게 되었다. 이에 MPEG 표준화 그룹에서는 MPEG-VCM (Video Coding for Machines) 그룹을 결성하여 비디오 영상 부호화 표준 개발을 시작하였다^[1].

Fig. 4는 기계를 위한 비디오 영상 부호화 표준화 요구사항에서 명시하는 VCM의 구조의 일례를 나타낸다. 그림에서 볼 수 있듯이, 기계를 위한 특징추출 (Feature Extraction)을 Neural Network Task(part 1)에서 수행하고, VCM 부호화/복호화를 거친 복원특징(Reconstructed Feature)을 가지고 Neural Network Task (part 2)에서 원하는 기계 비전 업무를 수행한다.

Fig. 4.

An example of possible VCM architecture^[1]

또한, VCM 표준화는 두 트랙(Track)으로 표준화가 진행되고 있으며, 트랙 1은 특징부호화트랙(Feature Coding Track)이며, 트랙 2는 이미지/비디오 영상부호화트랙(Image and Video Coding Track)이다. 트랙 1은 영상 또는 비디오로부터 기계 비전 네트워크의 출력인 특징 지도(Feature Map)를 부호화하는 기술을 의미하며, 트랙 2는 영상 또는 비디오 입력을 받아서 압축/복원을 수행한 복원 영상을 이용하여 기계 비전 업무를 수행하는 부호화 기술을 의미한다. 더 나아가, 트랙 2의 기술은 세부적으로 전처리 기반의 영역기반 접근방식(ROI based Approach)과 딥러닝 기반 종단 간 영상 압축(End-to-End Image Compression) 방식이 연구되고 있다.

2.3.2 신경망 기반의 종단 간 영상 부호화 기술

신경망 기반의 종단 간 영상 부호화 기술은 원본 영상데이터를 입력으로 받아서 부호화된 압축데이터를 생성하고, 이를 다시 복호화하여 원본과 유사한 영상을 출력하는 전체 과정을 신경망 모델이 처리하는 기술이다. Fig. 5는 신경망 기반 영상 부호화 방법의 구조 예시를 보여준다. 특히 영상 부호화에 사용되는 변환(Transform)처리 부분을 신경망(Neural Network)으로 구성하는 기술이 최초제안 되었고, 기본 신경망 구조는 3단계의 구조를 가지며 각 단계에서는 합성 곱(Convolution), 풀링(Pooling), 활성화(Activation) 과정이 수행된다^[8]. 이러한 구조는 입력 영상을 저차원 잠재 공간(Latent Space)으로 변환한 뒤, 이를 다시 원본 영상으로 복원하는 과정의 오토인코더(Autoencoder) 구조를 가지며 이러한 과정을 통해 영상 압축이 수행된다. 하지만 양자화(Quantization) 수행으로 연속신호가 불연속 신호로 변화되어 미분할 수 없게 되는 문제점이 있다. 즉 신경망 학습에 중요하게 사용되는 역전파(Backpropagation)가 불가능하여 학습을 수행할 수 없게 된다. 따라서 상기 신경망 기반의 영상 부호화 방법에 새로운 양자화 근사화 방법을 제안하여 학습할 수 있게 하였고, 양자화된 심볼과 그 확률을 기반으로 산술부호화(Arithmetic Encoding)를 수행하여 최종 부호화 비트를 생성하였다. 반대로 복호화의 과정은 생성된 부호화 비트를 산술복호화(Arithmetic Decoding), 역양자화를 수행 후 이를 이미지합성(Synthesis) 신경망을 통해 최종 복원 영상을 만들어 내므로 영상 압축복원을 수행한다.

Fig. 5.

An structure of neural network based end-to-end image compression

이 기술은 추후 영상 부호화에서 비디오 영상 부호화로 확장되었고, 화면 간 예측에 중요한 역할을 하는 움직임 벡터(Motion Vector) 예측에 신경망 구조가 적용되어 비디오 영상 부호화가 진행되었다^[9].

2.3.3 암시적 신경망 표현

암시적 신경망 표현(Implicit Neural Representation, INR)은 신경망을 통해 데이터를 암시적으로 표현하는 방법이다. 이 방법은 영상의 2차원 좌푯값을 받아 해당 위치의 화소값을 출력할 수 있으며, 데이터를 신경망의 파라미터로 표현하므로 저장공간을 줄일 수 있는 특징이 있다. 따라서 영상 및 비디오 영상을 신경망 모델을 이용한 부호화를 통해 압축할 수 있고, 다시 신경망 모델을 이용한 복호화가 가능하여 차세대 비디오 표준화의 요소기술로 적용될 수 있다. 뿐만 아니라 3차원 데이터처리에 적용될 시 3차원 데이터의 효율적인 저장과 렌더링에 응용될 수 있다. 이러한 기술적인 특징 및 장점으로 비디오 영상 부호화 측면에서의 표준화 기술 개발이 시작되었고, 2차원뿐만 아니라 3차원 영상의 표현 및 압축 성능검증에 지속적인 연구가 이루어지고 있다^[10].

다시 말하면, 암시적 신경망 표현은 데이터를 근사할 수 있는 함수 표현의 파라미터 값을 저장하여 그 파라미터로 데이터를 복원하는 것에 초점을 둔 기술이다. 반면 2.3.2절의 신경망 기반의 종단 간 영상부호화기술은 영상의 공간적/시간적 중복성을 줄이려는 방안으로 오토인코더 구조를 사용하였고, 전통적인 블록 기반 압축기법 대비 압축 성능을 향상하는 것에 초점을 둔 기술이다.

2.3.4 신경망 모델 압축표준

신경망 모델 구조는 다양한 활용 분야에서 기존의 전통적인 방법대비 큰 성능개선이 이루어지고 있다. 하지만 신경망의 계층이 깊어짐에 따라 신경망 학습에 필요한 파라미터의 수가 기하급수적으로 증가하게 되어 소형 모바일 내장형 기기에서의 사용에 큰 제약이 있다. 또한, 실시간 응용 프로그램에서 동작하기 위해서는 모델의 소형/경량화를 통한 저장공간 절약 및 네트워크 전송 효율을 높여야 할 필요성이 있다.

따라서 신경망 모델을 소형/경량화시키면서도 신경망 모델의 성능을 최대한 유지할 수 있는 기술표준의 소요가 있었고, MPEG 그룹에서 Compression of Neural Networks(NNC)에 대한 연구가 진행되었다^[11]. 이를 위해 신경망 모델에 사용되는 파라미터의 정밀도를 낮추어 신경망 모델의 크기를 줄이는 양자화 기술, 신경망 내부의 비중요 뉴런을 제거하는 프루닝(Pruning)기술 등이 주로 사용되어 신경망 모델의 압축 성능을 향상했다. 이러한 신경망 모델 압축기술은 모바일 내장형 기기, 데이터 클라우드, IoT(Internet of Things) 기기 등에 배포되어 다양한 애플리케이션 개발에 활용될 수 있는 특징이 있어 앞으로도 지속적인 기술연구가 필요한 분야이다.

3.1.1 R-Q 모델

MPEG-4 표준에서는 비디오 영상 부호화 과정을 거쳐 생성된 양자화 변환계수(Quantized Transformed Coefficients, QTC)를 테일러 시리즈(Taylor Series)로 전개하면 다음의 이차식 모델을 만들 수 있다^[12].

여기서 c₁와 c₂는 비디오 컨텐츠 특성에 따른 모델 파라미터를 나타내고, Q는 QP를 나타내며, R은 특정 부호화 레벨에 대한 목표 비트량을 나타낸다.

이전의 H.264/MPEG-4 AVC^[4] 및 HEVC^[5]와 같은 비디오 영상 부호화 표준에서는 비트율 추정 정확도를 높이기 위해 픽셀 강도의 기울기를 활용하였다^[13-17]. 또한, 변환계수(Transformed Coefficient, TC) 값을 모델링 하기 위해 Laplacian, Cauchy 및 Gaussian과 같은 다양한 확률 밀도 함수(Probability Density Function, pdf)가 R-Q 모델의 정확도를 높이기 위해 고려되었다^[18,19]. R-Q 모델의 특별한 경우로서, TC 값 pdf 모델의 QTC 중 0의 백분율인 ρ를 선형 함수로 활용하는 방식이 있는데, 이를 R-ρ 모델이라 하고 다음의 수식으로 표현된다^[20].

여기서 (1-ρ)는 프레임에서 0이 아닌 QTC의 백분율을 나타내며, θ는 모델 매개 변수이고, N은 프레임의 전체 픽셀 수를 나타낸다.

HEVC 표준화 초기 단계에서, R-Q 곡선이 다양한 CU의 동일 깊이 수준에서 거의 유사하다는 관찰에 기반하여 픽셀 단위의 통합 비트율 양자화(Unified Rate Quantization, URQ) 모델이 제안되었다^[21]. 반면, 다양한 CU 깊이 수준에서의 pdf 특성을 활용하여 R-Q 혼합 모델에 대한 여러 방안이 제안되었다^[22-25]. 아울러, Kullback-Leibler 발산을 최소화하는 합성 pdf 모델이 제안되었고, 그 합성 pdf 모델을 R-ρ 모델과 결합하여 R-D 추정 정확도를 높였다^[26].

QP가 증가함에 따라, 부호화된 비트에서 비텍스처 비트(ex. 헤더 비트)의 비율이 HEVC 표준에서 급격히 증가하게 되었다^[23]. 따라서 기존의 R-Q 모델은 비텍스처 비트를 거의 다루지 않기 때문에 비트율 추정 성능이 저하되는 단점이 있다. 이러한 문제를 극복하기 위해 텍스처 비트와 비텍스처 비트를 각각의 모델로 별도로 추정하는 방법이 제안되었다^[23,25]. 비록 이 방법들은 HEVC 표준에서는 성공적으로 동작했으나, Fig. 3에서 이미 언급한 바와 같이 최신 비디오 영상 부호화 표준인 VVC에서는 부호화 깊이 수준이 많이 증가하여 비디오 영상 부호화를 위한 계산 부담이 가중되는 단점이 있다. 더욱이, R-D 성능 향상을 위해 방사형 기저 함수(Radial Basis Function, RBF) 네트워크를 사용하는 라플라시안 혼합 모델(Laplacian Mixture Model, LMM)을 적용하면 계산 복잡도가 더욱 많이 증가한다^[25]. 따라서 다중 깊이 CU를 위한 R-Q 모델은 더 깊은 다수의 CU에서 얻은 잔차(Residues)를 처리하는 데에 계산적인 부담이 있어 실시간 구현에 큰 어려움이 있다.

3.1.2 R-λ 모델

기존의 R-Q 모델은 H.262/MPEG-2 13818-2^[3]와 H.264/ MPEG-4 AVC^[4]를 위해 개발된 것으로, 비디오 영상 부호화 기술의 발전에 따라 새로운 표준화 기술에 적합한 비트율 추정 방법이 필요하게 되었다. HEVC^[5] 표준에서는 인코딩된 비트가 다양한 화면 내 및 화면 간 예측 모드의 부호화 매개 변수에 영향을 받는 특징이 있으므로 QP가 최종 부호화 비트량을 결정하는 유일한 요소라 보기 어렵다. 따라서 R-Q 모델을 대신하여, QP(또는 비트율)와 R-D 곡선의 기울기를 나타내는 라그랑지안 승수 λ 사이의 관계를 이용한 다양한 모델이 제안되었다^[27-29].

비트율-왜곡 최적화(Rate Distortion Optimization, RDO)^[30] 관점에서 화질 왜곡(D)은 주어진 비트 예산(Rate Budget, Rb) 내에서 비트율(R)을 최소화하도록 계산되어야 하며 수식으로 표현하면 다음과 같다.

라그랑지 승수 방법을 통해^[31], (3)은 다음과 같이 비구속 문제(Unconstrained Problem)로 표현될 수 있다.

여기서 J는 R-D 비용 함수이고, λ는 라그랑지 승수이다. 또한, Mallet 등은 R-D 곡선이 직사각형 쌍곡선 함수로 표현될 수 있음을 확인했고, R-D의 관계를 다음의 수식으로 표현하였다^[32].

여기서 φ와γ는 모델 매개 변수이다. R-D 곡선은 미분 가능하므로, (5)는 다음 식으로 재표현될 수 있다.

(6)을 정리하여 유도한 R-λ 모델은 다음과 같다.

여기서 α와 β는 R-λ 모델의 매개 변수를 나타낸다. 또한 (7)의 R은 텍스처와 비텍스처 비트를 모두 포함하는 반면, (1)의 R은 텍스처 비트만 포함한다.

상기 R-λ 모델의 정확한 R-D 모델링 성능 덕분에, R-λ 모델 기반 RC 알고리즘이 HEVC Reference SW Model(HM)에 채택되었다^[27,29]. 그러나 (7)의 모델 매개 변수는 이전에 부호화된 데이터를 통해 추정되는 구조이므로, 이전에 부호화된 데이터가 비선형 특성을 가지면 R-D 모델링 성능이 저하될 가능성이 크다.

3.2.1 파티클 필터링 기반의 R-Q 모델

기본적으로 RC 모델의 성능을 좌우하는 것은 비트 예측 성능이다. 즉 최종 부호화 비트를 잘 예측하면 비트율-제어 성능을 높일 수 있다. 비디오 영상 부호화 효율성을 높이기 위해서 2.2절에서 설명한 것처럼 다양한 비디오 영상 부호화 기술들이 접목되고 있다. 그에 따라 비디오 영상 부호화 결과로 나오는 비트나 화질의 값이 굉장히 무작위적이고 불안정해지는 특성이 있어서 최종 부호화 비트의 예측에 어려움이 증가하고 있다.

파티클 필터링은 위치추정이나 시계열예측 같은 공학 및 경제 분야에 사용되는 예측기법으로, 비디오 영상 부호화의 R/D 모델에 적용되어 큰 효율을 나타내었다^[7]. 파티클 필터링을 통한 예측을 수행하기 위해서는 임의의 파티클을 무작위로 생성하고 초기예측을 수행하게 되는데, 특히 순차적 중요 재 표본화(Sequential Importance Resampling, SIR) 알고리즘을 사용하여 초기예측값의 확률을 업데이트하는 일련의 과정을 반복수행하여 예측 성능을 향상하는 특징이 있다. 또한, 이전의 필터링 방법(ex. 칼만 필터)과 비교하여, 예측을 위한 제약조건(cf. 다른 기법의 경우 가우시안 같은 사전 pdf 모델이 필요)이 없으므로 무작위로 생성되고 표본화된 입자로부터 예측값을 얻는 데에 매우 유용한 확률적 추정 방법이다.

파티클 필터링에 사용되는 마르코프 과정(Markov Process)과 베이지안 이론(Bayesian Theorem)에 의해 사전확률과 사후 확률이 다음의 수식으로 표현된다.

여기서 (8)은 사전확률, (9)는 사후 확률을 나타내며, x¯k는 시간 k에서의 무작위 파티클 벡터, y¯k는 SIR 알 고리즘에 의해 가중치가 업데이트된 파티클 벡터이다. 또한 P(x¯k|x¯k−1)는 시간 (k-1)과 시간 k 사이의 상태 변화 pdf,P(x¯k|y¯k−1)는 시간 (k-1)에서의 사후 확률, P(y¯k|x¯k)는 우도 확률(likelihood pdf),P(y¯k|y¯k−1)는 상 수이다. 파티클 필터링은 (8)과 (9)의 과정이 상호 보완되는 과정을 통하여 예측 성능을 높이는 구조임을 확인할 수 있다.

파티클 필터링 기반의 R-Q 모델에서는 생성하려는 파티클을 임의의 비트값으로 생성하고, 이를 필터링 과정을 수행하여 최종 부호화된 비트값을 예측하는 것이다. 또한, 임의의 비트값 파티클을 이용하여 다음 프레임의 비트값을 예측하기 위해서는 프레임 간 화질 왜곡 값의 비율을 이용하며 다음의 수식으로 표현된다.

여기서 D는 평균 제곱 오차(Mean Square Error, MSE)를 의미하고, i와 (i-j)는 프레임 번호를 의미한다. α는 비트율 조정 파라미터로 상숫값이다.

따라서 다음 프레임 예측을 위해 생성된 비트값 파티클은 다음의 수식으로 표현된다.

여기서 b¯i+1 및 b¯i 는 벡터로 표현된 (i+1) 및 i 번째 프레임의 N개의 비트값 파티클이며, B_i 는 비디오 영상 부호화 결과 얻어진 i 번째 프레임의 스칼라 비트값이다. (11)의 비트값 파티클들은 SIR 및 확률 정규화(Normalization) 과정을 거쳐 다음의 (12)와 같이 표현된다.

여기서p(b_i+1)는 b¯i+1 의 pdf를 의미하며, c¯i+1 는 확률 정규화 과정을 거쳐 생성된 (i+1) 번째 프레임의 파티클(N개)의 확률이다. 따라서 이렇게 생성된 (11)과 (12)의 비트값 파티클 및 해당 확률값의 내적으로 최종 예측 비트값이 다음의 수식으로 계산된다.

(13)으로 계산된 최종 예측 비트값을 부호화의 목표 비트로 할당하여 부호화하면 R-λ-Q 관계에 의해 비트율-제어가 이루어진다.

3.2.2 라그랑지 계수 조정을 통한 비트율-제어

전통적인 비트율-제어 방법에서는 QP 값과 비트값의 관계로 비트율-제어를 수행하는데, 프레임 간 텍스처의 형태가 다양하여 프레임 간 비트 변화량이 큰 경우가 있다. 이러한 조건에서 더 효율적으로 비트율-제어를 하는 방법으로 비디오 영상 부호와의 RDO 단계에 사용되는 라그랑지 계수 λ를 조정하여 비트율-제어 효과를 극대화하기도 하였다^[33].

이 방법은 구조적으로는 3.2.1절 사용된 방법과 동일하게 파티클 필터링을 수행하였으나 파티클 필터링에 적용한 파티클의 값을 비트율(R)이 아닌 화질 왜곡(D) 값으로 선정한 점이 다르다. 즉, (10)∼(12)의 D 를 대신하여 R을 사용하여 파티클 필터링을 수행하였고, 최종 예측된 화질 왜곡 값은 다음의 수식으로 계산된다.

여기서 q¯i+1 는 확률 정규화 과정을 거쳐 생성된 (i+1) 번째 프레임의 N개의 화질 왜곡 파티클의 확률이며, d¯i+1는 화질 왜곡 값 파티클의 벡터표현이다. (14)로 예측된 최종 예측 화질 왜곡 값은 비디오 영상 부호화의 RDO에 사용되는 λ를 정밀하게 조절하는 조정값 계산에 사용되며 조정값은 다음과 같이 계산된다.

여기서 γ_{i + 1}는 (i+1)번째 프레임을 위한 라그랑지 계수 λ 조정값이며, j는 프레임 간격을 조절하는 요소이다. 그리고 θ는 화질 왜곡 변화를 완만하게 조절하는 상숫값으로서 실험적 수치이다. (15)의 γ_{i + 1}를 비디오 영상 부호화 RDO 단계의 λ 조정에 사용하였고, 다음 프레임을 위한 부호화용 λ는 다음과 같이 계산된다.

Fig. 6은 라그랑지 계수 조정을 통한 비트율-제어의 결과를 보여준다^[33]. Fig. 6에서 알 수 있듯이, 라그랑지 계수 조정을 통한 비트율-제어가 기존의 다른 방법들^[34-36] 대비 비트 항상성을 높여, 밴드제약이 고려되는 통신환경에서 적합하게 사용될 수 있음을 확인할 수 있다.

Fig. 6.

Rate control performances of bit-rate consistency based on the state-of-the-art method^[33]; (a) Kristen and Sara(1280×720) with a target-bits per frame(T_B) of 342.5 Kbits for QP = 22, People on Street(2560×1600) with T_B = 3285.7 Kbits for QP = 22