서 론
모션 블러(motion blur)는 노출 시간 동안 카메라의 흔들림이나 피사체의 움직임으로 인해 이미지가 흐릿하게 나타나는 현상을 의미한다. 이는 카메라나 피사체의 움직임이 빠를수록, 또는 저조도 상황으로 인해 긴 노출 시간이 필요할수록 블러의 정도가 심화되어 이미지 품질의 저하를 초래한다. 이는 Fig. 1과 같이 해상 환경에서의 감시 및 정찰을 위한 근/원거리 딥러닝 기반 객체 탐지(object detection)과 같은 영상 인식 기술의 성능에 부정적 영향을 미치므로[1] 이를 해결하기 위해 모션 블러 제거 모델에 대한 연구가 활발히 진행되고 있다[2,3].
Fig. 1.
Visual comparison of object detection performance between (a) blurred images and (b) sharp images using deep learning-based model[4]
딥러닝 기반 이미지 디블러링(deblurring) 모델은 효과적인 학습을 위해 품질이 우수한 블러 이미지와 대응되는 선명한 이미지 쌍으로 구성된 데이터셋을 필요로 한다. 하지만 실제 환경에서는 단일 카메라로 시간적공간적으로 완전히 동일한 장면에 대한 이미지 쌍을 구축하는 것은 불가능하다. 따라서 기존의 대표적인 데이터셋의 경우에는 단일 고속 카메라를 이용하여 선명한 프레임들을 평균하거나[5,6] 추가적인 장치를 활용하는 방식[7-10]을 통해 블러 이미지를 합성하여 이미지 쌍을 구축하였다. 이러한 구축 방식의 경우 고속 카메라나 추가적인 장비에 대한 의존도가 있어 실제 적용의 범용성과 효율성을 저해할 수 있다. 또한, 독립적인 프레임들의 평균 과정에서 발생하는 부자연스러운 장면과 같은 한계점이 지적되어 왔고[11], 모든 기존의 데이터셋이 지상 환경에서 촬영한 이미지로 구성되어 있어 Fig. 2와 같이 해상 환경에서 관측할 수 있는 구동체의 엔진 진동으로 인한 카메라의 떨림, 피사체의 움직임으로 인한 모션 블러 제거에 대하여 성능이 저하되는 것을 확인할 수 있다.
본 연구에서는 기존의 한계점을 개선하기 위해 하나의 카메라로 촬영한 정렬되지 않은 이미지 쌍을 통해 블러 성분을 추출하는 Blur Components Extraction model(BCEM)을 제안한다. 또한, 해당 모델을 사용하여 구동체 엔진으로 인한 블러 성분을 추출하고, 합성곱을 통해 기존 데이터셋에서 존재하지 않았던 해상 환경에서 발생 가능한 블러 이미지와 선명한 이미지 쌍을 구축한 해상용 이미지 디블러링 데이터셋을 제안한다.
본 논문의 구성은 다음과 같다. 2장에서는 선행 연구에서 이루어진 이미지 디블러링 데이터셋의 방법론과 구성 요소를 비교 분석한다. 3장에서는 본 연구에서 제안한 BCEM의 방법론을 소개하고, 유효성을 평가한다. 4장에서는 제안한 BCEM을 기반으로 구축한 해상용 디블러링 데이터셋인 Maritime Blur Dataset (MBD)의 구축 과정 및 구성 요소와 딥러닝 모델 기반 학습 및 시험을 통한 개선 성능을 비교 분석하며, 5장에서 본 연구의 결론에 대해 서술한다.
관련 연구
본 연구에서는 블러 이미지와 선명한 이미지 쌍으로 이루어진 이미지 디블러링 데이터셋을 중심으로 블러 이미지의 구축 관련 연구를 분석한다. 지상 환경을 중심으로 촬영된 이미지 디블러링 벤치마크 데이터셋은 i) 카메라 또는 피사체의 움직임을 모사한 블러 커널과의 합성곱을 통해 블러 이미지를 합성한 경우, ii) 고속 카메라를 사용하여 연속된 프레임들을 평균함으로써 블러 이미지를 합성한 경우, iii) 추가적인 장치를 사용하여 블러 이미지를 촬영한 경우로, 총 3가지의 방법론으로 분류할 수 있다.
Table 1.
Each method and characteristic of benchmark datasets and our dataset
| 데이터셋 | 구성 환경 | 블러 모사 방법 | 이미지 수 | 추가 장치 | 비고 |
|---|---|---|---|---|---|
| Köhler[8] | 실내, 지상 | 블러 커널과의 합성곱 | 48 | 동작감지 센서 |
- 모션 블러의 물리적 성분 반영 - 불충분한 이미지 수 - 인위적인 모션에 한정된 블러 성분 |
| Sun[9] | 블러 커널과의 합성곱 | 640 | 동작감지 센서 | ||
| Lai[10] | 블러 커널과의 합성곱 | 300 | 각속도 센서 | ||
| GoPro[5] | 연속된 프레임의 합성 | 3,214 | ⨉ | - 비현실적인 끊어짐 및 포화 현상 발생 | |
| HIDE[6] | 연속된 프레임의 합성 | 8,422 | ⨉ | ||
| RealBlur[7] | 실제 이미지 촬영 + 후처리 | 4,738 | 카메라, 빔 스플리터 |
- 실제 데이터셋 구축 - 촬영 조건에 대한 제한적인 일반화 성능 |
|
| MBD(제안) | 해양 특화 | 전처리한 블러 커널과의 합성곱 | 3,221 | ⨉ | - 최초 해양 디블러링 데이터셋 |
2.1 블러 커널과의 합성곱을 통한 이미지 합성
R. Köhler et al.[8]과 L. Sun et al.[9]은 마커 기반 동작 감지 장비를 이용하여 카메라의 움직임을 모사하는 블러 커널을 생성하고, 고정된 카메라로 촬영한 선명한 이미지와의 합성곱을 통해 합성 이미지 데이터셋을 구축하였다. W.-S. Lai et al.[10]은 휴대전화에 내장된 각속도 센서를 이용하여 모사한 블러 커널과 선명한 이미지와의 합성곱을 통해 합성 이미지 데이터셋을 구축하였다. 이러한 방식으로 구축된 데이터셋은 모션 블러의 물리적 원리를 객관적으로 반영한다는 장점이 있으나, 이미지 쌍의 양적 부족으로 인해 딥러닝 기반 모션 블러 제거 학습에 활용하기 어렵다는 한계를 지닌다. 또한, 해당 방법들은 실험자가 직접 손으로 카메라를 움직이는 인위적인 환경에 국한되어 있어 실제 다양한 환경에서 발생 가능한 블러 현상을 충분히 반영하지 못한다는 제한점이 존재한다.
2.2 인접 프레임의 평균을 통한 블러 이미지 합성
S. Nah et al.[5]과 Z. Shen et al.[6]은 고속 카메라로 촬영한 연속적인 프레임의 밝기 값을 평균함으로써 합성 이미지 데이터셋을 구축하였다. 이는 공간적으로 변화하는(spatially-varying) 블러를 효과적으로 모사하였으며, 각 피사체의 다양한 움직임을 반영하여 대표적인 이미지 디블러링 데이터셋으로 사용되고 있다. 하지만, 최근 연속적인 프레임의 평균화 과정에서 고주파와 저주파 성분이 혼합됨에 따라 객체 경계 부분의 끊어짐(discontinuity) 및 포화(saturation) 현상이 발생하여 합성 이미지의 부자연스러운 표현이 발생하는 한계점이 지적되었다[11].
2.3 추가적인 장치를 사용한 블러 이미지 촬영
J. Rim et al.[7]은 서로 다른 노출 시간을 가지는 카메라 2대와 빔 스플리터를 이용하여 같은 장면에 대해 블러 이미지와 선명한 이미지를 동시에 촬영하고, 기하학적(geometrically)·광도적(photometrically) 정렬 등의 후처리를 통해 데이터셋을 구축하였다. 이는 실제로 관찰되는 블러 이미지를 촬영함으로써 합성 이미지 데이터셋보다 자연스러운 블러 이미지를 가진다. 또한, 저조도 환경으로 인한 모션 블러 현상을 추가로 고려하여 다양성을 확보하였다. 하지만 원활한 후처리를 위해 움직이는 피사체가 없는 정적인 장면들로 데이터셋이 구성되었고, 촬영에 사용된 카메라와 다른 설정값으로 촬영된 이미지에 대한 모션 블러 제거 성능에는 제한적이라는 한계점이 보고되었다[11].
Blur Components Extraction Model
본 연구에서는 선행 연구[8∼10]의 강점이었던 모션 블러의 물리적·수식적 원리를 반영하면서 동작 감지 장비, 각속도 센서 없이 효율적으로 흐림 성분을 추출할 수 있는 Blur Components Extraction Model(BCEM)을 제안한다. 본 연구는 다른 방식으로 블러 이미지를 모사하였던 선행 연구[5-7]가 가졌던 한계점을 개선하여 추후 실제 환경에서 발생하는 블러 이미지를 위한 디블러링 데이터셋 구축에 기여할 수 있다.
블러 이미지의 생성 과정은 Fig. 3과 같이 시각적으로 묘사할 수 있다. 이는 내재된 선명한 이미지(L)와 블러 커널(k)과의 합성곱, 그리고 센서의 노이즈(N)의 합으로 수식적 표현이 가능하다. 이 관계는 다음의 수식 (1)로 나타낼 수 있다.
여기서 B는 블러 이미지, ⊗는 합성곱 연산을 의미한다. 합성곱 연산은 퓨리에 변환(Fourier Transform)을 통해 곱셈 형태로 변환할 수 있으므로, 정렬된 이미지 쌍과 센서의 노이즈가 없는 이상적인 조건을 가정할 경우, 수식 (2)와 같이 블러 커널을 추정할 수 있다.
여기서 F(·)와 F-1(·)은 각각 퓨리에 변환과 역퓨리에 변환을 의미한다. 이론적으로 블러 이미지와 선명한 이미지를 시간적·공간적으로 정렬된 장면에 대하여 촬영한다면, 수식 (2)를 통해 Fig. 3의 그림과 같이 블러 성분만이 선명하게 드러나는 블러 커널(blur kernel)을 얻을 수 있다. 그러나 현실에서는 두 이미지가 정렬되지 않은 경우가 대부분이며, 이로 인해 두 이미지 간의 다른 객체 및 배경이 포함되어 Fig. 4(a) 와 같이 블러와는 무관한 성분이 포함되는 문제가 발생한다. 이러한 성분은 노이즈로 작용하여 모션 블러의 물리적 특성을 모사하는 데 부정적인 영향을 미치므로[11] Fig. 4(b)와 같이 블러 성분만을 강조하고 정제된 커널을 확보하는 것이 중요하다.
Fig. 4.
Visual Comparison of blur kernels extracted using the basic equation and BCEM
(a) Extracted blur kernel based on unaligned image
(b) Extracted blur kernel based on unaligned image using BCEM
3.1 BCEM의 구성 요소
이러한 문제를 해결하기 위해, 본 연구에서는 Fig. 5와 같은 세 단계의 처리 과정을 통해 블러 커널을 정제하는 BCEM을 제안한다.
3.1.1 블러 커널 추출 및 전처리
정렬되지 않은 선명한 이미지와 블러 이미지를 수식 (2)에 따라 퓨리에 기반으로 처리하여 초기 블러 커널을 추출한다. 이때, 커널은 원본 이미지와 동일한 해상도를 가지며, 블러 성분 이외에 불연속적인 노이즈가 함께 포함될 수 있다. 이를 1차적으로 해결하기 위해, 다양한 크기의 패치를 적용하여 각 영역의 픽셀 히스토그램 분포를 분석한다. 이 중 가장 밝은 픽셀들이 집중되어 있는 영역만을 반영하여 블러 성분의 주요 방향성과 강도를 보존하고, 나머지 저강도 영역은 제거하여 전처리 커널(k1)을 획득한다.
3.1.2 블러 커널 이진화
전처리 커널을 이진화하여 블러 성분과는 무관한 배경의 노이즈를 2차적으로 제거한다. 해당 과정은 OTSU 알고리즘[13]을 사용함으로써 임계값을 적응형으로 할당할 수 있도록 하여 자동화한다. 이는 추후 영역 연결의 정확도를 개선하기 위한 단계로, 블러 성분에 해당하는 연속된 픽셀 집합과 비연속적인 노이즈 성분을 효과적으로 구분하는데에 사용된다.
3.1.3 영역 연결 및 전처리 이미지 마스킹
선행 연구[5,6]에서 지적된[11] 경계 끊어짐, 포화 현상 등을 방지하기 위해 침식(erosion) 연산을 수행한다. 해당 연산 시, 3×3 크기의 커널을 사용하여 연속된 픽셀 집합과 인접하지 않은 성분을 제거하여 주요 블러 성분만 유지할 수 있도록 한다. 해당 단계를 거친 커널(k2)은 수식 (3)과 같이 전처리 커널(k1)에 마스킹하여 원래 커널의 밝기 값 누적 성분은 유지하면서도 세부 노이즈를 제거한 최종적으로 정제된 커널(k3)을 생성한다.
여기서 (x,y)는 각 커널에 해당하는 픽셀의 좌표를 뜻한다.
이와 같은 처리 과정을 통해, BCEM은 별도의 센서나 장비 없이도 실제 환경에서 발생하는 복합적인 블러 성분을 효과적으로 추출할 수 있으며, 향후 다양한 블러 조건을 모사하는 데 유용하게 활용될 수 있다.
3.2 BCEM의 유효성 평가
본 절에서는 제안한 BCEM의 유효성을 검증하기 위해, 정렬되지 않은 이미지 쌍을 대상으로 블러 성분이 효과적으로 추출되는지를 실험적으로 평가한다.
먼저, Fig. 6(a)와 같이 대각선 방향의 모션을 반영하는 정답용(Ground Truth) 블러 커널을 생성하였다. 이후 Fig. 6(b)의 체커보드(Checkerboard) 형태의 선명한 이미지와 합성곱하여 Fig. 6(c)와 같은 블러 이미지를 생성하였다. 이때 실제 환경에서의 상황을 모사하기 위해, 두 가지 왜곡 조건을 추가하였다. 첫째로 시간적 정렬 불일치를 모사하기 위해 가우시안 노이즈(Gaussian noise)를 삽입하였고, 둘째로 공간적 정렬 불일치를 반영하기 위해 이미지 이동(image shift)을 적용하였다.
Fig. 6.
Visualization of Ground Truth blur kernel, test sharp image and unaligned blur image
(a) Ground Truth blur kernel
(b) Original sharp checkerboard image
(c) Unaligned blurred checkerboard image using Ground Truth blur kernel
이러한 조건에서 BCEM을 적용한 커널 추출 및 후처리 과정을 Fig. 5의 파이프라인에 따라 단계적으로 수행하였다. Fig. 7은 각 처리 단계에서의 블러 커널을 시각적으로 비교한 결과이다.
Fig. 7.
Visual comparison of blur kernels at each processing stage of BCEM
(a) extracted & preprocessed blur kernel
(b) Binarized blur kernel using adaptive thresholding
(c) Final blur kernel obtained by applying region labeling and masking with (a)
Fig. 7(a)는 수식 (2)를 기반으로 한 퓨리에 변환을 통해 추출된 초기 블러 커널로, 정렬 불일치에 따라 블러 성분 외에 다양한 노이즈가 포함되어있는 것을 확인할 수 있다. Fig. 7(b)는 OTSU 알고리즘 기반 적응형 임계값을 적용하여 이진화된 커널로, 블러의 주요 영역이 강조되었지만 여전히 배경 노이즈의 영향을 받아 PSF(Point Spread Function)의 특성상 나타날 수 없는 경계의 끊어짐 현상이 발생한 것을 볼 수 있다. Fig. 7(c)는 영역 연결 및 마스킹 과정을 거쳐 정제된 최종 블러 커널로, 초기 커널의 유효한 성분만 보존하면서도 노이즈 및 경계의 단절 현상이 제거된 것을 확인할 수 있다.
Maritime Blur Dataset
본 장에서는 3장에서 제안한 BCEM을 활용하여 실제 해상 환경에서 발생할 수 있는 블러 성분을 모사하고, 이를 기반으로 구축한 Maritime Blur Dataset (MBD)의 구성 과정과 특징을 설명한다. 또한, MBD를 활용하여 다양한 딥러닝 기반 디블러링 모델의 성능을 평가한 실험 결과를 제시한다.
4.1 MBD의 구축 과정 및 구성 요소
MBD는 실제 구동체에서 발생하는 엔진 진동을 반영한 블러 성분을 정량적으로 추출하고, 이를 선명한 이미지와 합성하여 제작한 해상용 디블러링 데이터셋이다. 전체 구축 과정은 다음과 같이 구성된다.
우선, 엔진이 장착된 구동체에 카메라를 고정한 상태에서, 엔진을 정지시킨 후 선명한 이미지를 촬영하였다. 이후 엔진을 가동하여 진동이 있는 상태에서 1/30초의 셔터 속도로 비디오를 촬영하고, 이로부터 정렬되지 않은 블러 이미지들을 Fig. 8의 그림과 같이 다수 확보하였다. 해당 블러-선명 이미지 쌍을 활용하여, 제안한 BCEM을 통해 크기 51×51의 블러 커널 16개를 추출하였다. 그 후, 선행 연구[8∼10]에서 지적되었던 불충분한 이미지 수, 한정된 블러 커널의 다양성을 개선하고, 과적합(overfitting)을 방지하기 위해 블러 커널의 크기를 (31, 41, 51, 61)로 다양화하여 서로 다른 노출 속도에 따라 객체 또는 배경의 인접 픽셀이 영향을 받는 효과를 모사하였다. 또한, 각도를 (0°, 45°, 90°, 135°, 180°)만큼 회전하여 무작위 방향으로 진동하는 엔진을 고려하여 총 320개의 블러 커널을 생성하였다.
합성 데이터셋 구성에는 1/60초의 셔터 속도를 가지는 1920×1080 해상도의 SONY α7(ICLE-7M3) 카메라로 해상에서 촬영한 총 143개의 선명한 영상을 활용하였다. 후처리 단계에서는 어선, 상선 등 해상 피사체의 구동 속도가 빠르지 않다는 점을 고려하여 각 시퀀스당 100프레임씩 샘플링을 통해 중복 프레임을 제거하여 고유한 선명 이미지들을 선별하였다. 이후 앞서 생성한 블러 커널과 선명한 이미지를 합성곱하여 총 3,221쌍의 데이터셋을 생성하였고, 2,214장을 학습용(train), 1,007장을 시험용(test)으로 하여 약 7:3의 비율로 구성하였다.
4.2 MBD를 이용한 AI 모델 성능 평가
본 연구에서 구축한 MBD를 이용하여 RTX 3090 24GB GPU 1대의 하드웨어 환경에서 경량형 디블러링 모델인 MIMO-UNet[12], MIMO-UNet+, MPRNet[14], NAFNet[15]을 학습 및 시험하고, 추가적으로 각 모델들의 지상 환경 기반의 GoPro 데이터셋 학습 전/후 결과를 비교하였다. 성능 비교의 경우, 이미지 디블러링 분야에서 대표적으로 사용되고 있는 원본 영상과 복원 영상의 차이를 픽셀 단위 오차로 계산해 로그 스케일로 표현한 값인 PSNR(Peak Signal-to-Noise Ratio)[16] 지표와 영상의 밝기(luminance), 대비(contrast), 구조(structure)를 종합적으로 비교하는 SSIM(Structural Similarity Index Measure)[17] 지표를 사용하였으며, 최종적으로 학습 데이터셋에 대한 각 모델의 성능 비교를 Table 2에 나타내었다.
Table 2.
Quantitative comparison of deep learning based deblurring models using GoPro dataset and our dataset
| Dataset (environment) | Model | PSNR / SSIM (GT ↔ Blur) | PSNR / SSIM (GT ↔ Deblur) |
|---|---|---|---|
| GoPro[5](terrestrial) | MIMO-UNet[12] | 25.64 dB / 0.7795 | 31.73 dB / 0.9510 |
| MIMO-UNet+ | 32.45 dB / 0.9570 | ||
| MPRNet[14] | 33.31 dB / 0.9640 | ||
| NAFNet[15] | 33.69 dB / 0.9670 | ||
| Ours (maritime) | MIMO-UNet[12] | 26.76 dB / 0.7247 | 30.21 dB / 0.8314 |
| MIMO-UNet+ | 31.15 dB / 0.8524 | ||
| MPRNet[14] | 30.67 dB / 0.8414 | ||
| NAFNet[15] | 30.70 dB / 0.8866 |
MBD에 대한 학습 및 테스트를 수행한 결과, MIMO-UNet 모델은 30.21 dB(PSNR)와 0.8314(SSIM)의 성능을 보였다. MIMO-UNet에서 사용한 인코더(encoder)와 디코더(decoder) 블록의 수를 늘린 MIMO-UNet+ 모델은 31.15 dB와 0.8524의 성능을 보였다. MPRNet 모델은 30.67 dB와 0.8414, NAFNet 모델은 30.70 dB, 0.8866의 성능을 보였다. 해당 결과는 전체적으로 GoPro 데이터셋을 학습 및 테스트한 결과와 비교하였을 때보다 모델의 블러 개선 성능이 PSNR 기준 약 1∼3 dB, SSIM 기준 약 0.07∼0.12 저하되었으며, 이는 해상 영상의 특성상 객체의 크기가 상대적으로 작고, 배경이 바다, 하늘과 같은 균일한 영역으로 구성되어 있어 모델이 학습할 수 있는 구조적 특징이 제한되기 때문으로 해석된다.
한편, Fig. 9와 Table 3에서는 지상 기반 데이터셋[5]을 학습한 경우와 비교하여 해상 기반 데이터셋을 학습하였을 때 해상 환경 시험 평가에서의 성능이 개선되는 양상을 확인할 수 있다. 이는 제안된 해상 전용 학습 데이터셋이 실제 해상 환경에서의 전반적인 성능 향상에 기여할 수 있음을 보여준다.
Table 3.
Quantitative comparison of deep learning based deblurring model on MBD(ours) test set
| Train set | Parameters (M) | PSNR↑(dB) | SSIM↑ | ||
|---|---|---|---|---|---|
| GoPro | Ours | ||||
| MIMO-UNet[12] | √ | 6.8 | 26.25 | 0.7058 | |
| √ | 30.21 | 0.8314 | |||
| MIMO-UNet+ | √ | 16.1 | 26.23 | 0.6104 | |
| √ | 31.15 | 0.8524 | |||
| MPRNet [14] | √ | 20.1 | 26.28 | 0.7063 | |
| √ | 30.67 | 0.8414 | |||
| NAFNet [15] | √ | 65 | 24.40 | 0.6761 | |
| √ | 30.70 | 0.8866 | |||
결 론
본 연구에서는 정렬되지 않은 블러-선명 이미지 쌍을 활용하여 별도의 센서 없이도 모션 블러 성분을 효과적으로 추출할 수 있는 Blur Components Extraction Model(BCEM)을 제안하였다. BCEM은 퓨리에 기반 커널 추정, 전처리 및 이진화 과정을 통해 실제 물리적 블러 성분을 정제된 형태로 복원할 수 있으며, 이를 바탕으로 해상 환경에서 촬영된 선명한 이미지와 합성하여 해상 특화 이미지 디블러링 데이터셋인 Maritime Blur Dataset(MBD)를 구축하였다. MBD를 기반으로 다양한 딥러닝 디블러링 모델의 성능을 비교한 결과, 정성적·정량적 측면 모두에서 개선된 복원 성능을 확인할 수 있었으며, 특히 실제 해상 환경에서의 블러 특성을 반영한 고품질 데이터셋으로서의 활용 가능성을 입증하였다.
향후 연구에서는 MBD의 적용 범위를 가시광 대역뿐만 아니라 중파장 적외선(MWIR) 및 장파장 적외선 (LWIR) 영상으로 확장하여, 다양한 스펙트럼 환경에서도 적용 가능한 멀티스펙트럼 디블러링 데이터셋을 구축할 계획이다. 또한, 기존 모델들의 일부 한계로 확인된 소형 객체 또는 원거리에서 관찰되는 객체에 대한 세부 특징 복원 성능을 개선하기 위해 공간 주의(spatial attention) 기법을 추가하여 소형 객체가 포함된 지역적 특징을 효과적으로 학습할 수 있도록 하거나, 네트워크를 다중 스케일(multiscale) 또는 다중 패치(multi-patch) 등의 구조로 개선하여 여러 유형의 블러 또는 객체에 대해 강인한 알고리즘을 개발하고자 한다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
