[기고] 선명한 CCTV 영상 위한 디블러링 기술이란?

범죄예방용 CCTV, 선명한 영상확보 위한 복원기술 요구

[보안뉴스=이승용 포항공대 교수] 모션 블러 현상은 카메라 등의 영상 획득 장치를 이용해 영상을 획득하는 과정에서 흔히 발생할 수 있는 현상으로 영상의 품질을 저하시키는 주요한 원인 중 하나이다. 어두운 실내나 저녁 야외에서처럼 광량이 부족한 환경에서 카메라를 이용해 영상을 획득하기 위해서는 충분한 광량을 얻기 위해 센서를 빛에 오래 노출시켜야 하는데, 노출 시간이 길어진 만큼 센서의 흔들림이 영상에 치명적인 모션 블러 현상을 일으키게 된다.

영상 디블러링 기술은 이러한 모션 블러 현상을 제거하는 기술로써 주로 소프트웨어를 이용한 후처리 방식을 이용하고 있으며, 최근 국내외에서 활발히 연구가 진행되고 있다. 여기에서는 포항공과대학교 컴퓨터그래픽스 연구실에서 개발한 영상 디블러링 기술들을 소개하고자 한다.

영상 디블러링 기술의 필요성

최근 DSLR 및 스마트폰의 확산과 더불어 디지털 카메라가 널리 사용되고 있다. 일반적으로 어두운 환경에서 사진 촬영 시 부족한 광량을 채우기 위해 노출시간이 길어지게 되고, 사용자의 손떨림이 영상에 블러를 일으키게 된다. 이와 같이 카메라나 물체의 움직임 때문에 생기는 블러를 모션 블러라고 한다.

블러 현상이 발생하는 경우에 사용자들은 재촬영을 통해 선명한 영상을 확보할 수도 있지만, 기념행사와 같이 특정한 순간을 촬영하는 경우 재촬영이 불가능한 상황이 많다. 따라서 소프트웨어를 이용한 후처리 기반의 영상복원 기술이 요구되며, 최근 국내외 연구기관에서 다양한 기술들을 개발하고 있다.

다른 한편으로 야외에 설치된 CCTV의 경우, 바람 또는 진동과 같은 외적 요인으로 인해 모션 블러가 발생할 수 있으며, CCTV에 촬영된 물체가 움직임에 따라 부분적으로 모션 블러가 발생할 수도 있다. 범죄현장을 촬영하기 위한 목적의 CCTV는 다시 촬영하기가 불가능하기 때문에 소프트웨어 후처리를 통한 영상복원 기술이 필수적이다.

포항공과대학교에서는 일반적인 영상에 대해 모션 블러를 빠르게 제거할 수 있는 빠른 모션 디블러링 기술과 문자 영상에 특화된 문자 영상 디블러링 기술을 개발하였으며, 이번 기사에서는 빠른 모션 디블러링 기술을 소개하고자 한다.

모션 블러의 수학적 모델

균일 모션 영상 블러란 영상의 각 픽셀들이 모두 동일한 형태로 블러가 된 것을 의미한다. 이런 균일 모션 영상 블러는 일반적으로 다음과 같은 형태로 표현된다.

이래 사진에서 *는 컨볼루션(Convolution) 연산으로 선명한 영상의 각 픽셀들이 블러 커널로 표현되는 카메라 궤적을 따라서 섞이게 된다는 것을 의미한다. 일반적인 영상 디블러링 문제에서는 블러 영상만 알고 있는 상태에서 블러 커널과 선명한 영상을 추정해 내야 하는데, 하나의 블러 영상만을 이용하여 더 많은 정보를 알아내야 하기 때문에 매우 어려운 문제이다.

지금까지 개발된 대부분의 디블러링 방법들은 선명한 영상들에 포함된 에지(Edge)들의 통계적인 특성을 만족하도록 블러 커널과 선명한 영상을 추정하는 방식이었는데, 이 방식은 통계적인 특성을 이용하여 최적화하는데 시간이 많이 걸린다.

여기서 소개하는 영상 디블러링 기술은 복잡한 최적화 대신에, 첫째로 블러가 있는 영상 내의 중요한 에지들이 블러가 있기 전에 어떤 형태를 띠었는지를 알아낼 수 있다면 이를 블러 영상의 에지와 비교하여 블러를 추정할 수 있다는 점과, 둘째로 완전히 복원된 선명한 영상이 없더라도 중요한 에지의 형태만 알 수 있다면 모션 블러를 추정할 수 있다는 점을 이용한다.

이와 같은 사실에 근거하여, 빠르게 수행될 수 있는 영상 필터와 임계값을 이용하여 선명한 영상의 에지를 예측함으로써 기존의 방법보다 수십 배 이상 빠르게 블러를 추정하고 제거할 수 있다.

영상 디블러링 알고리즘

포항공과대학교에서 개발한 영상 디블러링 기술은 크게 세 단계로 이루어져 있다. 위 그림을 참고하면, 우선 (1) 선명한 영상의 에지 정보를 예측해 내는 선명한 영상 예측 단계와 (2) 예측된 선명한 영상과 블러가 있는 영상을 비교하여 블러 커널을 추정해 내는 블러 커널 추정 단계, 그리고 (3) 추정된 블러 커널을 이용하여 선명한 영상을 복원해 내는 영상 복원 단계이다.

영상 복원 단계의 결과는 다시 선명한 영상 예측 단계의 입력으로 사용되며, 이 세 단계를 블러 커널이 더 이상 개선되지 않을 때까지 반복하여 수행한다. 또한 모션의 크기가 큰 블러를 효과적으로 추정하기 위하여 다운샘플링(Downsampling)된 영상으로부터 결과를 얻은 후, 이를 다시 큰 영상에 적용하여 결과를 얻는 다중 스케일 처리 방법을 이용한다. 다시 말해서, 작은 크기의 영상으로부터 블러가 제거된 영상을 얻은 후, 이를 이중선형 보간법(Bilinear Interpolation)을 이용하여 그 다음 단계의 큰 입력 영상으로 사용한다.

앞에서 언급한 세 단계를 반복적으로 수행한 후에는 입력 블러 영상이 포함하는 모션 블러 정보를 획득하게 되며, 이렇게 추정된 블러 커널과 입력 블러 영상을 이용하여 마지막 단계에서 시각적으로 좋은 품질을 갖는 선명한 영상을 복원하게 된다.

커널 추정의 세 단계를 수행하면서 복원된 영상은 시각적으로 좋은 품질을 가질 필요가 없고 블러 커널 추정에 필요한 에지 정보만 제공할 수 있도록 복원되기 때문에 사용자가 원하는 품질 기준을 만족시키기가 어려우며, 이를 해결하기 위해서 최종 영상 복원 단계가 필요하다. 최종 영상 복원 단계에서는 기존의 좋은 품질을 내는 복원 방법들 중의 하나를 사용하여 복원을 수행한다.

영상 디블러링 기술은 일반적인 영상 필터링과 다르며, 모션 블러를 유발하는 복잡한 형태의 카메라 궤적을 추정할 수 있다는 점에서 의의가 있다. 하지만, 복잡한 카메라 궤적은 한 번의 연산으로 추정이 어렵기 때문에 커널 추정의 세 단계를 반복적으로 수행해야 하며, 이 과정에서 단순한 영상 선명화 필터보다 연산 시간이 더 필요하게 된다.

포항공과대학교에서 개발한 영상 디블러링 기술은 기존의 디블러링 기술들과 달리, 빠르게 수행될 수 있는 필터링과 임계값을 이용한 선명한 영상 예측 단계를 도입함으로 전체적인 블러 추정/제거 시간을 수십 배 이상 가속화 하였고, 실용성을 증대시켰다.

디블러링 기술의 실행 예

우선 이번에 소개하는 영상 디블러링 기술의 처리 속도를 비교하기 위해 기존의 다른 디블러링 기술들과 동일한 영상으로 블러 제거를 수행했다.

포항공과대학교에서 개발된 방법은 기존 기술과 비교하여, 동일한 CPU로 처리할 때 약 40~60배 이상 빠른 속도를 보장하면서 시각적으로 유사한 수준의 복원 결과를 보였으며, 이를 GPU로 가속화 하였을 때는 600~800배 이상 빠른 속도를 보였다. 다음은 다른 영상들에 대한 블러 제거 결과를 보여준다.

기술의 개선 방향

포항공과대학교에서 개발한 영상 디블러링 기술은, 영상의 중요한 몇몇 에지만으로도 충분히 모션 블러를 추정할 수 있다는 아이디어를 이용하여 모션 블러를 훨씬 빠른 속도로 제거할 수 있는 방법이다. 특히, 선명한 영상 예측 단계에서 필터링과 같은 간단한 영상 처리 도구를 사용하여, 완전하게 복원된 선명한 영상 없이도 복잡한 카메라 모션을 빠르게 추정할 수 있으며, 기존의 방법과 비교하여 복원 영상의 품질이 저하되지 않으면서 매우 빠른 복원 속도를 보장한다.

그럼에도 불구하고, 영상 디블러링 기술들은 비디오에 실시간으로 적용되기는 어려운 한계점이 있다. 현재 소개한 기술을 실용적으로 CCTV에 적용하기 위해서는, 블러를 포함하는 특정 프레임을 추출하여 해당 프레임에 디블러링 기술을 적용하여 분석 시에 사용할 수 있을 것이다. 비디오에 실시간으로 적용하기 위해서는 현재 디블러링 기술을 더 빠르게 할 수 있는 연구가 필요하다.

다른 한편으로는, 이번 기사에서 소개한 영상 디블러링 기술은 영상의 모든 픽셀들이 동일한 모션을 갖는 균일 모션을 대상으로 했다. 실제 촬영된 영상 및 비디오에서는 비균일 모션 블러(예: 카메라 회전, 사람/차량과 같은 객체 움직임 등)가 발생할 수 있는데, 이러한 경우에는 해당 영상 및 비디오를 여러 영역으로 분리하여, 균일 모션을 갖는 영역에 대해서 각각 영상 디블러링을 수행하여 효과적으로 비균일 모션 블러를 처리할 수 있다.

[글_이 승 용 포항공과대학교 컴퓨터공학과 교수(leesy@postech.ac.kr)]

내년 회사에 꼭 도입하고 싶은 보안 솔루션 또는 플랫폼은 무엇인가요?
	XDR
	EDR
	AI 보안
	제로트러스트
	공급망 보안 체계(SBOM)
	클라우드 보안 솔루션
	기타(댓글로)