CCTV에 적용가능 한 영상 디블러링 기술

영상 디블러링 기술은 이러한 모션 블러 현상을 제거하는 기술로써 주로 소프트웨어를 이용한 후처리 방식을 이용하고 있으며, 최근 국내외에서 활발히 연구가 진행되고 있다. 이에 이번 기사에서는 포항공과대학교 컴퓨터그래픽스 연구실에서 개발한 영상 디블러링 기술들을 소개하고자 한다. 기사는 총 2부로 구성되며, 1부에서는 일반적인 영상에 적용될 수 있는 빠른 모션 디블러링 기술을 소개하고, 2부에서는 자동차 번호판과 같은 문자 영상에 효과적으로 적용될 수 있는 문자 영상 디블러링 기술을 소개한다.

이 승 용 │ 포항공과대학교 컴퓨터공학과 교수(leesy@postech.ac.kr)

영상 디블러링 기술의 필요성

최근 DSLR 및 스마트 폰의 확산과 더불어 디지털 카메라가 널리 사용되고 있다. 일반적으로 어두운 환경에서 사진 촬영 시 부족한 광량을 채우기 위해 노출 시간이 길어지게 되고, 사용자의 손떨림이 영상에 블러를 일으키게 된다. 이와 같이 카메라나 물체의 움직임 때문에 생기는 블러를 모션 블러라고 한다. 블러 현상이 발생하는 경우에 사용자들은 재촬영을 통해 선명한 영상을 확보할 수도 있지만, 기념행사와 같이 특정한 순간을 촬영하는 경우 재촬영이 불가능한 상황이 많다. 따라서 소프트웨어를 이용한 후처리 기반의 영상 복원 기술이 요구되며, 최근 국내외 연구기관에서 다양한 기술들을 개발하고 있다.

다른 한편으로 야외에 설치된 CCTV의 경우, 바람 또는 진동과 같은 외적 요인으로 인해 모션 블러가 발생할 수 있으며, CCTV에 촬영된 물체가 움직임에 따라 부분적으로 모션 블러가 발생할 수도 있다. 범죄 현장을 촬영하기 위한 목적의 CCTV는 다시 촬영하기가 불가능하기 때문에 소프트웨어 후처리를 통한 영상 복원 기술이 필수적이다.

포항공과대학교에서는 일반적인 영상에 대해 모션 블러를 빠르게 제거할 수 있는 빠른 모션 디블러링 기술과 문자 영상에 특화된 문자 영상 디블러링 기술을 개발하였으며, 이번 기사에서는 빠른 모션 디블러링 기술을 소개하고자 한다.

모션 블러의 수학적 모델

균일 모션 영상 블러란 영상의 각 픽셀들이 모두 동일한 형태로 블러가 된 것을 의미한다. 이런 균일 모션 영상 블러는 일반적으로 다음과 같은 형태로 표현된다.

align=left 좌측 사진에서 *는 컨볼루션(Convolution) 연산으로 선명한 영상의 각 픽셀들이 블러 커널로 표현되는 카메라 궤적을 따라서 섞이게 된다는 것을 의미한다. 일반적인 영상 디블러링 문제에서는 블러 영상만 알고 있는 상태에서 블러 커널과 선명한 영상을 추정해 내야 하는데, 하나의 블러 영상만을 이용하여 더 많은 정보를 알아내야 하기 때문에 매우 어려운 문제이다.

지금까지 개발된 대부분의 디블러링 방법들은 선명한 영상들에 포함된 에지(Edge)들의 통계적인 특성을 만족하도록 블러 커널과 선명한 영상을 추정하는 방식이었는데, 이 방식은 통계적인 특성을 이용하여 최적화하는데 시간이 많이 걸린다. 본 기사에서 소개하는 영상 디블러링 기술은 복잡한 최적화 대신에, 첫째로 블러가 있는 영상 내의 중요한 에지들이 블러가 있기 전에 어떤 형태를 띠었는지를 알아낼 수 있다면 이를 블러 영상의 에지와 비교하여 블러를 추정할 수 있다는 점과, 둘째로 완전히 복원된 선명한 영상이 없더라도 중요한 에지의 형태만 알 수 있다면 모션 블러를 추정할 수 있다는 점을 이용한다. 이와 같은 사실에 근거하여, 빠르게 수행될 수 있는 영상 필터와 임계값을 이용하여 선명한 영상의 에지를 예측함으로써 기존의 방법보다 수십 배 이상 빠르게 블러를 추정하고 제거할 수 있다.

영상 디블러링 알고리즘

포항공과대학교에서 개발한 영상 디블러링 기술은 크게 세 단계로 이루어져 있다. 위 그림을 참고하면, 우선 (1) 선명한 영상의 에지 정보를 예측해 내는 선명한 영상 예측 단계와 (2) 예측된 선명한 영상과 블러가 있는 영상을 비교하여 블러 커널을 추정해 내는 블러 커널 추정 단계, 그리고 (3) 추정된 블러 커널을 이용하여 선명한 영상을 복원해 내는 영상 복원 단계이다. 영상 복원 단계의 결과는 다시 선명한 영상 예측 단계의 입력으로 사용되며, 이 세 단계를 블러 커널이 더 이상 개선되지 않을 때까지 반복하여 수행한다. 또한 모션의 크기가 큰 블러를 효과적으로 추정하기 위하여 다운샘플링(Downsampling)된 영상으로부터 결과를 얻은 후, 이를 다시 큰 영상에 적용하여 결과를 얻는 다중 스케일 처리 방법을 이용한다.

다시 말해서, 작은 크기의 영상으로부터 블러가 제거된 영상을 얻은 후, 이를 이중선형 보간법(Bilinear Interpolation)을 이용하여 그 다음 단계의 큰 입력 영상으로 사용한다. 앞에서 언급한 세 단계를 반복적으로 수행한 후에는 입력 블러 영상이 포함하는 모션 블러 정보를 획득하게 되며, 이렇게 추정된 블러 커널과 입력 블러 영상을 이용하여 마지막 단계에서 시각적으로 좋은 품질을 갖는 선명한 영상을 복원하게 된다. 커널 추정의 세 단계를 수행하면서 복원된 영상은 시각적으로 좋은 품질을 가질 필요가 없고 블러 커널 추정에 필요한 에지 정보만 제공할 수 있도록 복원되기 때문에 사용자가 원하는 품질 기준을 만족시키기가 어려우며, 이를 해결하기 위해서 최종 영상 복원 단계가 필요하다. 최종 영상 복원 단계에서는 기존의 좋은 품질을 내는 복원 방법들 중의 하나를 사용하여 복원을 수행한다.

영상 디블러링 기술은 일반적인 영상 필터링과 다르며, 모션 블러를 유발하는 복잡한 형태의 카메라 궤적을 추정할 수 있다는 점에서 의의가 있다. 하지만, 복잡한 카메라 궤적은 한 번의 연산으로 추정이 어렵기 때문에 커널 추정의 세 단계를 반복적으로 수행해야 하며, 이 과정에서 단순한 영상 선명화 필터보다 연산 시간이 더 필요하게 된다. 포항공과대학교에서 개발한 영상 디블러링 기술은 기존의 디블러링 기술들과 달리, 빠르게 수행될 수 있는 필터링과 임계값을 이용한 선명한 영상 예측 단계를 도입함으로 전체적인 블러 추정/제거 시간을 수십 배 이상 가속화 하였고, 실용성을 증대시켰다.

◀ 디블러링 기술의 실행 예

우선 이번에 소개하는 영상 디블러링 기술의 처리 속도를 비교하기 위해 기존의 다른 디블러링 기술들과 동일한 영상으로 블러 제거를 수행하였다.

포항공과대학교에서 개발된 방법은 기존 기술과 비교하여, 동일한 CPU로 처리할 때 약 40~60배 이상 빠른 속도를 보장하면서 시각적으로 유사한 수준의 복원 결과를 보였으며, 이를 GPU로 가속화 하였을 때는 600~800배 이상 빠른 속도를 보였다. 다음은 다른 영상들에 대한 블러 제거 결과를 보여준다.

기술의 개선 방향

포항공과대학교에서 개발한 영상 디블러링 기술은, 영상의 중요한 몇몇 에지만으로도 충분히 모션 블러를 추정할 수 있다는 아이디어를 이용하여 모션 블러를 훨씬 빠른 속도로 제거할 수 있는 방법이다. 특히, 선명한 영상 예측 단계에서 필터링과 같은 간단한 영상 처리 도구를 사용하여, 완전하게 복원된 선명한 영상 없이도 복잡한 카메라 모션을 빠르게 추정할 수 있으며, 기존의 방법과 비교하여 복원 영상의 품질이 저하되지 않으면서 매우 빠른 복원 속도를 보장한다.

그럼에도 불구하고, 영상 디블러링 기술들은 비디오에 실시간으로 적용되기는 어려운 한계점이 있다. 현재 소개한 기술을 실용적으로 CCTV에 적용하기 위해서는, 블러를 포함하는 특정 프레임을 추출하여 해당 프레임에 디블러링 기술을 적용하여 분석 시에 사용할 수 있을 것이다. 비디오에 실시간으로 적용하기 위해서는 현재 디블러링 기술을 더 빠르게 할 수 있는 연구가 필요하다.

다른 한편으로는, 이번 기사에서 소개한 영상 디블러링 기술은 영상의 모든 픽셀들이 동일한 모션을 갖는 균일 모션을 대상으로 했다. 실제 촬영된 영상 및 비디오에서는 비균일 모션 블러(예: 카메라 회전, 사람/차량과 같은 객체 움직임 등)가 발생할 수 있는데, 이러한 경우에는 해당 영상 및 비디오를 여러 영역으로 분리하여, 균일 모션을 갖는 영역에 대해서 각각 영상 디블러링을 수행하여 효과적으로 비균일 모션 블러를 처리할 수 있다.

이번 기사에서 소개한 디블러링 기술은 일반적인 디지털 카메라를 통해 촬영된 영상에 적용이 가능하다. 하지만 문자 영상(차량 번호판 등)은 일반적인 영상과 다른 속성을 포함하고 있으며, 일반적인 영상 디블러링 기술 적용이 어렵다. 다음 호에서는 문자 영상에 적용이 가능한 문자 영상 디블러링 기술을 알아보겠다.

<글 : 시큐리티월드 편집부(sw@infothe.com)>

[월간 시큐리티월드 통권 제182호(sw@infothe.com)]

3월 15일부터 시행되고 있는 개정 개인정보보호법과 관련해 가장 까다롭고 이행하기 어려운 조항은 무엇인가요?
	인공지능(AI) 등 자동화된 결정에 대한 정보주체 권리 구체화
	접근권한 관리 등 개인정보 안전성 확보조치 강화 및 고유식별정보 관리실태 정기조사
	영향평가 요약본 공개제도 도입 등 개인정보 영향평가제도
	영상정보처리기기 및 안전조치 기준
	개인정보 보호책임자의 전문성 강화 위한 전문CPO 지정
	국외 수집·이전 개인정보 처리방침 공개 등 개인정보 처리방침 평가제도
	손해배상책임 의무대상자 변경 및 확대
	공공기관 개인정보 보호수준 평가 확대
	기타(댓글로)