[인터뷰] 한국과학기술연구원 영상미디어연구단 김익재 책임연구원
[보안뉴스 원병철] 과학수사의 한 방법 중 하나인 몽타주(Montage)는 원래 프랑스 말 ‘모으다(Montor)’에서 시작해 건축과 영화분야에서 사용되던 용어다.
주로 이것 저것을 편집하는 의미로 사용되며, 범인의 얼굴을 목격자의 증언에 따라 조금씩 편집하는 의미에서 수사 분야에서도 사용됐다. 1990년대 이전에는 목격자의 증언에 따라 직접 그렸지만, 이후 전용 프로그램을 이용한 방법을 사용하고 있다.
최근에는 발전한 IT 기술을 바탕으로 다양한 몽타주 기술이 개발되고 있는데, 얼마 전 한국과학기술연구원(이하 KIST)에서 발표한 3D몽타주 역시 이러한 것 중 하나다. 연구의 총 책임을 맡은 영상미디어연구단의 김익재 책임연구원을 만나 자세한 이야기를 들어봤다.
Q. 먼저 KIST 영상미디어연구단과 본인 소개를 해주신다면.
저는 1998년부터 약 17년 동안 영상미디어연구단에 몸 담으면서 컴퓨터비전과 그래픽스를 주로 연구하고 있는데, 몽타주는 이 두 가지 기술을 접목한 분야라고 할 수 있습니다.
제가 몸 담고 있는 영상미디어연구단은 1997년 영상분석과 시각화, 가상현실 등의 분야에 대한 연구를 위해 만들어졌으며, 최근에는 안전과 소셜미디어, 인터렉티브 미디어에 주력하고 있습니다. 우리 연구단은 영상분석은 물론 다양한 분야의 연구를 통해 보안과 안전에 대한 실질적인 성과를 만들고 있습니다.
Q. 이번 3D 몽타주에 대해 자세하게 설명을 부탁드립니다.
이번 몽타주 기술은 국가과제로 경찰청에서 요청한 내용들을 중심으로 연구가 시작됐습니다. 때문에 실제 현장에서 활용할 수 있는 기술을 만들기 위해 지난해 12월 수도권과 부산 등지에서 시범테스트를 진행했고, 공식적으로 도입해 운용하고 있습니다.
몽타주는 전통적인 과학수사의 한 방법이었지만 최근 CCTV로 인해 많이 줄어든 것도 사실입니다. 하지만 아직까지 저화소 CCTV나 범죄나 사고가 주로 일어나는 야간에서의 CCTV 화질이 좋지 않아 범인을 확정할 수 있는 수준의 영상 확보가 어렵기 때문에 몽타주의 기술개발이 시급한 실정이었습니다.
또한, 보통 사람들이 얼굴을 인식할 때, 눈이나 코, 입 등의 부분보다는 얼굴형태의 전체적인 면을 주로 기억하기 때문에 기본 DB를 통해 비슷한 얼굴을 찾은 후 이를 바탕으로 변화를 주는 방법을 고안했습니다. 이 방법을 사용하면 몽타주를 만드는 시간을 단축할 수 있는 것은 물론 좀 더 디테일하게 작업할 수 있다는 장점이 있습니다.
또한, 기존 2차원 몽타주는 데이터베이스의 한계로 인해 몽타주 합성 시에 얼굴이 부자연스러워지는 한계가 있었고, 시점·조명·표정 변화 등을 반영할 수 없었습니다.
하지만 3차원 몽타주는 유전자 알고리즘을 적용해 목격자의 구체적인 진술이 없어도 직접 여러 얼굴 후보군 중 전체적 인상이 비슷한 얼굴들을 선택하고, 선택된 얼굴들을 바탕으로 점점 자신의 기억 속의 얼굴을 구체화하는 과정을 거치면서 정확한 몽타주를 만들어 내는 방식입니다.
여기에 첨단 컴퓨터 그래픽 기술을 적용함으로써 원하는 부위의 3차원 형태 변형이 자유롭게 가능하며, 다양한 시점과 조명 변화, 표정 변화 등의 기능을 통해 몽타주 표현력을 확장시킨 것이 특징입니다.
Q. 시간의 흐름에 따라 얼굴 변화를 예측하는 몽타주 기법도 화제가 됐는데요.
몽타주 연구를 하면서 시간의 흐름에 따른 얼굴 변화를 예측하는 방법도 연구가 됐습니다. 물론 실제 삶에서 어떤 변화를 겪을지 알 수는 없지만, 많은 데이터를 수집하면서 연구한 결과 제법 정확도를 높일 수 있었습니다.
나이 변환 기술을 통해 장기 실종 아동 찾기, 장기 미제사건 등에 활용될 수 있도록 작성된 몽타주는 시간에 구애받지 않는 활용이 가능해졌고, 한국인의 얼굴 표본을 데이터베이스로 만들어 주름, 피부 두께, 얼굴형 등을 분석한 후 몽타주에 적용했습니다.
원본 사진의 얼굴 형태와 특징을 추출한 후, 얼굴의 특징과 나이의 관계를 함수로 입력해 시간에 따른 얼굴을 변환하고 세부 특징을 표현할 수 있게 됐습니다. 이 방법은 당장의 범인을 찾기보다는 과거 사진으로 현재 혹은 미래의 얼굴을 예측해 미아 찾기 등에 활용할 수 있습니다.
그런데 우리 연구에 대해 알게 된 한국적십자사에서 이산가족의 마지막 사진을 바탕으로 현재 모습을 만들어 마지막 선물을 주자며 기술지원을 요청했습니다. 이를 통해 많은 이산가족들에게 가상의 가족사진을 만들어 선물할 수 있었습니다.
Q. CCTV와 연계를 통한 방법도 준비 중이라고 들었습니다.
보안 솔루션 시장과의 결합 가능성도 개척하고 있습니다. 보안용 CCTV를 이용할 경우, 고해상도 CCTV의 경우 문제없이 영상 속 인물을 특정할 수 있지만, 저해상도 CCTV나 야간화질의 저하로 얼굴 영상의 인식이 어려운 문제를 몽타주로 추정할 수 있는 기술을 통해 CCTV의 활용성을 더욱 높일 수 있습니다.
현재 작성된 몽타주와 범죄자 데이터베이스에서 직접 대조할 수 있는 이종 인식기술에 대한 연구도 진행 중이며, 차별화된 보안 솔루션 서비스를 선보일 것으로 전망하고 있습니다.
[원병철 기자(sw@infothe.com)]
[보안뉴스 원병철] 과학수사의 한 방법 중 하나인 몽타주(Montage)는 원래 프랑스 말 ‘모으다(Montor)’에서 시작해 건축과 영화분야에서 사용되던 용어다.
주로 이것 저것을 편집하는 의미로 사용되며, 범인의 얼굴을 목격자의 증언에 따라 조금씩 편집하는 의미에서 수사 분야에서도 사용됐다. 1990년대 이전에는 목격자의 증언에 따라 직접 그렸지만, 이후 전용 프로그램을 이용한 방법을 사용하고 있다.
▲한국과학기술연구원 영상미디어연구단 김익재 책임연구원/공학박사
최근에는 발전한 IT 기술을 바탕으로 다양한 몽타주 기술이 개발되고 있는데, 얼마 전 한국과학기술연구원(이하 KIST)에서 발표한 3D몽타주 역시 이러한 것 중 하나다. 연구의 총 책임을 맡은 영상미디어연구단의 김익재 책임연구원을 만나 자세한 이야기를 들어봤다.
Q. 먼저 KIST 영상미디어연구단과 본인 소개를 해주신다면.
저는 1998년부터 약 17년 동안 영상미디어연구단에 몸 담으면서 컴퓨터비전과 그래픽스를 주로 연구하고 있는데, 몽타주는 이 두 가지 기술을 접목한 분야라고 할 수 있습니다.
제가 몸 담고 있는 영상미디어연구단은 1997년 영상분석과 시각화, 가상현실 등의 분야에 대한 연구를 위해 만들어졌으며, 최근에는 안전과 소셜미디어, 인터렉티브 미디어에 주력하고 있습니다. 우리 연구단은 영상분석은 물론 다양한 분야의 연구를 통해 보안과 안전에 대한 실질적인 성과를 만들고 있습니다.
Q. 이번 3D 몽타주에 대해 자세하게 설명을 부탁드립니다.
이번 몽타주 기술은 국가과제로 경찰청에서 요청한 내용들을 중심으로 연구가 시작됐습니다. 때문에 실제 현장에서 활용할 수 있는 기술을 만들기 위해 지난해 12월 수도권과 부산 등지에서 시범테스트를 진행했고, 공식적으로 도입해 운용하고 있습니다.
몽타주는 전통적인 과학수사의 한 방법이었지만 최근 CCTV로 인해 많이 줄어든 것도 사실입니다. 하지만 아직까지 저화소 CCTV나 범죄나 사고가 주로 일어나는 야간에서의 CCTV 화질이 좋지 않아 범인을 확정할 수 있는 수준의 영상 확보가 어렵기 때문에 몽타주의 기술개발이 시급한 실정이었습니다.
또한, 보통 사람들이 얼굴을 인식할 때, 눈이나 코, 입 등의 부분보다는 얼굴형태의 전체적인 면을 주로 기억하기 때문에 기본 DB를 통해 비슷한 얼굴을 찾은 후 이를 바탕으로 변화를 주는 방법을 고안했습니다. 이 방법을 사용하면 몽타주를 만드는 시간을 단축할 수 있는 것은 물론 좀 더 디테일하게 작업할 수 있다는 장점이 있습니다.
또한, 기존 2차원 몽타주는 데이터베이스의 한계로 인해 몽타주 합성 시에 얼굴이 부자연스러워지는 한계가 있었고, 시점·조명·표정 변화 등을 반영할 수 없었습니다.
하지만 3차원 몽타주는 유전자 알고리즘을 적용해 목격자의 구체적인 진술이 없어도 직접 여러 얼굴 후보군 중 전체적 인상이 비슷한 얼굴들을 선택하고, 선택된 얼굴들을 바탕으로 점점 자신의 기억 속의 얼굴을 구체화하는 과정을 거치면서 정확한 몽타주를 만들어 내는 방식입니다.
여기에 첨단 컴퓨터 그래픽 기술을 적용함으로써 원하는 부위의 3차원 형태 변형이 자유롭게 가능하며, 다양한 시점과 조명 변화, 표정 변화 등의 기능을 통해 몽타주 표현력을 확장시킨 것이 특징입니다.
Q. 시간의 흐름에 따라 얼굴 변화를 예측하는 몽타주 기법도 화제가 됐는데요.
몽타주 연구를 하면서 시간의 흐름에 따른 얼굴 변화를 예측하는 방법도 연구가 됐습니다. 물론 실제 삶에서 어떤 변화를 겪을지 알 수는 없지만, 많은 데이터를 수집하면서 연구한 결과 제법 정확도를 높일 수 있었습니다.
나이 변환 기술을 통해 장기 실종 아동 찾기, 장기 미제사건 등에 활용될 수 있도록 작성된 몽타주는 시간에 구애받지 않는 활용이 가능해졌고, 한국인의 얼굴 표본을 데이터베이스로 만들어 주름, 피부 두께, 얼굴형 등을 분석한 후 몽타주에 적용했습니다.
원본 사진의 얼굴 형태와 특징을 추출한 후, 얼굴의 특징과 나이의 관계를 함수로 입력해 시간에 따른 얼굴을 변환하고 세부 특징을 표현할 수 있게 됐습니다. 이 방법은 당장의 범인을 찾기보다는 과거 사진으로 현재 혹은 미래의 얼굴을 예측해 미아 찾기 등에 활용할 수 있습니다.
그런데 우리 연구에 대해 알게 된 한국적십자사에서 이산가족의 마지막 사진을 바탕으로 현재 모습을 만들어 마지막 선물을 주자며 기술지원을 요청했습니다. 이를 통해 많은 이산가족들에게 가상의 가족사진을 만들어 선물할 수 있었습니다.
Q. CCTV와 연계를 통한 방법도 준비 중이라고 들었습니다.
보안 솔루션 시장과의 결합 가능성도 개척하고 있습니다. 보안용 CCTV를 이용할 경우, 고해상도 CCTV의 경우 문제없이 영상 속 인물을 특정할 수 있지만, 저해상도 CCTV나 야간화질의 저하로 얼굴 영상의 인식이 어려운 문제를 몽타주로 추정할 수 있는 기술을 통해 CCTV의 활용성을 더욱 높일 수 있습니다.
현재 작성된 몽타주와 범죄자 데이터베이스에서 직접 대조할 수 있는 이종 인식기술에 대한 연구도 진행 중이며, 차별화된 보안 솔루션 서비스를 선보일 것으로 전망하고 있습니다.
[원병철 기자(sw@infothe.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
원병철기자 기사보기
[2024-05-30] 
.jpg)
.jpg)
.jpg)
