길 안내 ...1인칭 시점 영상의 실용적 이용 방법
[시큐리티월드 오카모토 마사야, 야나이 게이지] 최근 웨어러블 카메라라고 불리는 머리나 가슴 등에 장착해 촬영하는 카메라가 보급됨에 따라 1인칭 시점의 영상이 많이 찍히고 있다. 이번 연구에서는 1인칭 시점 영상의 실용적인 이용 중 하나로서 길 안내 영상으로서의 이용을 생각해 봤다. 보행 중에 촬영한 1인칭 시점 영상의 이동 영상을 입력해서 영상 중 길 순서를 알 수 있도록 장면의 중요도에 따라 동적으로 재생 스피드를 변화시킨 요약 영상을 자동으로 생성하는 것을 목적으로 한다.
이번 연구에서는 길모퉁이와 횡단보도가 찍혀 있는 장면을 중요 장면으로 해서 자기동작 분류와 횡단보도 검출이라는 2개의 인식처리에 의해 영상 속 장면의 중요도를 판정한다. 요약 영상은 장면의 중요도에 의거해 재생 시에 동적으로 재생 속도를 제어하는 것으로 생성한다. 실험에서는 제안 방법의 유효성을 검증했다.
웨어러블 카메라의 보급
최근 웨어러블 카메라라고 불리는 얼굴이나 가슴 등 신체 일부에 장착해 촬영하는 카메라가 보급되고 있다. 웨어러블 카메라로 촬영된 영상은 촬영자의 시야와 거의 동등하여 1인칭 시점의 영상이라고 불린다. 1인칭 영상은 스포츠 장면을 동작자의 시점에서 촬영하는 것에 자주 사용되고 있는데 그 이외의 용도에서 실용적으로 사용되고 있는 예는 아직 많다고는 할 수 없다.
이번 연구에서는 웨어러블 카메라 영상의 실용적인 이용법 중 하나로서 길 안내 영상으로 이용하는 것에 대해 생각한다. 보행자의 1인칭 시점 영상으로부터 길 안내용 영상을 생성할 수 있다면, 스트리트 뷰 이미지를 이용하는 것에 비해 더 직관적이고 용이하게 길 안내를 할 수 있을 것이다.
예를 들면 친구를 자택에 초대할 경우나 연구실에 사람을 부를 경우 등에 있어서 간단하게 역에서 그 장소까지의 길 안내 요약 영상을 작성할 수 있다면 편리할 것이다. 단, 녹화한 영상을 그대로 사용해서는 시간이 너무 길기 때문에 적절에 요약하는 것이 불가결하다.
그래서 이번 연구에서는 특히 보행 중에 웨어러블 카메라로 촬영한 이동 영상을 대상으로 해서 이동경로를 알 수 있도록 요약, 길 순서 안내 영상을 자동으로 생성하는 것이 목적이다. 요약 영상은 촬영자의 보행 방향을 추정하고 횡단보도를 검출하여 각 영상의 중요도를 추정하는 것으로 생성한다.
한편, 이번 연구에서의 영상 요약은 실제로 요약 영상을 생성하는 것이 아니라 재생 시에 비디오 플레이어의 재생 속도를 장면 인식 결과에 따라 자동으로 컨트롤함으로써 요약을 실현한다. 그 때문에 요약 영상을 열람할 때 사용자가 희망하는 요약 영상의 길이를 지정하는 것이 가능하다는 특징이 있다.
대상으로 하는 1인칭 영상의 처음은 출발 지점의 영상이며, 영상의 마지막은 목적 지점의 영상이라고 한다. 또, 영상은 이동 시작 지점에서 목적지까지 연속적으로 촬영된 것이며 도중에서의 촬영중단 없이 전체 행로를 촬영한 것으로 한다. 웨어러블 카메라는 얼굴 혹은 가슴에 앞을 향해 장착한다. 이번 연구에서 이동수단은 도보에 한정하고 자전거나 버스, 전철, 승용차 등 탈것으로의 이동은 대상으로 하지 않는다.
이번 연구에서는 영상의 요약을 목적으로 하나 일반적인 영상편집과는 달리 영상의 스킵은 하지 않고 중요하지 않은 부분은 고속으로 재생한다. 만일 영상이 부분적으로 스킵되어 장소가 급하게 변하면 시청자가 현재 위치를 파악할 수 없게 될 우려가 있다. 또, 길 안내 영상은 고속으로 재생되어도 주변 풍경은 파악 가능하기 때문에 영상의 생략보다 고속 재생이 더 길 안내를 위한 요약 영상 생성법으로서 적합하다고 생각했다.
예를 들어, 그림 1의 지도 위에 파란색으로 나타내어진 주택지에서 출발해서 역까지의 이동경로를 생각해 보자. 이동방법은 도보다. 길모퉁이 부분이나 도로를 횡단하는 부분, 출발지와 목적지 부근은 길 안내 영상에 있어서 중요하므로 상대적으로 느린 속도로 재생되고 다른 이동부분은 중요하지 않으므로 빨리 감기로 고속 재생되는 것이 제안 방법의 요약 결과이다.
제안하는 방법
처리의 흐름
처리의 대략적인 흐름은 그림 2와 같다. 먼저 1인칭 시점의 이동 영상을 입력해서 요약 영상을 생성하기 위해서는 크게 2가지의 처리로 나뉜다. 하나는 영상 촬영자의 행동을 “직진”, “정지”, “우회전”, “좌회전” 4가지로 분류하는 자기행동 분류이다.
또 하나는 영상 속에 출현하는 횡단보도를 검출하는 횡단보도 검출이다. 이 2가지의 처리 결과를 통합하여 영상 속 장면별 중요도를 산출한다. 이 중요도를 바탕으로 재생 시나리오를 작성한다. 마지막으로 재생 시나리오에 따라 비디오 플레이어를 제어하는 것으로 요약 영상을 사용자에게 제시한다.
영상 중에서는 직진하는 부분보다 우회전이나 좌회전을 하는 부분이 중요하다. 또, 영상 중에 횡단보도가 출현한다고 하는 것은 비교적 큰 도로를 횡단한다는 것이기 때문에 보행경로 중에 있어서는 중요한 부분이라는 가정에 의거해 영상의 부분별 중요도를 산출한다.
자기행동 분류
먼저 제일 처음으로 1인칭 시점에 있어 자기동작을 분류한다. 즉, 이동 영상을 촬영하고 있는 사람 자신의 동작상태를 추정한다. 추정하는 행동은 전진, 정지 및 우회전, 좌회전 4가지다. 이동 영상이므로 후퇴 등은 포함되어 있지 않은 것으로 한다. 이 행동으로 분류할 수 없는 행동, 예를 들면 오른쪽을 보는 동작 등은 이들 4가지 행동 중 가장 동작이 가까운 것으로 분류한다.
구체적으로는 이동 영상을 4초마다 잘라 그 시간에 있어 자기행동을 분류한다. 먼저 영상의 움직임 벡터인 옵티컬 플로우(Optical Flow)를 계산하고 4초 단위로 4×4로 분할한 각 그리드에 대해 18방향의 옵티컬 플로우 히스토그램을 생성한다.
요소의 합계가 1이 되도록 L1 정규화를 하고, 4초간의 부분 영상은 최종적으로 18×16의 합계 288차원의 옵티컬 플로우 특징 벡터로 표현된다.
옵티컬 플로우 및 그 히스토그램의 계산 예를 그림 3에 나타낸다. (a) 이미지 중 빨간색 선이 실제로 계산된 옵티컬 플로우, (b)는 히스토그램 계산을 위한 그리드, (c)는 각 그리드로부터 얻은 18방향의 플로우 히스토그램을 나타낸다.
자기행동 분류에는 SVM을 이용한다. 이동방향이 아노테이션(Annotation) 된 1인칭 이미지를 사전에 준비하고 그것을 학습 데이터로 해서 미리 SVM을 학습한다. SVM의 커널은 RBF커널을 사용한다. 이번 연구에서는 행동 분류가 최종 목적이 아니기 때문에 4클래스의 멀티클래스 분류를 하는 것이 아니라 One-vs-Rest 방식으로 SVM을 4개 학습하고 4개의 SVM 출력 값을 모두 장면의 중요도 추정에 이용한다.
횡단보도 검출
요약하고 싶은 영상 1초당 3장의 이미지를 추출해 그 이미지들로부터 횡단보도를 검출한다. 전처리로서 관계가 없는 부분을 제거하기 위해 지면영역을 추정한다. 지면영역의 추정방법은 Hoiem 등의 Geometric Context 법1)을 이용한다. 인식은 자기동작 분류와 마찬가지로 SVM을 사용하여 미리 복수의 영상으로부터 사전에 학습을 한다.
Hoiem 등의 Geometric Context 법1)은 1장의 이미지로부터 3차원적인 정보를 복원하여 영역 분할 및 하늘이나 지면, 벽 등을 라벨링하는 방법이다. 각 클래스 Sky, Support, Vertical은 각각 하늘, 지면, 수직인 면에 대응한다. 그림 4 (a)에 대한 최종적인 출력 결과가 (b)이다. 그림 중 보라, 초록, 빨강이 각각 Sky, Support, Vertical에 대응하고 있다.
이번 연구에서는 support 클래스의 출력 결과만을 이용한다. 이것에 의해 각 픽셀별로 지면영역의 확률을 얻을 수 있다. 이 확률이 임계값 이상인 영역을 이미지 중 지면영역으로 간주한다. 이전 논문에서는 임계값을 0.5이라고 했지만 이번 연구에서는 지면영역의 정밀도보다 지면영역을 빠짐없이 취득하는 것을 중시하여 임계값을 0.4로 한다.
추정한 지면영역은 정밀도 문제로부터 몇 개의 영역으로 나뉘어져 버리거나 지면영역 중에 비지면영역이 있는 드롭아웃(Dropout) 현상이 잘 발생한다. 실제 실행 예를 다음 그림 5에 나타낸다.
(a)가 입력 이미지이다. (b)에 초록색으로 나타내져 있는 영역이 구해진 지면영역이다. 이것에 모폴로지(Morphology) 연산의 팽창을 하면 (c)와 같이 된다. 드롭아웃(Dropout) 부분이 없어진 것을 확인할 수 있다. 이 처리를 한 후의 영역이 최종적으로 추정된 지면영역이다.
그 다음에 지면영역에서 Scale-Invariand Feature Trans-form(SIFT) 특징을 추출하고, 사전에 구축한 코드 북(Code Book)을 사용해서 각 이미지에 대응하는 SIFT 특징을 Bag-of-Features, BoF) 벡터로 변환한다.
이 BoF 벡터를 1개 이미지의 표현자로 한다. 한편, 코드 북(Code Book)은 미리 각 비디오에 대해서 5초에 1장 추출한 이미지군으로부터 위와 같은 방법으로 추출한 SIFT 특징 벡터를 k-means로 클러스터링 해 사전에 작성해 둔다.
마지막으로 자기행동 분류의 인식과 마찬가지로 이미지에 횡단보도가 찍혀 있는 가, 아닌가의 인식에 SVM을 이용한다. 미리 SVM을 정례(횡단보도가 찍혀 있음) 약 80장, 부례(횡단보도가 찍혀 있지 않음) 약 160장으로 학습해 둔다. 학습한 SVM을 이용해서 2값 분류를 한다. 커널은 RBF커널을 사용한다.
중요도 추정
횡단보도 검출과 자기행동 분류의 결과로부터 일정한 시간간격마다 중요도를 추정한다. 이번 연구에서는 영상 8초간을 1단위로 해서 영상 시작 8초마다 영상을 분할해 중요도를 산출한다. 또, 분할된 8초간의 영상을 장면(Scene)이라 부르기로 한다. 장면은 짧은 것이 더 세세하게 동영상의 재생 속도를 조작할 수 있지만 실제로는 재생 시에 너무 빈번하게 속도 변화가 일어나면 영상을 알아보기 힘들다는 것을 예비실험을 통해 알았기 때문에 8초로 했다.
여기까지 설명한 처리는 요약 영상에 대해 미리 할 필요가 있는 오프라인 처리이지만 이 이후의 중요도 추정부터 비디오 플레이어의 제어까지는 HTML5 비디오 플레이어가 있는 Web 페이지의 JavaScript상에서 온라인으로 실행된다. 8초마다 자기행동 분류의 0부터 1로 정규화된 출력 값 4개와 횡단보도 검출 수를 파일로 준비해 두고 그것을 JavaScript가 읽어 와 동적으로 중요도를 추정, 재생 속도를 산출하는 것으로 플레이어를 컨트롤한다. 자기동작 분류의 출력 값은 4초지만 8초마다 평균을 내는 것으로 한다.
요약 영상을 보는 시점에서 처리하기 때문에 각종 파라미터를 그 자리에서 변경할 수 있다. 즉, 요약 영상(재생 시나리오)을 필요에 맞춰 그 자리에서 다시 만드는 것이 가능하다. 요약 시나리오를 작성하기 위해서 중요도를 산출한다. 중요도는 8초간의 장면별로 추정하는 것으로 하고 자기동작 분류와 횡단보도의 추정 결과로부터 구할 수 있다. 중요도란 0부터 1.0의 실수로 값이 높을수록 그 영상의 부분이 중요하다는 것을 나타낸다. 이 값은 최종적으로 재생 속도의 산출에 사용된다. 먼저 자기행동 분류의 4가지 SVM에 의한 출력 값의 가중 합으로부터 자기동작에 관한 중요도를 산출한다.
i번째 장면 직진 LIBSVM의 확률을 v_f [i], 마찬가지로 정지를 v_s [i], 우회전을 v_r [i], 좌회전을 v_l [i]라고 하면 i번째의 중요도p[i]는 p[i]i=cfcf[i] + csvs[i]+crvr[i]+civi[i](수식⓵, *이 수식에서 f, s, r는 아랫 첨자)로 산출된다. 계산에서 사용되는 상수 c_f, c_s, c_r, c_l은 예비실험 결과로부터 각각 -2, 1, 2, 2로 했다. 정규화를 해 중요도를 0부터 1.0로 고친다. 이동 영상 중에 출현하는 최대의 중요도를 p_max, 최소값을 p_min라 하면 정규화 후의 중요도는
로 계산된다.
다음은 횡단보도 검출 결과를 중요도에 반영시킨다. 횡단보도 검출은 오검출 등도 있으므로 오검출에 의한 노이즈를 제거하기 위한 한계값을 설정했다. 8초간 24장의 이미지에 한계값 이상 횡단보도가 검출되었을 경우 참으로 그 8초간에 횡단보도가 출현했다고 간주하고 그 부분의 중요도를 1을 상한으로 0.5 올린다. 즉, 횡단보도가 검출된 i번째의 중요도는 p[i]=min(][i]+0.5, 1.0) ...(수식⓷)으로 계산된다. 이번 연구에서는 실제의 검출 결과로부터 한계값은 7장으로 했다. 마지막으로 이동 영상의 출발지와 도착지는 길 안내 영상에 있어서 가장 중요하므로 최초와 최후 2장면(약16초)의 부분을 맹목적으로 중요도 1.0으로 설정하여 빨리감기가 되지 않도록 한다.
재생 시나리오의 생성과 플레이어 제어
추정한 중요도로부터 재생 속도의 산출과 비디오 플레이어의 재생 속도를 제어하는 재생 시나리오를 생성한다. 재생 시나리오란 어느 부분을 어느 정도의 속도로 재생할 것인가 하는 정보이다. 마지막으로 생성된 재생 시나리오를 바탕으로 비디오 플레이어를 조작해 요약 영상을 사용자에게 제시한다. 실험에서는 재생 속도를 제어 가능한 비디오 플레이어로서 브라우저상에서 작동하는 HTML5 비디오 플레이어를 이용한다. 재생 속도는 홈페이지에 있는 JavaScript로 제어한다. 실제의 HTML5 비디오 플레이어 캡처 화면을 그림 6에 나타낸다.
재생 속도 계산
중요도를 바탕으로 영상의 재생 속도를 결정한다. 여기에서 말하는 재생 속도란 몇 배속으로 재생되는가 하는 것을 나타낸다. i번째의 중요도를 p[i]라고 하면 재생 속도는
즉, i번째 구간은 s[i] 배속으로 재생된다는 것이다. 이 식은 구간의 중요도를 따라 2≤s[i]≤s_max가 되도록 재생 속도 s[i]를 정의하고 있다. s_max는 재생 시나리오에서 허용되는 최대의 재생 속도이다. 재생 속도가 너무 빨라지면 요약 동영상을 재생하는 부하가 증대되므로 상수로서 s_max를 주어 재생 속도를 제어한다. s_max에는 5이상의 값을 지정하는 것을 상정하고 있다. s_max는 동영상재생 시에 사용자가 지정 가능하다. 뒤에 기술하는 ‘요약 영상의 사용자 평가 실험’의 평가 실험을 할 때는 7로 했다.
속도의 평활화
재생 속도가 짧은 시간이고 크게 바뀔 경우, 영상을 잘 알아보기 힘든 경우가 있다. 이것을 경감하기 위해서 재생 속도를 평활화한다. 방법은 가중한 평균을 구하는 단순한 방법이다.
구체적으로는 i번의 속도 s[i]는 s[i]= 0.1s[i-1]+s[i+1])+0.8s[i] ...(수식⓹) 이것은 최초와 최후의 2장면분에는 적용하지 않는다.
실험
데이터 세트(Data Set)의 수집
데이터 세트를 수집하기 위해서 영상 촬영에는 그림 7에 나타내는 웨어러블 카메라(Looxcie2)를 그림 8처럼 귀에 장착해 촬영했다.
수집한 데이터는 다음 표1과 같다. 이 영상은 모두 동일인물이 촬영했으며 도쿄의 교외 주택가(도쿄도 조후시 전기통신대학 주변)에서 촬영되었다.
자기행동 분류의 정밀도 실험
(a) 실험방법
자기동작 분류 식별기를 작성하고 실제 영상으로부터 추출한 테스트용 데이터를 사용해서 평가한다. 여기에서는 4개의 식별기에 대해 2값 분류 실험을 각각 독립적으로 실시한다. 제안 방법에서는 각 식별기의 확률을 사용하기 위해 각 식별기의 정밀도를 평가한다.
4개의 식별기에 사용하는 학습 데이터는 4개의 영상으로부터 추출하고 테스트용 데이터는 3개의 영상으로부터 추출하며 포지티브 수와 네거티브 수를 같은 수로 해서 테스트를 실시한다. 실제의 테스트 데이터 수와 결과는 다음 표 2와 같다.
결과를 보면 4개의 방법에서 F값의 평균은 0.824이며 비교적 높은 정밀도로 분류할 수 있었다. 한편, 여기에서는 보행 중에 발생하는 영상의 흔들림이 포함되어 있는 것을 직접 사용해서 학습·인식하고 있음에도 불구하고 어느 정도의 정밀도가 나왔다.
이것은 학습 영상 및 분류 대상 영상 양쪽에 같은 특성을 가지는 보행 중의 카메라 흔들림이 포함되어 있었기 때문에 분류에 있어서 흔들림이 포함되어 있는 것이 큰 문제가 되지 않았다고 생각된다. 또, 보행 중 영상의 흔들림은 주로 상하 방향으로 흔들리는 흔들림이며 이번 자기행동 분류에 있어서 상하 방향의 성분은 중요하지 않다는 것도 그 이유라고 생각된다.
횡단보도 검출 정밀도 실험
다음에 횡단보도 검출기를 작성하여 정밀도를 평가한다. 4개의 영상으로부터 추출한 약 250장의 이미지로 학습을 하고 테스트용 이미지는 5개의 영상에서 추출한 200장(포지티브 이미지 100장, 네거티브 이미지 100장)을 사용한다. 테스트용 이미지를 추출한 영상은 학습용 영상에는 포함되어 있지 않다. 또, 이미지 중 지면영역을 추정하는 방법의 유효성을 검증하기 위해서 지면영역 추정을 하지 않고 이미지 전체로부터 SIFT 특징을 추출하는 방법과 비교한다.
이 방법은 코드 북(Code Book) 및 BoF 작성 시에도 지면영역에 대한 필터링을 하지 않았다. 결과는 다음 표3과 같다. 결과를 보면 지면영역의 추정 및 특징점의 선택 처리를 한 쪽의 F값이 0.106포인트 상승해 있어 횡단보도를 검출할 때 전처리로서 지면영역 검출을 하는 것에 대한 유효성이 실증되었다. 또, 지면영역 추정이 실패하면 횡단보도 검출도 실패하는 경향이 있다. 그 경우 지면영역이 작아져 충분한 특징점을 구할 수 없어서 실패하는 경향이 있다는 것을 알았다.
실제 영상 적용 실험
자기행동 분류 및 횡단보도 검출에 대해서 실제의 영상 전체에 대해 적용했을 경우의 정밀도를 평가한다. 사용한 3개의 영상 A, B, C는 표 1의 일부이며 대학 주변(조후시)의 주택지에서 촬영되었다. 표 1에 나타내어진 9개의 영상 가운데 3개(A, B, C로 한다)를 사용한다. 3개의 영상 A, B, C는 자기행동 분류 및 횡단보도 검출 학습에 사용한 어느 영상과도 중복되지 않는다.
각 영상에 대해서 자기행동 분류의 각 동작이 발생하는 구간 수 및 횡단보도가 출현하는 구간 수는 표4에 나타낸 것과 같다. 1구간 8초중에 조금이라도 우회전, 좌회전, 정지 3동작이 포함되어 있을 경우는 그 동작을 정답이라고 하고 그것들의 복수 동작이 포함될 경우는 가장 동작시간이 긴 것을 정답이라고 했다. 3동작이 포함되지 않는 것에 대해서는 직진 구간으로 했다. 마찬가지로 횡단보도에 대해서도 구간 중에 조금이라도 횡단보도가 찍혀 있을 경우 횡단보도 출현 구간으로 했다.
자기행동 분류에 있어 분류의 결과는 One-Vsrest 방식으로 가장 SVM으로부터의 확률 출력 값이 큰 것에 분류되는 것으로 했다. 횡단보도 검출의 경우 임계값을 7로 해서 임계값을 넘는 구간을 횡단보도가 검출된 구간으로 했다.
대상 3영상에 있어 자기행동 분류의 혼동 행렬은 표 5에 나타내는 것과 같다. 이것을 바탕으로 한 자기행동 분류의 분류율은 0.879였다. 다음에 대상 3영상에 있어 횡단보도 검출의 혼동 행렬은 표6에 나타내는 것과 같다. 이것을 바탕으로 한 횡단보도 검출의 분류율은 0.828이었다.
이 결과로부터 실제 영상에 대해 적용한 경우에도 자기행동 분류 및 횡단보도 검출은 어느 정도의 정밀도로 실현되었음을 알 수 있다.
요약 영상의 사용자 평가 실험
마지막으로 이번 연구에서 제안한 방법에 관한 사용자 평가 실험을 실시한다. 앞에서 사용한 3개의 영상에 대해서 자기행동 분류 및 횡단보도 검출 성능을 평가한다. 구간에 있어 정답 라벨의 규준은 앞 절과 같다. 본고에서 제안한 방법으로 요약 영상을 작성해 비교 실험을 실시한다. 요약 방법은 다음 4가지이다.
① 제안 방법 자기동작 분류+횡단보도 검출
② 비교 방법1 자기동작 분류만
③ 비교 방법2 균등하게 빨리 감기
④ 비교 방법3 스토리 보드 형식
①의 제안 방법 이외에 3개의 비교 방법을 준비했다. ②는 제안 방법으로부터 횡단보도 검출 부분을 무효로 한 것, ③은 균일하게 빨리 감기 재생을 하는 것, ④는 영상이 아니라 균일한 간격으로 이미지를 샘플해서 표시하는 스토리 보드 형식이라 불리는 방법으로 문헌2)에서도 채용된 방법이다. 10명의 피험자에게 보여 가장 길 안내로서 이해하기 쉬웠던 요약에 투표하게 한다. 3개의 영상에 대해 실험을 실시했다. 같은 조건에서 비교하기 위해 각 영상의 길이를 균일하게 한다.
이 때 ② 방법의 길이를 기본으로 한다. ③은 영상의 길이로부터 평균 속도를 구하고 시나리오를 주어 재생한다. ①에 대해서는 최종적으로 계산되는 속도 모두에 영상의 길이가 같아지도록 상수를 곱해서 조절했다. ④에 대해서는 20초마다 이미지를 잘라 표시했다. 실제로 요약된 영상의 길이 및 재생 속도는 표 7에 나타낸 것과 같다.
한편, 실험 영상은 두부에 장착한 웨어러블 카메라로 촬영한 영상이기 때문에 촬영자가 걸을 때 머리 흔들림의 영향으로 흔들림이 컸다. 그것을 그대로 고속 재생하면 매우 알아보기 힘든 영상이 되어 버린다는 것이 예비실험으로 밝혀졌다. 그래서 영상에 대해 안정화(Stability) 처리를 통해 영상을 얻었다. 안정화 처리는 시판되고 있는 비디오 편집 소프트(Adobe Premiere)를 이용했다. 한편, 자기동작 분류 처리는 안정화 처리가 되지 않은 영상을 이용했기 때문에 흔들림도 포함한 학습·인식 결과이다. 비교 실험 결과 10명으로부터 30의 투표를 얻었다. 결과는 표8과 같다.
이 결과로부터 3개 모두 제안 방법이 가장 좋은 요약 방법이라는 것을 알았다. 영상A에 관해서는 자기동작 분류만으로도 4표를 얻어 자기동작 분류만으로도 어느 정도는 요약이 가능하다는 것을 시사하고 있다.
맺음말
이번 연구는 1인칭 시점의 이동 영상에 대해 자기동작 분류와 횡단보도 검출에 의해 영상정보만으로 요약 영상을 자동 생성하는 방법을 제안했다. 10명의 피험자에 의한 사용자 평가 실험에서 3개의 비교 대상 방법보다 제안 방법이 더 우수하다는 결과가 나왔다.
앞으로의 과제는 이동방법을 도보에 한정하지 않고 자전거나 자동차 등 다른 이동수단으로도 넓혀가는 것을 들 수 있다. 현재는 도쿄의 교외 주택가에서 영상을 촬영했으나 다른 지역이나 주택지 이외의 영상 데이터 세트를 충실화 해 갈 필요가 있다. 그것과 함께 중요 대상을 횡단보도 이외로도 넓힐 필요가 있다.
<참고문헌>
D.Hoiem, Efros. A, and Hebert. M.: Recovering surface layout from an image. International Journal of Computer Vision, Vol.75, No.1, pp.151-172(2006)
Y.J.Lee, J.Ghosh, and K.Grauman: Discovering important people and objects for egocentric video summarization. In Proc. of IEEE Computer Vision and Pattern Recogni-tion (2012)
[글 시큐리티월드 글 오카모토 마사야, 야나이 게이지 전기통신대학 교수(sw@infothe.com)]
[월간 시큐리티월드 통권 227호 (sw@infothe.com)]
<저작권자 : 시큐리티월드(http://www.securityworldmag.co.kr) 무단전재-재배포금지>
[시큐리티월드 오카모토 마사야, 야나이 게이지] 최근 웨어러블 카메라라고 불리는 머리나 가슴 등에 장착해 촬영하는 카메라가 보급됨에 따라 1인칭 시점의 영상이 많이 찍히고 있다. 이번 연구에서는 1인칭 시점 영상의 실용적인 이용 중 하나로서 길 안내 영상으로서의 이용을 생각해 봤다. 보행 중에 촬영한 1인칭 시점 영상의 이동 영상을 입력해서 영상 중 길 순서를 알 수 있도록 장면의 중요도에 따라 동적으로 재생 스피드를 변화시킨 요약 영상을 자동으로 생성하는 것을 목적으로 한다.
이번 연구에서는 길모퉁이와 횡단보도가 찍혀 있는 장면을 중요 장면으로 해서 자기동작 분류와 횡단보도 검출이라는 2개의 인식처리에 의해 영상 속 장면의 중요도를 판정한다. 요약 영상은 장면의 중요도에 의거해 재생 시에 동적으로 재생 속도를 제어하는 것으로 생성한다. 실험에서는 제안 방법의 유효성을 검증했다.
웨어러블 카메라의 보급
최근 웨어러블 카메라라고 불리는 얼굴이나 가슴 등 신체 일부에 장착해 촬영하는 카메라가 보급되고 있다. 웨어러블 카메라로 촬영된 영상은 촬영자의 시야와 거의 동등하여 1인칭 시점의 영상이라고 불린다. 1인칭 영상은 스포츠 장면을 동작자의 시점에서 촬영하는 것에 자주 사용되고 있는데 그 이외의 용도에서 실용적으로 사용되고 있는 예는 아직 많다고는 할 수 없다.
.jpg) | ||
| 그림 1. 이상적인 길 안내 요약 예 | ||
이번 연구에서는 웨어러블 카메라 영상의 실용적인 이용법 중 하나로서 길 안내 영상으로 이용하는 것에 대해 생각한다. 보행자의 1인칭 시점 영상으로부터 길 안내용 영상을 생성할 수 있다면, 스트리트 뷰 이미지를 이용하는 것에 비해 더 직관적이고 용이하게 길 안내를 할 수 있을 것이다.
예를 들면 친구를 자택에 초대할 경우나 연구실에 사람을 부를 경우 등에 있어서 간단하게 역에서 그 장소까지의 길 안내 요약 영상을 작성할 수 있다면 편리할 것이다. 단, 녹화한 영상을 그대로 사용해서는 시간이 너무 길기 때문에 적절에 요약하는 것이 불가결하다.
그래서 이번 연구에서는 특히 보행 중에 웨어러블 카메라로 촬영한 이동 영상을 대상으로 해서 이동경로를 알 수 있도록 요약, 길 순서 안내 영상을 자동으로 생성하는 것이 목적이다. 요약 영상은 촬영자의 보행 방향을 추정하고 횡단보도를 검출하여 각 영상의 중요도를 추정하는 것으로 생성한다.
한편, 이번 연구에서의 영상 요약은 실제로 요약 영상을 생성하는 것이 아니라 재생 시에 비디오 플레이어의 재생 속도를 장면 인식 결과에 따라 자동으로 컨트롤함으로써 요약을 실현한다. 그 때문에 요약 영상을 열람할 때 사용자가 희망하는 요약 영상의 길이를 지정하는 것이 가능하다는 특징이 있다.
대상으로 하는 1인칭 영상의 처음은 출발 지점의 영상이며, 영상의 마지막은 목적 지점의 영상이라고 한다. 또, 영상은 이동 시작 지점에서 목적지까지 연속적으로 촬영된 것이며 도중에서의 촬영중단 없이 전체 행로를 촬영한 것으로 한다. 웨어러블 카메라는 얼굴 혹은 가슴에 앞을 향해 장착한다. 이번 연구에서 이동수단은 도보에 한정하고 자전거나 버스, 전철, 승용차 등 탈것으로의 이동은 대상으로 하지 않는다.
이번 연구에서는 영상의 요약을 목적으로 하나 일반적인 영상편집과는 달리 영상의 스킵은 하지 않고 중요하지 않은 부분은 고속으로 재생한다. 만일 영상이 부분적으로 스킵되어 장소가 급하게 변하면 시청자가 현재 위치를 파악할 수 없게 될 우려가 있다. 또, 길 안내 영상은 고속으로 재생되어도 주변 풍경은 파악 가능하기 때문에 영상의 생략보다 고속 재생이 더 길 안내를 위한 요약 영상 생성법으로서 적합하다고 생각했다.
예를 들어, 그림 1의 지도 위에 파란색으로 나타내어진 주택지에서 출발해서 역까지의 이동경로를 생각해 보자. 이동방법은 도보다. 길모퉁이 부분이나 도로를 횡단하는 부분, 출발지와 목적지 부근은 길 안내 영상에 있어서 중요하므로 상대적으로 느린 속도로 재생되고 다른 이동부분은 중요하지 않으므로 빨리 감기로 고속 재생되는 것이 제안 방법의 요약 결과이다.
.jpg) | ||
| 그림 2. 처리의 흐름 | ||
처리의 흐름
처리의 대략적인 흐름은 그림 2와 같다. 먼저 1인칭 시점의 이동 영상을 입력해서 요약 영상을 생성하기 위해서는 크게 2가지의 처리로 나뉜다. 하나는 영상 촬영자의 행동을 “직진”, “정지”, “우회전”, “좌회전” 4가지로 분류하는 자기행동 분류이다.
또 하나는 영상 속에 출현하는 횡단보도를 검출하는 횡단보도 검출이다. 이 2가지의 처리 결과를 통합하여 영상 속 장면별 중요도를 산출한다. 이 중요도를 바탕으로 재생 시나리오를 작성한다. 마지막으로 재생 시나리오에 따라 비디오 플레이어를 제어하는 것으로 요약 영상을 사용자에게 제시한다.
영상 중에서는 직진하는 부분보다 우회전이나 좌회전을 하는 부분이 중요하다. 또, 영상 중에 횡단보도가 출현한다고 하는 것은 비교적 큰 도로를 횡단한다는 것이기 때문에 보행경로 중에 있어서는 중요한 부분이라는 가정에 의거해 영상의 부분별 중요도를 산출한다.
자기행동 분류
먼저 제일 처음으로 1인칭 시점에 있어 자기동작을 분류한다. 즉, 이동 영상을 촬영하고 있는 사람 자신의 동작상태를 추정한다. 추정하는 행동은 전진, 정지 및 우회전, 좌회전 4가지다. 이동 영상이므로 후퇴 등은 포함되어 있지 않은 것으로 한다. 이 행동으로 분류할 수 없는 행동, 예를 들면 오른쪽을 보는 동작 등은 이들 4가지 행동 중 가장 동작이 가까운 것으로 분류한다.
구체적으로는 이동 영상을 4초마다 잘라 그 시간에 있어 자기행동을 분류한다. 먼저 영상의 움직임 벡터인 옵티컬 플로우(Optical Flow)를 계산하고 4초 단위로 4×4로 분할한 각 그리드에 대해 18방향의 옵티컬 플로우 히스토그램을 생성한다.
요소의 합계가 1이 되도록 L1 정규화를 하고, 4초간의 부분 영상은 최종적으로 18×16의 합계 288차원의 옵티컬 플로우 특징 벡터로 표현된다.
.jpg) | ||
| 그림 3. 옵티컬 플로우 계산 예 | ||
옵티컬 플로우 및 그 히스토그램의 계산 예를 그림 3에 나타낸다. (a) 이미지 중 빨간색 선이 실제로 계산된 옵티컬 플로우, (b)는 히스토그램 계산을 위한 그리드, (c)는 각 그리드로부터 얻은 18방향의 플로우 히스토그램을 나타낸다.
자기행동 분류에는 SVM을 이용한다. 이동방향이 아노테이션(Annotation) 된 1인칭 이미지를 사전에 준비하고 그것을 학습 데이터로 해서 미리 SVM을 학습한다. SVM의 커널은 RBF커널을 사용한다. 이번 연구에서는 행동 분류가 최종 목적이 아니기 때문에 4클래스의 멀티클래스 분류를 하는 것이 아니라 One-vs-Rest 방식으로 SVM을 4개 학습하고 4개의 SVM 출력 값을 모두 장면의 중요도 추정에 이용한다.
횡단보도 검출
요약하고 싶은 영상 1초당 3장의 이미지를 추출해 그 이미지들로부터 횡단보도를 검출한다. 전처리로서 관계가 없는 부분을 제거하기 위해 지면영역을 추정한다. 지면영역의 추정방법은 Hoiem 등의 Geometric Context 법1)을 이용한다. 인식은 자기동작 분류와 마찬가지로 SVM을 사용하여 미리 복수의 영상으로부터 사전에 학습을 한다.
Hoiem 등의 Geometric Context 법1)은 1장의 이미지로부터 3차원적인 정보를 복원하여 영역 분할 및 하늘이나 지면, 벽 등을 라벨링하는 방법이다. 각 클래스 Sky, Support, Vertical은 각각 하늘, 지면, 수직인 면에 대응한다. 그림 4 (a)에 대한 최종적인 출력 결과가 (b)이다. 그림 중 보라, 초록, 빨강이 각각 Sky, Support, Vertical에 대응하고 있다.
.jpg) | ||
| 그림 4. Geometric context 법에 의한 라벨링 예 | ||
이번 연구에서는 support 클래스의 출력 결과만을 이용한다. 이것에 의해 각 픽셀별로 지면영역의 확률을 얻을 수 있다. 이 확률이 임계값 이상인 영역을 이미지 중 지면영역으로 간주한다. 이전 논문에서는 임계값을 0.5이라고 했지만 이번 연구에서는 지면영역의 정밀도보다 지면영역을 빠짐없이 취득하는 것을 중시하여 임계값을 0.4로 한다.
추정한 지면영역은 정밀도 문제로부터 몇 개의 영역으로 나뉘어져 버리거나 지면영역 중에 비지면영역이 있는 드롭아웃(Dropout) 현상이 잘 발생한다. 실제 실행 예를 다음 그림 5에 나타낸다.
.jpg) | ||
| 그림 5. 지면영역 추정 예 | ||
(a)가 입력 이미지이다. (b)에 초록색으로 나타내져 있는 영역이 구해진 지면영역이다. 이것에 모폴로지(Morphology) 연산의 팽창을 하면 (c)와 같이 된다. 드롭아웃(Dropout) 부분이 없어진 것을 확인할 수 있다. 이 처리를 한 후의 영역이 최종적으로 추정된 지면영역이다.
그 다음에 지면영역에서 Scale-Invariand Feature Trans-form(SIFT) 특징을 추출하고, 사전에 구축한 코드 북(Code Book)을 사용해서 각 이미지에 대응하는 SIFT 특징을 Bag-of-Features, BoF) 벡터로 변환한다.
이 BoF 벡터를 1개 이미지의 표현자로 한다. 한편, 코드 북(Code Book)은 미리 각 비디오에 대해서 5초에 1장 추출한 이미지군으로부터 위와 같은 방법으로 추출한 SIFT 특징 벡터를 k-means로 클러스터링 해 사전에 작성해 둔다.
마지막으로 자기행동 분류의 인식과 마찬가지로 이미지에 횡단보도가 찍혀 있는 가, 아닌가의 인식에 SVM을 이용한다. 미리 SVM을 정례(횡단보도가 찍혀 있음) 약 80장, 부례(횡단보도가 찍혀 있지 않음) 약 160장으로 학습해 둔다. 학습한 SVM을 이용해서 2값 분류를 한다. 커널은 RBF커널을 사용한다.
중요도 추정
횡단보도 검출과 자기행동 분류의 결과로부터 일정한 시간간격마다 중요도를 추정한다. 이번 연구에서는 영상 8초간을 1단위로 해서 영상 시작 8초마다 영상을 분할해 중요도를 산출한다. 또, 분할된 8초간의 영상을 장면(Scene)이라 부르기로 한다. 장면은 짧은 것이 더 세세하게 동영상의 재생 속도를 조작할 수 있지만 실제로는 재생 시에 너무 빈번하게 속도 변화가 일어나면 영상을 알아보기 힘들다는 것을 예비실험을 통해 알았기 때문에 8초로 했다.
.jpg) | ||
| 그림 6. 재생 속도 가변의 길 안내 영상을 재생 하는 HTML5 비디오 플레이어. 오른쪽을 향한 직후에 횡단보도앞에서 녹색신호를 기다리고 있다. | ||
요약 영상을 보는 시점에서 처리하기 때문에 각종 파라미터를 그 자리에서 변경할 수 있다. 즉, 요약 영상(재생 시나리오)을 필요에 맞춰 그 자리에서 다시 만드는 것이 가능하다. 요약 시나리오를 작성하기 위해서 중요도를 산출한다. 중요도는 8초간의 장면별로 추정하는 것으로 하고 자기동작 분류와 횡단보도의 추정 결과로부터 구할 수 있다. 중요도란 0부터 1.0의 실수로 값이 높을수록 그 영상의 부분이 중요하다는 것을 나타낸다. 이 값은 최종적으로 재생 속도의 산출에 사용된다. 먼저 자기행동 분류의 4가지 SVM에 의한 출력 값의 가중 합으로부터 자기동작에 관한 중요도를 산출한다.
i번째 장면 직진 LIBSVM의 확률을 v_f [i], 마찬가지로 정지를 v_s [i], 우회전을 v_r [i], 좌회전을 v_l [i]라고 하면 i번째의 중요도p[i]는 p[i]i=cfcf[i] + csvs[i]+crvr[i]+civi[i](수식⓵, *이 수식에서 f, s, r는 아랫 첨자)로 산출된다. 계산에서 사용되는 상수 c_f, c_s, c_r, c_l은 예비실험 결과로부터 각각 -2, 1, 2, 2로 했다. 정규화를 해 중요도를 0부터 1.0로 고친다. 이동 영상 중에 출현하는 최대의 중요도를 p_max, 최소값을 p_min라 하면 정규화 후의 중요도는
.jpg) | ||
다음은 횡단보도 검출 결과를 중요도에 반영시킨다. 횡단보도 검출은 오검출 등도 있으므로 오검출에 의한 노이즈를 제거하기 위한 한계값을 설정했다. 8초간 24장의 이미지에 한계값 이상 횡단보도가 검출되었을 경우 참으로 그 8초간에 횡단보도가 출현했다고 간주하고 그 부분의 중요도를 1을 상한으로 0.5 올린다. 즉, 횡단보도가 검출된 i번째의 중요도는 p[i]=min(][i]+0.5, 1.0) ...(수식⓷)으로 계산된다. 이번 연구에서는 실제의 검출 결과로부터 한계값은 7장으로 했다. 마지막으로 이동 영상의 출발지와 도착지는 길 안내 영상에 있어서 가장 중요하므로 최초와 최후 2장면(약16초)의 부분을 맹목적으로 중요도 1.0으로 설정하여 빨리감기가 되지 않도록 한다.
재생 시나리오의 생성과 플레이어 제어
추정한 중요도로부터 재생 속도의 산출과 비디오 플레이어의 재생 속도를 제어하는 재생 시나리오를 생성한다. 재생 시나리오란 어느 부분을 어느 정도의 속도로 재생할 것인가 하는 정보이다. 마지막으로 생성된 재생 시나리오를 바탕으로 비디오 플레이어를 조작해 요약 영상을 사용자에게 제시한다. 실험에서는 재생 속도를 제어 가능한 비디오 플레이어로서 브라우저상에서 작동하는 HTML5 비디오 플레이어를 이용한다. 재생 속도는 홈페이지에 있는 JavaScript로 제어한다. 실제의 HTML5 비디오 플레이어 캡처 화면을 그림 6에 나타낸다.
재생 속도 계산
중요도를 바탕으로 영상의 재생 속도를 결정한다. 여기에서 말하는 재생 속도란 몇 배속으로 재생되는가 하는 것을 나타낸다. i번째의 중요도를 p[i]라고 하면 재생 속도는
.jpg) | ||
속도의 평활화
재생 속도가 짧은 시간이고 크게 바뀔 경우, 영상을 잘 알아보기 힘든 경우가 있다. 이것을 경감하기 위해서 재생 속도를 평활화한다. 방법은 가중한 평균을 구하는 단순한 방법이다.
구체적으로는 i번의 속도 s[i]는 s[i]= 0.1s[i-1]+s[i+1])+0.8s[i] ...(수식⓹) 이것은 최초와 최후의 2장면분에는 적용하지 않는다.
.jpg) | ||
| 그림 7. Looxcie2(위), 그림 8. 장착도(아래) | ||
데이터 세트(Data Set)의 수집
데이터 세트를 수집하기 위해서 영상 촬영에는 그림 7에 나타내는 웨어러블 카메라(Looxcie2)를 그림 8처럼 귀에 장착해 촬영했다.
수집한 데이터는 다음 표1과 같다. 이 영상은 모두 동일인물이 촬영했으며 도쿄의 교외 주택가(도쿄도 조후시 전기통신대학 주변)에서 촬영되었다.
자기행동 분류의 정밀도 실험
(a) 실험방법
자기동작 분류 식별기를 작성하고 실제 영상으로부터 추출한 테스트용 데이터를 사용해서 평가한다. 여기에서는 4개의 식별기에 대해 2값 분류 실험을 각각 독립적으로 실시한다. 제안 방법에서는 각 식별기의 확률을 사용하기 위해 각 식별기의 정밀도를 평가한다.
4개의 식별기에 사용하는 학습 데이터는 4개의 영상으로부터 추출하고 테스트용 데이터는 3개의 영상으로부터 추출하며 포지티브 수와 네거티브 수를 같은 수로 해서 테스트를 실시한다. 실제의 테스트 데이터 수와 결과는 다음 표 2와 같다.
결과를 보면 4개의 방법에서 F값의 평균은 0.824이며 비교적 높은 정밀도로 분류할 수 있었다. 한편, 여기에서는 보행 중에 발생하는 영상의 흔들림이 포함되어 있는 것을 직접 사용해서 학습·인식하고 있음에도 불구하고 어느 정도의 정밀도가 나왔다.
이것은 학습 영상 및 분류 대상 영상 양쪽에 같은 특성을 가지는 보행 중의 카메라 흔들림이 포함되어 있었기 때문에 분류에 있어서 흔들림이 포함되어 있는 것이 큰 문제가 되지 않았다고 생각된다. 또, 보행 중 영상의 흔들림은 주로 상하 방향으로 흔들리는 흔들림이며 이번 자기행동 분류에 있어서 상하 방향의 성분은 중요하지 않다는 것도 그 이유라고 생각된다.
횡단보도 검출 정밀도 실험
.jpg) | ||
이 방법은 코드 북(Code Book) 및 BoF 작성 시에도 지면영역에 대한 필터링을 하지 않았다. 결과는 다음 표3과 같다. 결과를 보면 지면영역의 추정 및 특징점의 선택 처리를 한 쪽의 F값이 0.106포인트 상승해 있어 횡단보도를 검출할 때 전처리로서 지면영역 검출을 하는 것에 대한 유효성이 실증되었다. 또, 지면영역 추정이 실패하면 횡단보도 검출도 실패하는 경향이 있다. 그 경우 지면영역이 작아져 충분한 특징점을 구할 수 없어서 실패하는 경향이 있다는 것을 알았다.
실제 영상 적용 실험
자기행동 분류 및 횡단보도 검출에 대해서 실제의 영상 전체에 대해 적용했을 경우의 정밀도를 평가한다. 사용한 3개의 영상 A, B, C는 표 1의 일부이며 대학 주변(조후시)의 주택지에서 촬영되었다. 표 1에 나타내어진 9개의 영상 가운데 3개(A, B, C로 한다)를 사용한다. 3개의 영상 A, B, C는 자기행동 분류 및 횡단보도 검출 학습에 사용한 어느 영상과도 중복되지 않는다.
각 영상에 대해서 자기행동 분류의 각 동작이 발생하는 구간 수 및 횡단보도가 출현하는 구간 수는 표4에 나타낸 것과 같다. 1구간 8초중에 조금이라도 우회전, 좌회전, 정지 3동작이 포함되어 있을 경우는 그 동작을 정답이라고 하고 그것들의 복수 동작이 포함될 경우는 가장 동작시간이 긴 것을 정답이라고 했다. 3동작이 포함되지 않는 것에 대해서는 직진 구간으로 했다. 마찬가지로 횡단보도에 대해서도 구간 중에 조금이라도 횡단보도가 찍혀 있을 경우 횡단보도 출현 구간으로 했다.
자기행동 분류에 있어 분류의 결과는 One-Vsrest 방식으로 가장 SVM으로부터의 확률 출력 값이 큰 것에 분류되는 것으로 했다. 횡단보도 검출의 경우 임계값을 7로 해서 임계값을 넘는 구간을 횡단보도가 검출된 구간으로 했다.
대상 3영상에 있어 자기행동 분류의 혼동 행렬은 표 5에 나타내는 것과 같다. 이것을 바탕으로 한 자기행동 분류의 분류율은 0.879였다. 다음에 대상 3영상에 있어 횡단보도 검출의 혼동 행렬은 표6에 나타내는 것과 같다. 이것을 바탕으로 한 횡단보도 검출의 분류율은 0.828이었다.
이 결과로부터 실제 영상에 대해 적용한 경우에도 자기행동 분류 및 횡단보도 검출은 어느 정도의 정밀도로 실현되었음을 알 수 있다.
요약 영상의 사용자 평가 실험
마지막으로 이번 연구에서 제안한 방법에 관한 사용자 평가 실험을 실시한다. 앞에서 사용한 3개의 영상에 대해서 자기행동 분류 및 횡단보도 검출 성능을 평가한다. 구간에 있어 정답 라벨의 규준은 앞 절과 같다. 본고에서 제안한 방법으로 요약 영상을 작성해 비교 실험을 실시한다. 요약 방법은 다음 4가지이다.
① 제안 방법 자기동작 분류+횡단보도 검출
② 비교 방법1 자기동작 분류만
③ 비교 방법2 균등하게 빨리 감기
④ 비교 방법3 스토리 보드 형식
①의 제안 방법 이외에 3개의 비교 방법을 준비했다. ②는 제안 방법으로부터 횡단보도 검출 부분을 무효로 한 것, ③은 균일하게 빨리 감기 재생을 하는 것, ④는 영상이 아니라 균일한 간격으로 이미지를 샘플해서 표시하는 스토리 보드 형식이라 불리는 방법으로 문헌2)에서도 채용된 방법이다. 10명의 피험자에게 보여 가장 길 안내로서 이해하기 쉬웠던 요약에 투표하게 한다. 3개의 영상에 대해 실험을 실시했다. 같은 조건에서 비교하기 위해 각 영상의 길이를 균일하게 한다.
이 때 ② 방법의 길이를 기본으로 한다. ③은 영상의 길이로부터 평균 속도를 구하고 시나리오를 주어 재생한다. ①에 대해서는 최종적으로 계산되는 속도 모두에 영상의 길이가 같아지도록 상수를 곱해서 조절했다. ④에 대해서는 20초마다 이미지를 잘라 표시했다. 실제로 요약된 영상의 길이 및 재생 속도는 표 7에 나타낸 것과 같다.
한편, 실험 영상은 두부에 장착한 웨어러블 카메라로 촬영한 영상이기 때문에 촬영자가 걸을 때 머리 흔들림의 영향으로 흔들림이 컸다. 그것을 그대로 고속 재생하면 매우 알아보기 힘든 영상이 되어 버린다는 것이 예비실험으로 밝혀졌다. 그래서 영상에 대해 안정화(Stability) 처리를 통해 영상을 얻었다. 안정화 처리는 시판되고 있는 비디오 편집 소프트(Adobe Premiere)를 이용했다. 한편, 자기동작 분류 처리는 안정화 처리가 되지 않은 영상을 이용했기 때문에 흔들림도 포함한 학습·인식 결과이다. 비교 실험 결과 10명으로부터 30의 투표를 얻었다. 결과는 표8과 같다.
이 결과로부터 3개 모두 제안 방법이 가장 좋은 요약 방법이라는 것을 알았다. 영상A에 관해서는 자기동작 분류만으로도 4표를 얻어 자기동작 분류만으로도 어느 정도는 요약이 가능하다는 것을 시사하고 있다.
맺음말
이번 연구는 1인칭 시점의 이동 영상에 대해 자기동작 분류와 횡단보도 검출에 의해 영상정보만으로 요약 영상을 자동 생성하는 방법을 제안했다. 10명의 피험자에 의한 사용자 평가 실험에서 3개의 비교 대상 방법보다 제안 방법이 더 우수하다는 결과가 나왔다.
앞으로의 과제는 이동방법을 도보에 한정하지 않고 자전거나 자동차 등 다른 이동수단으로도 넓혀가는 것을 들 수 있다. 현재는 도쿄의 교외 주택가에서 영상을 촬영했으나 다른 지역이나 주택지 이외의 영상 데이터 세트를 충실화 해 갈 필요가 있다. 그것과 함께 중요 대상을 횡단보도 이외로도 넓힐 필요가 있다.
<참고문헌>
D.Hoiem, Efros. A, and Hebert. M.: Recovering surface layout from an image. International Journal of Computer Vision, Vol.75, No.1, pp.151-172(2006)
Y.J.Lee, J.Ghosh, and K.Grauman: Discovering important people and objects for egocentric video summarization. In Proc. of IEEE Computer Vision and Pattern Recogni-tion (2012)
[글 시큐리티월드 글 오카모토 마사야, 야나이 게이지 전기통신대학 교수(sw@infothe.com)]
[월간 시큐리티월드 통권 227호 (sw@infothe.com)]
<저작권자 : 시큐리티월드(http://www.securityworldmag.co.kr) 무단전재-재배포금지>
[2024-05-04] 
.jpg)
