안전한 운전을 지원하는 비전기술과 교통시스템

[시큐리티월드=덴소 오미 다쿠히로] 이번 호 연구에서는 운전자의 졸음상태를 검출해 주의를 환기시켜 교통사고를 미연에 방지할 수 있는 장치를 개발했다. 졸음상태 추정에는 차량 거동이나 조작 정보를 이용하는 방법부터 바이오정보를 이용하는 것까지 폭넓게 제안되고 있는데, 그 중에서도 우리들은 눈의 깜박임 특징을 이용한 방식에 착안했다.

운전자에게 부하가 걸리지 않는 방법으로 실시간 눈 깜박임 거동을 검출할 필요가 있어 ‘근적외 카메라’를 센서로 사용했다. 운전자의 얼굴 이미지를 카메라로 촬영해 이미지 인식처리를 하는 것으로 눈의 개폐 정도를 검출하고 졸음과 상관이 있는 거동으로부터 졸음상태를 추정했다. 실용화를 위해서는 다양한 빛환경 아래에서 안정되게 인식하는 것이 과제였지만, 촬영계와 인식 알고리즘 양면에서 검토해 완전성이 높은 이미지 센서를 실현했다.

최근 교통사고의 특징으로서 건강에서 기인된 사고나 졸음 등의 만연운전, 한눈팔기 운전 등 운전자의 휴먼 에러(Human Error)에서 기인한 것이 증가, 연간 2,000건 가깝게(전체 사망사고의 43%) 발생하고 있다. 이런 경향은 일본에 한하지 않고, 미국에서는 대형 트럭 사고의 41%, 승용차 사고의 46%1), 독일에서는 전체 사망사고의 25% 이상이 졸음·부주의에 기인하는 사망사고라는 보고가 있다.

안전지원 장치의 보급과 인프라의 정비에 의해 ‘차’나 ‘길’에 기인하는 사고가 감소하고 상대적으로 ‘사람’에 기인하는 사고가 증가하고 있다. 위험 항상성 이론(Risk Homeostasis Theory)2)에 의하면 자동차가 안전해지면 그만큼 운전자는 위험한 운전을 할 가능성이 있다고도 말하고 있어, 애써 갖춘 운전 지원 시스템이 그 효과를 발휘하지 못할 가능성도 있다.

그래서 중요해지는 것이 운전자의 상태를 감시하는 시스템이다. 차량이 운전자의 상태를 이해하는 것으로 한눈팔기를 검지해서 적절하게 경보를 하거나 표정으로부터 내면상태를 추정해 적절한 정보제공이나 차량제어를 하는 등 교통사고의 미연방지에 도움을 주는 것이 가능해진다3).

또, 심질환이나 뇌질환 등에 의한 의식상실 등 운전이 불능한 상태를 검지할 수 있다면 ‘충돌 피해 경감 브레이크(PCS)’나 ‘차선 유지 어시스트(LKA)’ 등의 응용으로 차량을 안전한 지역으로 대피시켜 정지하게 하거나, SOS 자동통보로 의공(醫工) 제휴에 의한 구명·구급활동의 신속화를 도모하는 등 연속적인 차량안전을 실현할 수 있을 것으로 기대된다. 여기에서는 운전자의 졸음상태 센싱에 대해서 개발 동향을 개설하는 동시에 우리들이 개발한 이미지 센서를 사용한 운전자 상태 검지 시스템 ‘드라이버 스테이터스 모니터’에 대해서 소개한다.

졸음상태 센싱

졸음상태 센싱의 개요

운전자의 졸음상태 검출방법은 차량 정보나 조작 정보를 이용하는 방법과 운전자의 바이오정보를 이용하는 방법으로 크게 나눌 수 있다. 모두 직접 졸음을 계측하는 것이 아니라 졸음과 상관있는 물리적인 양을 계측하여 졸음을 추측하고 있다. 전자의 방법에서는 핸들의 조타 패턴 등으로부터 추정하는 방법4)이 잘 알려져 있으며 카메라나 레이저 레이더 등을 조합해 사행율·조타량·조타의 단조도로부터 각성상태를 추정하는 센서가 개발되고 있다5).

바이오 지표를 계측하는 것으로서 순환계에서는 심전도(ECG)에 의한 심박이나 혈압·맥압, 호흡계에서는 환기량, 중추신경계에서는 뇌전도(EEG)에 의한 뇌파, 시각계에서는 전기 안구도(EOG)에 의한 안구운동이나 눈 깜박임, 기초대사계에서는 피부전기활동(EDA)이나 체온, 발한, 내분비계에서는 코르티솔의 상태 등 여러 가지 수법이 연구되고 있다6). 그 중에서도 눈 깜박임을 검출하는 방법7)은 각성도 저하를 잘 반영하는 것이 알려져 최근 떠오르고 있다.

눈 깜박임을 정확하게 계측하는 방법으로서는 EOG가 있는데, 이 방법은 눈꺼풀에 전극을 붙일 필요가 있어 운전자에게 번거롭기 때문에 현실적이지 않다. 몸에 착용할 수 있는 타입의 눈 전위 센서도 개발되고 있으나8) 안정적으로 피부에 접촉시키기 위해서는 아직 과제가 있다. 그래서 카메라에 의해 운전자의 얼굴 이미지를 촬영하고 이미지 인식 기술에 의해 졸음과 상관이 있는 물리적인 양을 검출하여 졸음상태를 추정하는 드라이버 모니터가 개발되고 있다. 이 방법은 비접촉·비구속이기 때문에 운전자에게 부하를 주지 않는 이점이 있지만 개인차나 착용물, 시시각각 변화되는 빛환경이나 자세변화의 영향에 의해 안정적으로 인식 처리하기가 어렵다.

졸음상태 센싱의 평가

졸음상태 센싱 수법을 평가하기 위해서는 외적 기준이 필요하지만 센싱 수법과 평가방법은 표리일체의 관계에 있어 졸음 지표로 정해진 것은 아직 존재하지 않는다. 흔히 이용되는 졸음 지표를 표19)에 나타냈다. 졸음 지표로서 어느 정도 인지된 것에 스탠포드 졸음 척도(SSS), 카롤린스카 졸음 척도(KSS), Visual Analog Scale(VAS) 등이 있는데 모두 자각적인 평가법이기 때문에 여러 가지 요인으로 영향을 받기 쉬워 동일 척도로의 평가에는 문제가 있다.

그래서 가장 다용되고 있는 것이 운전자의 얼굴표정 이미지를 제삼자가 관찰해서 졸음 수준을 추정하는 ‘얼굴표정 평가’다. ‘얼굴표정 평가’는 실험 참가자에게 실험 도중 각성을 촉구하지 않아도 되는 장점이 있으며, 특히 기타지마(北島) 등의 평가 수법10)은 자각적인 평가와의 높은 상관관계도 확인되고 있어 이 수법을 사용했다.

이미지 센서를 이용한 졸음 추정 기술의 개발

운전자의 졸음상태를 실시간으로 검출하는 센서로서 카메라를 이용해서 실현 가능한 졸음추정 기술을 검토했다.

졸음 시의 특징량 추출

Magoun 등은 뇌간에의 전기 자극에 의해 뇌파에 각성반응이 일어나고 뇌간의 파괴에 의해 혼수를 일으키는 것에서 뇌간에는 대뇌피질을 부활하는 기능이 존재한다는 것을 밝혔다. 각성과 수면의 조절은 시상을 통해 뇌간망양체가 깊게 관계되어 있다고 여겨지며 결과로서 안륜근(안면신경)과 안검거근(동안신경)의 작용이 눈 깜박임 거동으로 나타난다(그림 1).

눈을 뜨는 것은 안검거근, 눈을 감는 것은 안륜근의 작용에 의하는데 그것들에 의해 일어나는 눈 깜박임에는 수의성 눈 깜박임과 반사성 눈 깜박임 이외에 자발성 눈 깜박임 등 작용의 다른 것이 존재하기 때문에 졸음 시 특유의 현상을 정확하게 추출하는 것이 요구된다. 우리들은 종전에 알려져 있는 특징11)에 더해 졸음과 상관이 높은 눈 깜박임 거동을 고속카메라를 이용해서 추출하고 피험자 실험에 의해 각 팩터의 기여율을 정량화했다12). 특징인자의 일례를 그림 2에 나타낸다.

눈 깜박임 특징량을 사용한 졸음 추정

시뮬레이터 실험의 데이터를 이용해서 중회귀 분석을 하는 것으로 졸음 수준 Dp를 산출하는 졸음 추정 함수를 도출했다.

졸음 수준

·Dp=f1(개안 시의 개안도)

·+f2(평균 눈 깜박임 시간)

·+f3(계속 폐안 시간의 분포)

·+f4〔PERCLOS 폐안 비율)〕

·+f5(눈 깜박임 횟수)+...

·+fn (기타)

여기서 Dp는 전혀 졸리지 않는 것 같음(수준 1)∼자고 있다(수준 6)의 6단계 스케일에 맞도록 설정했다. f는 기여율을 고려한 계수로 얼굴표정 평가와 가장 상관이 높아지도록 회귀분석으로 구했다.

졸음 추정 수법의 평가실험

실험은 운전자의 개안도를 검출할 수 있는 운전자 모니터링 장치를 탑재한 실제 차량을 고속도로에서 실험 참가자에게 운전 주행시켜 실시했다. 실험 참가자는 자발적 참가 의사가 있는 건강한 보통 40대 남성이다.

졸음 추정 함수에 의해 실시간으로 구한 추정 결과와 얼굴표정 평가에 의해 6단계로 정답을 매긴 결과를 나열하여 그림 3에 나타낸다. 그림으로부터 얕은 졸음에서 깊은 졸음에 걸쳐 졸음 추정 값이 얼굴표정 평가를 감도 높게 추종하고 있다는 것을 알 수 있다. 양자의 상관계수는 0.91로 높은 값을 나타냈다.

드라이버 스테이터스 모니터의 개발

드라이버 스테이터스 모니터

‘이미지 센서를 이용한 졸음 추정 기술의 개발’에서 개발한 졸음 추정 기술을 베이스 기본기술로 해서 차량에 응용하기 위해 드라이버 스테이터스 모니터를 개발했다. 드라이버 스테이터스 모니터는 촬영부, 이미지 처리부, 운전자 상태 검출부의 3개 기능 블록으로 구성되며 미터기 근방에 설치된다(그림 4)13). 촬영부에 의해 촬영된 얼굴 이미지는 ECU 내의 이미지 처리부에서 운전자의 눈꺼풀을 인식하고 그 개안도 정보를 바탕으로 운전자 상태 검출부에서 졸음상태를 추정한다. 졸음 추정 결과가 한계값 수준을 넘었을 경우에는 주의 환기나 경보 등을 운전자에게 전달한다.

촬영부는 카메라와 투광기로 구성되어 있다. 카메라는 CMOS(상보형 금속산화막 반도체) 이미지 센서를 사용하고 화소수 640×480, 프레임 레이트(Frame Rate) 30fps, 광학계는 운전자 체격이나 자세변화를 고려해서 수평 화각 약 45도로 했다. 촬영 시에는 LED(발광 다이오드)에 의해 근적외광(파장 860nm)을 조사해 야간 등 낮은 조도 시의 촬영 감도를 보충하는 동시에 낮의 외란광 영향을 저감시키고 있다. 불가시광인 근적외광을 조명으로 이용함으로써 야간에도 운전자에게 번거로움을 주지 않도록 배려하고 있다.

이미지 인식 알고리즘

그림 5에 이미지 인식 알고리즘의 처리 흐름을 나타냈다. 먼저 취득한 이미지로부터 얼굴영역을 특정하여 눈, 코 등의 얼굴부분을 검출한다. 그 다음에 이들 얼굴영역과 각 부분 위치의 기하관계로 얼굴의 방향이나 위치 등과 같은 두부의 자세정보를 추정한다. 그 후 눈꺼풀형상의 변화를 개안도로서 산출하여 폐안(閉眼)을 검지한다. 마지막으로 이 개안도의 경시적인 변화로부터 졸음을 추정한다.

또, 여기에서는 편의상 ‘졸음(각성)’이라는 말을 사용했지만 졸음(각성)의 외적 기준이 존재하지 않고 졸음을 센싱 대상으로 하는 상품에는 여러 가지 장벽이 있기 때문에 실제 제품에는 졸음이라는 말을 사용하고 있지 않다.

실제 차량 환경의 과제와 과제 극복을 위한 대응

실제 차량 환경에서 안정된 이미지 인식 성능을 얻기 위해서는 아래의 세 가지가 필요하다.

① 빛환경 변화

② 운전자(얼굴)의 개인차나 착용물에 대한 대응

③ 자세변화에 대한 대응

여러 가지 각도·강도로 얼굴에 태양광 등의 외란광이 닿기 때문에 같은 운전자라도 얼굴부분이 보이는 방법이 항상 변화되어 미검출이나 오검출이 생기기 쉽다. 또, 운전자의 얼굴이 다양하고 운전 중 자세도 변화되기 때문에 이미지 인식 알고리즘에는 높은 완전성이 요구된다. 우리들은 실제 차량 환경의 과제를 해결하기 위해서 촬영방법과 인식 알고리즘 양면에서 검토를 실시하여 안정되게 운전자의 상태를 검출할 수 있는 기술을 개발했다14). 아래에 우리가 고안한 대책 사례를 소개한다.

광학 필터에 의한 불필요 파장광의 제거

카메라 내부에 밴드패스 필터(BPF)을 내장하여 근적외 조명광의 파장성분 이외 불필요한 빛을 차단함으로써 낮 동안의 이미지 S/N(신호 잡음)비를 향상시켰다. 또, 근적외 LED로부터 조사되는 적색 파장 성분을 제거하기 위해서 앞면에 가시광 차단 필터를 설치했다(그림 6).

환경광을 촬영에 이용하지 않기 때문에 밤과 낮 모두 안정된 이미지를 얻을 수 있어 인식 처리가 유리하게 작용하는 반면 투광기에 가해지는 부하가 크기 때문에 LED는 하이파워 타입의 LED를 사용했다. 또, 이 구조로 하면 편광 타입이 아닌 선글라스를 착용하고 있어도 눈을 양호하게 인식하는 것이 가능하다.

촬영 타이밍에 동기한 근적외 조명의 펄스 발광

글로벌 셔터 방식의 CMOS 이미지 센서를 사용하고 그 노광 타이밍에 동기해서 근적외 조명을 점등시키는 것으로 LED의 정격상 순간적으로 강하게 발광시키는 것이 가능해져 S/N비를 향상시켰다. 그 결과 안경 렌즈에의 풍경 찍힘을 억제해 인식 성능이 높아졌다(그림 7). 또, 근적외광의 조사 강도에 대해서는 IEC 62471에 근거해 생체 안전성에는 충분히 배려했다.

이미지 처리 결과를 피드백한 촬영 제어

얼굴의 특정 부위를 추적하여 그 부위의 현재 촬영 프레임의 밝기로부터 다음 촬영 프레임(33m/sec 후)의 촬영 목표값을 산출해 안면의 밝기가 항상 일정한 범위에 들어가도록 카메라 셔터 시간과 게인을 피드백 제어했다. 통상의 카메라는 전체 측광이나 스팟 측광 등 피사체의 위치에 관계없이 고정 부위의 밝기에 의해 촬영을 제어하기 때문에 운전자의 착석 자세나 몸의 움직임에 의해 안면의 조도가 크게 변화되는 것에 대해 본 카메라에서는 얼굴 인식에 적합한 이미지를 안정되게 얻을 수 있다(그림 8).

맺음말

불행하게도 교통사고를 일으켰을 때, 그 원인이 졸음이었을 경우 감속이나 회피 행동을 취할 수 없기 때문에 가해/피해가 막대해 진다는 것은 쉽게 상상할 수 있다. 더구나 그 차량이 대형 트럭이나 버스의 경우는 더욱 더 그러하다.

이번에 우리가 개발한 드라이버 스테이터스 모니터는 아직 개발 중에 있기는 하지만 대형 차량에 채용되었다고 하는 점에서는 의의가 깊다고 생각한다. 그렇지만 어떤 조사에 의하면 운전 중에 졸음을 경험한 적이 있는 운전자가 90% 이상에 달하고 그 경향은 직업이나 연령대와 상관이 없다는 보고도 있는 것처럼 교통 사망사고를 제로로 한다는 목표를 향해서 이제 막 걸음마를 시작한 단계이다.

EU위원회에서는 새로운 안전시스템 보급을 위한 법제화 후보로서 비용대효과의 평가를 실시하고 있어 우리도 기술로 선두를 달릴 수 있도록 개발에 매진해 갈 것이다.

[참고문헌]

1) United States Department of Transportation: Distraction/Inattention in Large Truck and Passenger Vehicle Studies, Federal Motor Carrier Safety Administration(2009)

2) 하가 시게루(芳賀繁): 위험 항상성 이론(Risk Homeostasis Theory) - 논쟁사의 해설과 전망, 교통심리학연구, 9:1-10(1993)

3) 고지마 미치히코(小島信彦), 다쓰모토 고이치로(辰本恒一) : 드라이버 모니터를 활용한 안전 시스템의 개발, 자동차기술, 68:55-9(2014)

4) 세코 야스토시(世古恭俊), 가타오카 유키오(片岡幸), 세노오 데쓰오(妹尾哲夫) : 각성도 저하시의 운전 조작 분석, 자동차기술회 학술강연회 전쇄집, No. 841, 69-74(1984)

5) 야마모토 게이치(山本惠一) : 운전 주의력 모니터의 휴먼 인터페이스, 자동차기술, 56:74-8(2002)

6) 모치즈키 마사히토(望月正人), 스기우라 야스시(杉浦康司) : 휴먼 인터페이스, 실제 차량 주행 평가에 응용 가능한 생리계측평가기술, 자동차기술, 56:33-8(2002)

7) 나카노 도모아키(中野倫明), 스기야마 가즈히코(杉山和彦), 미즈노 모리미치(水野守倫) 외 : 졸음 검지를 위한 눈 깜박임 검출과 각성도 추정, 전자정보통신 학회기술연구 보고, 95:73-80(1995)

8) JINS-MEME. Available from http://pdf.irpocket.com/C3046/YWWN/f5a2/yKcN.pdf

9) 오미 다쿠히로(大見拓寬): 졸음운전 방지를 위한 센싱 기술, 졸음의 과학과 그 응용Ⅱ, 혼다 가즈키(本多和樹) 감수, CMC 출판, 도쿄, 107-21(2011)

10) 기타지마 히로키(北島洋樹), 누마타 나카호(沼田仲), 야마모토 게이치(山本惠一) 외 : 자동차 운전 시 졸음의 예측 수법에 대해서(제1보, 졸음 표정의 평가법과 졸음 변동의 예측에 유효한 지표에 대해서), 일본기계학회 논문집(C편), 63:3059-66(1997)

11) Torch W, Cardillo C : Oculometric Measures as an Index of Driver Distraction, Inattention, Drowsiness and Sleep Onset. Driver Distraction and Inattention Conference(2009)

12) Nagai F, Omi T, Komura T: Driver Sleepiness Detection by Video Image Processing, F2008-08-037, 2008 32ND, FISITA World Automotive Congresses(CD-ROM판) (2008)

13) 덴소 : 상용차용 운전자의 운전상태를 검출하는 ‘드라이버 스테이터스 모니터’를 개발

Available from : http://www.denso.co.jp/ja/news/newsreleases/2014/140403-01.html

14) 시무라 아쓰시(志村敦), 와타나베 히로토(渡泰斗) : 차량용 환경에 대응한 카메라를 사용한 드라이버 모니터 기술의 개발, 자동차기술회 학술강연회 전쇄집, No. 35-12, 15-8(2012)

[글_덴소 오미 다쿠히로]

[월간 시큐리티월드 통권 219호 (sw@infothe.com)]

우리나라 정보보호 수준 향상을 위해 이재명 정부에게 가장 바라는 점은 무엇인가요?
	ISMS 등 보안 인증 제도 실효성 개선
	AI 보안, 양자보안 등 보안 기술 연구개발 지원 확대
	중소 기업 보안 지원 확대
	기업 보안 예산 비율 의무화
	국가 정보보호 거버넌스 체계 정비
	기타(댓글로)