광각 카메라를 이용한 차선 일탈 경보 기술
[보안뉴스= 나카야마 오사후미, 가토 데쓰히로 후지쯔연구소] 후지쯔연구소에서는 이번 연구를 통해 드라이브 레코더(블랙박스)에 설치된 광각 카메라에 대응할 수 있는 ‘차선 일탈 경보(Lane Departure Warning: 이하 LDW) 기술’을 개발했다. 종전 LDW 전용장치에서는 협각 카메라를 사용해 먼 곳까지 넓게 촬영해 흰색 선까지의 거리 추정 정밀도를 확보하고 있었다.
한편, 광각 카메라는 찍히는 각도 범위는 넓지만 먼 곳의 해상도가 낮아 파선 커브길이나 다중 선로에서는 흰색 선까지의 거리 계측 정밀도가 저하된다. 그래서 필자는 파선 커브길에 대응할 수 있는 자차 이동 보정형 구간시간차 파라미터 추정방식, 다중 선로에 대응할 수 있는 도로폭 보정형 파라미터 추정방식을 연구했다. 그리고 이번 연구를 통해 협각 카메라를 사용하는 전용기와 같은 성능을 실현했다.
최근 교통사고를 줄이기 위한 지능형 안전 시스템 중 하나로서 차선 일탈을 억제하기 위한 차선일탈 경보(LDW) 시스템 탑재가 진행되고 있다. 또, 상용차를 중심으로 사고 흔적 기록을 목적으로 하는 자동차 블랙박스도 점점 많이 보급되고 있으며, 이러한 블랙박스에 사용할 수 있는 광각 카메라에서도 일탈 경보를 실현하는 것이 비용 측면이나 차선 일탈 시 기록 등 새로운 기능 실현의 관점에서 기대되고 있다.
이미 LDW 장치는 많은 제조사들로부터 제품화되고 있는데2)3) 이들 기존의 LDW장치는 30도 정도의 비교적 좁은 화각 카메라를 사용하는 것이 전제가 되고 있다. 협각 카메라는 얻을 수 있는 이미지의 분해능이 높기 때문에 도로면 안쪽방향으로 먼 곳까지 높은 해상도로 촬영할 수 있어 근방에서 안쪽까지 긴 범위에서 촬영하면 흰색 선까지의 거리 추정 정밀도를 확보할 수 있다(그림 1 (a)).
한편, 블랙박스용 카메라 등 광각 카메라(화각이 120도 정도)는 찍히는 각도의 범위는 넓지만 이미지 아래쪽 대부분이 차내 대시보드 등에 가려져 노면영역이 좁아지는데다가 카메라 분해능이 낮기 때문에 자차에 가까운 도로영역 밖에 촬영할 수 없다는 제약이 있다(그림 1 (b)).
그림 1. 협각카메라와 광각 카메라의 노면범위 차이
이 광각 카메라 특유의 제약 때문에 종래의 협각 카메라를 전제로 한 차선 검출방식(이후 협각방식)을 그대로 광각 카메라에 적용하면 흰색 선까지의 거리 추정 정밀도가 저하되어 ASV 도입 보조기준 등에 필요한 계측 오차 30㎝ 이내의 거리 계측이 어려워진다. 그 때문에 광각 카메라에 대응할 수 있는 차선 검출 기술이 필요하게 됐다.
이번에 시계열 이미지를 통합함으로써 광각 카메라 이미지로도 정확한 차선 형상을 추정하는 차선 인식 기술을 개발해 협각 카메라와 동등 이상인 95%의 경보 성능을 가진 차선 일탈 경보를 실현했다.
광각 카메라에서의 차선 검출 문제
차선 일탈 경보에서는 차량에 탑재한 카메라 이미지로부터 주행 흰색 선을 검출하고 주행 흰색선과 자차와의 위치관계를 계측하는 것으로 일탈인가 아닌가를 판정한다. 일탈을 정확하게 판정하기 위해서는 얼마나 정확하게 주행 흰색 선을 검출하고 얼마나 정확하게 도로 형상을 추정하는가가 중요하다.
협각 카메라의 흰색선 검출방식을 광각 카메라에 그대로 적용하면 광각으로 인한 해상도의 제약 때문에 파선 커브길이나 다중 선로(곡률이 큰 커브길에서 감속 목적으로 안쪽에 짧은 파선이 부설되어 있는 도로)에서 흰색 선을 검출할 수 없는 경우나 정확한 도로 형상을 추정할 수 없을 경우가 생겨 흰색 선까지의 거리 추정 정밀도가 저하되는 문제가 있다.
그림 2. 카메라 화각 차이에 의한 파선 커브길 이미지의 차이
그림 3. 파선 커브길에서의 거리 오차 설명 모식도
그림 4. 카메라 화각의 차이에 의한 다중 선로 이미지의 차이
파선 커브길에서의 문제
협각카메라(화각 30도 정도)로 파선 커브길을 찍으면 그림 2 (a)에 나타내는 것과 같이 길을 따라 복수의 파선 블록을 관측할 수 있으며, 고속도로의 파선 블록(길이 8m)에서는 3개 이상 관측할 수 있다. 그 때문에 단일 이미지이어도 이들 복수의 파선 블록을 이어줌으로써 커브 형상을 정확하게 추정할 수 있다(그림 3 (a) 참조).
한편, 광각 카메라(화각 120도 정도)에서는 그림 2 (b)에 나타내는 것과 같이 진행방향에 따라 가장 자기 차량에 가까운 파선 블록이 짧은 선으로서 좌우 1쌍밖에 관측되지 않는다. 그 때문에 그림 3 (b)에 나타내는 것과 같이 광각 카메라로 찍은 파선 커브길 이미지에 협각 방식을 그대로 적용하면 짧은 파선 블록을 연장한 직선로로 오인한다. 그 결과 자차의 바로 옆까지 추정 차선을 연장해서 산출되는 흰색선 거리에 큰 오차가 생긴다.
다중 선로에서의 문제
협각 카메라로 다중 선로를 찍으면 그림 4 (a)에 나타낸 것과 같이 도로면의 안쪽방향으로 먼 곳까지 높은 해상도로 촬영할 수 있어 안쪽 단파선과 주행선을 각각 분리할 수 있다. 그 때문에 관측한 선분에서 단파선과 주행선을 형상이나 길이로 구별하여 맞는 주행선만을 분별할 수 있다.
이것에 대해 광각 카메라에서는 그림 4 (b)에 나타내는 것과 같이 주행선과 단파선이 근접해 있어 주행선을 개별 선분으로 검출하는 것이 어려워지는 문제가 생긴다. 이 때문에 광각 카메라에 협각방식을 적용하면 다중 선로를 형성하는 안쪽 단파선을 주행선이라고 오인해 버려 차선까지의 거리를 약간 틀리게 되는 문제가 발생한다.
개발 방식
광각 카메라를 이용했을 경우에도 파선 커브길 및 다중 선로에서 고정밀도로 흰색선 거리를 계측할 수 있는 방식에 대해서 기술한다.
그림 5. 복수 프레임 이미지 통합 그림 6. 단순 종합방식
그림 7. 자동차 이동 보정에 의한 커브
형상 복원
커브길 대응방식
파선 커브길에서의 결여된 곡선정보를 보충하기 위해서 기본적으로는 이케다(池田) 등4)과 마찬가지로 흰색선이 먼 곳에 나타나고부터 근방에서 가려질 때까지 복수의 시각(프레임)으로 서로 연결시켜 복수의 파선 블록을 연속하는 1개의 흰색 선으로 복원해서 커브길 형상을 추정한다(그림 5 참조).
그러나 실제로 차량은 주행하고 있기 때문에 자차의 선회나 옆으로의 이동에 의해 흰색선의 위치는 이미지마다 조금씩 차이가 있다. 이 때문에 단순한 중합은 그림 6에 나타내는 것과 같이 차선 파선이 겹쳐지지 않고 불연속적인 형상이 되기 때문에 이론적으로 도로 형상 파라미터를 추정할 수 없다.
그래서 차는 연속적으로 움직인다는 것에 착안하여 자차의 움직임과 복수 시각의 파선을 매끄럽게 연결할 수 있는 최적의 접속조건을 동시에 산출하는 것으로 자기 차량의 움직임에 영향을 받지 않고 정확한 커브 형상을 추정할 수 있는 자차 이동 보정형 도로 파라미터 추정방식을 개발했다(그림 7).
자차 이동 보정형 파라미터 추정방식
단시간에서는 도로 형상의 변화가 적고 차량의 가로방향이나 선회의 움직임도 적기 때문에 차량의 움직임을 단순한 낮은 차원의 모델로 근사할 수 있다는 것에 착안하여 시계열 이미지에서 검출한 각각의 흰색 선을 매끄럽게 접속할 수 있는 움직임 모델 파라미터를 추정한다. 이 결과 차량의 움직임과 차선 형상 양쪽을 정확하게 추정할 수 있게 된다(그림 8).
구체적인 순서는 다음과 같다.
① 차량의 움직임을 가로이동(등속이동)과 선회(등속선회)로 모델화하고 시계열의 흰색선 이미지에서 움직임 모델을 이용해 이동의 영향을 보정한 노면 합성 이미지를 작성(그림 8 A)).
② 합성 이미지의 흰색 선에서 차선 형상을 추정(그림 8 B)). 움직임 모델이 실제의 움직임과 다르면 그림 8 B)에 나타내는 것과 같은 추정 오차가 생긴다.
③ 추정 오차가 충분히 작아질 때까지 움직임 모델(가로 속도, 선회 속도)을 오차가 감소하도록 수정하여(그림 8 D)) 다시 그림 8 A)부터 처리를 반복하고 최종적으로 자기 차량의 움직임을 보정한 정확한 차선 형상을 추정(그림 8 E)).
그림 8. 자차 이동 보정을 이용한 복수 사각의 흰색선 합성에 의한 차선 형상 추정
구간시간차 파라미터 추정방식
차선 일탈의 위험에 늦지 않게 경보를 발하기 위해서는 각 시각의 이미지에 대해 차선을 추정하는 실시간성이 필요하다. 앞에 기술한 자차 이동 보정형 파라미터 추정방식은 커브 형상을 포함해 차선을 안정적으로 인식할 수 있지만 복수 시각의 이미지를 이용하기 위해서 처리가 간헐적이 되어 실시간성 확보가 과제가 된다.
일반적으로 차선 형상은 도로의 굴곡 정도(커브 곡률)를 이미 알고 있다면 각 시각 1장의 이미지로부터도 추정을 할 수 있기 때문에 커브 곡률만 최근 과거의 차량 전방 복수 이미지를 이용해서 자차 이동 보정형 파라미터 추정방식으로 산출해 두고 나머지 차선 형상(도로 폭, 차량 방향 등)은 현 시각의 단일 이미지로부터 산출하는 시간차에 의한 파라미터 추정방식을 개발했다(그림 9).
그림 9. 시간차 파라미터 추정방식
그림 10. 도로폭 보정형 파라미터 추정
커브 곡률은 단시간에서는 변화가 적기 때문에 시간적으로 가까운 과거 이미지로부터 산출해도 차선 형상의 추정 정밀도는 거의 열화되지 않는다. 본 방식에 의해 각 시각에서 실시간으로 차선 형상을 추정할 수 있다.
다중 선로 대응 방식
다중 선로에 대응하기 위해서 감속 목적의 단파선 부설에 의한 다중 선로에서 생기는 광각 카메라 이미지에서의 해상도 부족으로 인해 안쪽 단파선을 주행 흰색선이라고 오인하는 문제의 해결방법에 대해서 기술한다.
안쪽 단파선의 오인 문제를 해결하기 위해서 단파선이 가지는 아래의 특징에 착안했다.
① 단파선은 주행 흰색선과 평행하게 안쪽에 부설된다.
② 단파선은 짧은 선 블록이 도로 근방에서 먼 곳까지 연속적으로 부설된다.
단파선이 주행선과 평행하게 부설되기 때문에 단파선의 에지 점열을 이용해서 도로 형상을 추정했을 경우 도로폭을 제외하면 정확한 도로 형상을 추정할 수 있게 된다. 또, 단파선이 도로의 원근에 널리 분포되어 있기 때문에 추정되는 도로 형상의 신뢰성이 높다. 따라서 안쪽 보조선을 이용해서 ‘임시의 차선 형상’을 추정해 두고 주행에 따라 실제 차선이 자기 차량 근처에 위치해서 크게 찍힐 경우에 계측한 보조선과 차선의 차이량을 이용하여 임시 도로폭을 보정해 정확한 차선 형상을 추정하는 도로폭 보정형 파라미터 추정방식을 개발했다.
도로폭 보정형 파라미터 추정방식
(1) 도로 형상 파라미터 추정
이미지 중 흰색선 후보선군으로부터 좌우 각각의 가장 안쪽 흰색 선을 이용해서 도로 형상을 추정한다. 다중선인 경우는 안쪽에 부설된 단파선열로부터 도로폭만 차이가 있는 도로 형상이 추정되고(그림 10의 안쪽 파선) 실선로나 파선로의 경우는 정확한 도로 형상이 추정된다.
(2) 단파선 판정
가장 안쪽에서 검출한 흰색선 후보선의 파선 블록 길이·간격으로부터 후보선이 단파선인가 아닌가를 판정한다.
(3) 다중 선로 검출(보정량 추정)
후보선이 단파선인 경우는 흰색선 후보선의 바깥쪽(소정 범위 내)에서 이미지 아래쪽(근접 위치)에 위치하는 흰색선이 존재하는가 아닌가를 검사하고 흰색선이 있으면 그 흰색선과 후보선의 가로방향 폭 오프셋량을 산출하여 보정량으로 등록한다(그림 10의 바깥쪽 파선). 또, 실제 주행 시에 바깥쪽 흰색 선은 파선이 자차에 접근한 간헐적인 타이밍으로 얻을 수 있으므로 폭 오프셋량을 시간 필터를 이용해서 점근적으로 갱신한다.
(4) 도로 형상 보정처리
‘단파선 판정’에서 단파선로(다중 선로)라고 판정되었을 경우는 ‘도로 형상 파라미터 추정’에서 추정된 도로폭 및 가로 오프셋을 ‘보정량 추정’에서 추정된 폭 오프셋량을 이용해서 보정해 최종적인 정확한 도로 형상으로 수정한다.
표 1. 일탈 경보의 성능 평가 결과
개발방식의 성능 평가
여기에서는 광각 카메라용 개발방식의 성능 평가에 대해서 기술한다.
차선 검출 성능의 평가
선 일탈 경보에 필요한 주행 흰색 선까지의 거리 추정 정밀도 평가에 대해서 기술한다. 고속도로에서 취득한 광각 카메라의 실제 이미지 데이터(160분)를 이용하여 개발방식의 차선 검출 성능을 평가한 결과 종전 방식에 비해 약 2배의 성능인 96%의 비율이었으며 성능기준을 충족하는 정밀도(오차 30㎝ 이하)로 흰색 선까지의 거리를 계측할 수 있는 것을 확인했다.
이 결과로부터 개발방식이 커브길에서도 종전에는 할 수 없었던 커브 곡률을 정확하게 추정할 수 있어 도로 형상을 정확하게 추정할 수 있다는 것을 알았다.
차선 일탈 경보의 성능 평가
다음에 동일한 데이터를 이용하여 차선 변경 시의 경보 성공률을 측정했다. 경보조건은 이미지로부터 추정한 흰색 선까지의 거리가 0㎝가 된 시점에서 경보를 울려 일탈 회수에 대한 검출율, 오검출율을 계측했다. 일탈 경보 성능을 표에 나타낸다.
개발방식은 97% 이상의 경보 성공률이었다. 1회의 미경보는 역광 시 젖은 노면에서 주행 흰색선이 육안으로도 보이지 않는 상황에 이미지를 사용한 방법이었기 때문에 검출이 어려운 경우였다. 또, 1회의 오경보는 다중 선로에서 일탈은 하지 않았지만 주행선에 근접했을 경우 조기에 경보가 발생한 경우였다.
이 결과로부터 개발방식은 97% 이상의 경보 성공률을 나타냈기 때문에 광각 카메라로도 안정된 차선 일탈 경보를 실현할 수 있다는 것을 알았다.
광각 카메라를 이용한 파선 커브길 및 다중 선로 대응
이번 연구에서는 광각 카메라를 사용했을 때 정밀도 저하가 발생하는 파선 커브길 및 다중 선로에 대응할 수 있는 방식에 대해서 기술했다. 이번 연구에서는 자차의 움직임과 연속 복수 시각의 파선을 매끄럽게 연결할 수 있는 접속조건을 동시에 산출하는 것으로 정확한 커브 형상을 추정한다.
또, 안정적으로 검출 가능한 안쪽 단파선으로부터 추정한 도로 형상을 별도로 추정하는 단파선에서 주행선까지의 가로 오프셋량을 이용해서 보정하는 것으로 주행선까지의 정확한 가로거리를 추정한다. 고속도로 실제 데이터로 실험을 실시한 결과, 90% 이상의 구간에서 정확하게 흰색 선까지의 거리 계측이 가능했으며 97% 이상의 일탈 경보 성능을 실현해 높은 성능을 가지고 있는 것을 확인했다.
이 기술에 의해 광각 카메라로도 안정되게 흰색 차선을 검출할 수 있어 보급이 진행되고는 있는 블랙박스용 카메라를 이용하면 각종 성능기준을 만족하는 고정밀 차선 일탈 경보를 저비용으로 실현할 수 있을 것으로 보인다.
[참고문헌]
1) 국토교통성 웹사이트 “선진 안전 자동차(ASV) 도입에 대한 지원(2013년도)”
http://www.mlit.go.jp/jidosha/anzen/01asv/esc_25.html
2) 히노자동차(주) “차선 일탈 경보장치”
http://www.hino.co.jp/news_release/220.html
3) 미쯔비시 푸소트럭?버스(주) “MDAS-Ⅲ”
http://www.mitsubishi-fuso.com/jp/lineup/truck/super_great/10/point/safety.html
4) 이케다(池田) 외: 혼다기켄공업(주) “차량용 주행 구분 선 인식장치”, 특개2006-12191(2006-01-12)
5) 다카하시(高橋) 외: “주행 차선 인식에 있어 러버스트한 차선 마킹 후보 선택의 한 수법”, 신학론 (D-Ⅱ), Vol. J81- D-Ⅱ, No. 8 pp. 1904-1911(1998)
6) 노소(農宗) 외: “연속 도로 이미지로부터 도로 구조와 카메라 자세의 동시 추정”, 신학론 (D-Ⅱ), Vol. J76- D-Ⅱ, No. 3, pp. 514-523 (1993)
[용어설명]
1) 차선 일탈 경보(Lane Departure Warning) : 차선 일탈을 억제하기 위한 경보장치로 차량의 전방을 촬영한 이미지로부터 자차의 주행 흰색선을 인식하고 흰색선까지의 거리를 계측하는 것으로 차선 일탈의 위험성을 경보하는 것.
2) 드라이브 레코더(블랙박스) : 차량 주행 시의 위험상황을 기록하기 위한 장치로 전방 이미지, 차속, 감속 가속도, GPS 위치 등을 기록하는 것.
3) 다중 선로 : 곡률의 큰 커브길에서 운전자에게 감속을 촉구하는 것을 목적으로 차선 흰색선 안쪽에 단파선이 부설된 도로.
4) ASV 도입 보조 : 국토교통성이 사업용 차량을 대상으로 실시하는 충돌 피해 경감 브레이크, 차선 일탈 경보장치 등 ASV장치 구입에 드는 일부 비용을 보조하는 제도.
[글_나카야마 오사후미, 가토 데쓰히로 후지쯔연구소]
<저작권자: 보안뉴스(http://www.boannews.com/) 무단전재-재배포금지>
원병철기자 기사보기
[2024-11-25] .jpg)
.jpg)
.jpg)
.jpg)
.jpg)
