.jpg)
.jpg)
속도 제한 표지판의 ‘3’자를 ‘8’자로 바꾸니 인식 오류 현상 나타나
지금은 이론상의 공격일 뿐이지만, 앞으로는 얼마든지 실제 위협 될 수 있어
[보안뉴스 문가용 기자] 2인치 검은색 전기 테이프만 가지고도 스마트카를 속일 수 있다는 실험 결과가 나왔다. 실험을 진행한 건 보안 업체 맥아피(McAfee)의 연구원들이며, 실험 차량은 테슬라(Tesla) 모델 중 하나였다고 한다. 차량에는 모바일아이(Mobileye)의 아이큐3(EyeQ3) 카메라가 탑재되어 있었다.
실험 자체는 간단했다. 35라는 속도 제한 표지판의 ‘3’이라는 글자에 테이프를 입혀 ‘8’자로 바꾸는 것이었다. 그 결과 유독 모바일아이 아이큐3 카메라가 탑재된 테슬라 차량만 속아 넘어갔다. 이는 테슬라 하드웨어 팩 1번에 해당한다. 최신 모바일아이 카메라가 탑재된 테슬라에는 3가자 8자로 바뀌어 인지되는 일이 전혀 나타나지 않았다. 참고로 테슬라는 더 이상 모바일아이 카메라를 사용하지 않는다.
이번 실험을 진행한 맥아피의 수석 분석가 스티브 포볼니(Steve Povolny)는 “악의를 가진 누군가가 이를 활용해 표적 공격을 실시한다고 했을 때 자동차의 속도를 높여 사고나 벌금을 유발할 수 있긴 하겠지만, 공격이 실제로 일어날 가능성은 그리 높지 않다고 본다”고 설명한다. “특정 카메라 모델이 탑재된 차량이 교통 표지판을 제대로 인지하지 못하는 상황이라는 것 외에는 이번 결과를 확대 해석할 필요는 없어 보입니다.”
다만 포볼니는 “무인 자동차나 스마트 차량이 점점 더 보편화 되는 미래에, 지금 우리로서는 상상도 하기 힘든 공격 방법이 나타날 것이라는 걸 기억할 필요는 있다”고 짚었다. “지금은 학문적인 공간에서만 제기되는 공격 시나리오들이, 언젠가 진짜가 되어 나타날 겁니다. 10~20년 정도 걸릴 것이라고 봅니다만, 더 빨라질 가능성도 충분히 있습니다. 특히 사람이 완전히 손을 놓고 주행하는 시대가 되면 각종 위험이 더해질 겁니다.”
사실 맥아피는 ‘모델 해킹’ 혹은 ‘적대적 기계 학습(adversarial machine learning)’이라는 걸 연구하고 있었다. 이는 현존하는 머신러닝 알고리즘에서 취약점을 찾는 것과 비슷한 것이라고 포볼니는 설명한다. 현재 머신러닝을 위협하는 가장 실제적인 ‘공격 시나리오’는 학습을 위한 데이터를 오염시켜 엉뚱한 결과가 나오게 하는 것으로 알려져 있다.
이러한 맥락에서 맥아피는 내부적으로 보유하고 있던 이미지 인식 알고리즘을 ‘농락하는’ 실험을 여러 가지로 진행하고 있었다. 그 과정 중 테이프를 사용해 이미지를 조작하는 것도 포함되어 있었다. “그랬더니 일부 알고리즘이 엉뚱한 결과를 내기 시작하더군요. 교통 표지판을 잘못 해석하는 일도 이미 실험실에서부터 나타났습니다.”
자연스럽게 “실제 주행 상황에서도 이런 현상을 응용해 의도치 않은 결과를 일으킬 수 있지 않을까?”하는 생각이 들었고, 현재 스마트 차량 4천만 대에 탑재되어 있다고 알려진 모바일아이의 장비들이 물망에 올랐다. “게다가 모바일아이 카메라를 통해 주입되는 정보를 가지고 주행 속도를 결정하는 경우도 제법 있는 것으로 알고 있었거든요. 실험 대상으로서 적당하다고 판단했습니다.”
실험은 성공적이었고, 테이프를 사용해 속도 제한 표지판을 잘못 인식하도록 할 수 있었다. 여기서 한 발 더 나아가 연구원들은 테이프의 양을 조금씩 줄여나가면서 실험을 지속시켰다. 결국 테이프 한 조각만 가지고도 인공지능을 속이는 데까지 이르렀다. “모바일아이 카메라의 알고리즘은 교통 환경에 특화되어 있습니다. 그렇기 때문에 오히려 의외의 물체를 인지하는 데에 약한 모습을 보이는 측면이 있는 것으로 보입니다. 바로 이런 의외의 특징이나 사각지대가 미래 인공지능을 겨냥한 공격의 통로로서 활용될 것으로 예상합니다.”
맥아피는 지난 9월과 10월, 이러한 실험 결과를 테슬라와 모바일아이 측에 각각 전달했다. 두 회사 모두 내용을 접수했고, 감사를 표했다고 한다. “하지만 아직까지 이 문제를 어떻게 해결하겠다는 계획을 알려온 바는 없습니다. 아마 모바일아이는 최신 카메라를 통해 이 문제를 해결했고, 테슬라는 모바일아이 제품을 더 이상 사용하지 않기 때문에 더 걱정할 게 아니라고 판단했을 수도 있습니다.”
3줄 요약
1. 조금 오래된 테슬라 차량, 테이프 한 조각으로 속이는 것 가능.
2. 문제는 일부 차량에 탑재된 모바일아이의 예전 인공지능 카메라.
3. 실제 공격 가능성 낮지만, 미래에는 실현 가능성 높은 위협 될 수 있음.
[국제부 문가용 기자(globoan@boannews.com)]
지금은 이론상의 공격일 뿐이지만, 앞으로는 얼마든지 실제 위협 될 수 있어
[보안뉴스 문가용 기자] 2인치 검은색 전기 테이프만 가지고도 스마트카를 속일 수 있다는 실험 결과가 나왔다. 실험을 진행한 건 보안 업체 맥아피(McAfee)의 연구원들이며, 실험 차량은 테슬라(Tesla) 모델 중 하나였다고 한다. 차량에는 모바일아이(Mobileye)의 아이큐3(EyeQ3) 카메라가 탑재되어 있었다.
[이미지 = iclickart]
실험 자체는 간단했다. 35라는 속도 제한 표지판의 ‘3’이라는 글자에 테이프를 입혀 ‘8’자로 바꾸는 것이었다. 그 결과 유독 모바일아이 아이큐3 카메라가 탑재된 테슬라 차량만 속아 넘어갔다. 이는 테슬라 하드웨어 팩 1번에 해당한다. 최신 모바일아이 카메라가 탑재된 테슬라에는 3가자 8자로 바뀌어 인지되는 일이 전혀 나타나지 않았다. 참고로 테슬라는 더 이상 모바일아이 카메라를 사용하지 않는다.
이번 실험을 진행한 맥아피의 수석 분석가 스티브 포볼니(Steve Povolny)는 “악의를 가진 누군가가 이를 활용해 표적 공격을 실시한다고 했을 때 자동차의 속도를 높여 사고나 벌금을 유발할 수 있긴 하겠지만, 공격이 실제로 일어날 가능성은 그리 높지 않다고 본다”고 설명한다. “특정 카메라 모델이 탑재된 차량이 교통 표지판을 제대로 인지하지 못하는 상황이라는 것 외에는 이번 결과를 확대 해석할 필요는 없어 보입니다.”
다만 포볼니는 “무인 자동차나 스마트 차량이 점점 더 보편화 되는 미래에, 지금 우리로서는 상상도 하기 힘든 공격 방법이 나타날 것이라는 걸 기억할 필요는 있다”고 짚었다. “지금은 학문적인 공간에서만 제기되는 공격 시나리오들이, 언젠가 진짜가 되어 나타날 겁니다. 10~20년 정도 걸릴 것이라고 봅니다만, 더 빨라질 가능성도 충분히 있습니다. 특히 사람이 완전히 손을 놓고 주행하는 시대가 되면 각종 위험이 더해질 겁니다.”
사실 맥아피는 ‘모델 해킹’ 혹은 ‘적대적 기계 학습(adversarial machine learning)’이라는 걸 연구하고 있었다. 이는 현존하는 머신러닝 알고리즘에서 취약점을 찾는 것과 비슷한 것이라고 포볼니는 설명한다. 현재 머신러닝을 위협하는 가장 실제적인 ‘공격 시나리오’는 학습을 위한 데이터를 오염시켜 엉뚱한 결과가 나오게 하는 것으로 알려져 있다.
이러한 맥락에서 맥아피는 내부적으로 보유하고 있던 이미지 인식 알고리즘을 ‘농락하는’ 실험을 여러 가지로 진행하고 있었다. 그 과정 중 테이프를 사용해 이미지를 조작하는 것도 포함되어 있었다. “그랬더니 일부 알고리즘이 엉뚱한 결과를 내기 시작하더군요. 교통 표지판을 잘못 해석하는 일도 이미 실험실에서부터 나타났습니다.”
자연스럽게 “실제 주행 상황에서도 이런 현상을 응용해 의도치 않은 결과를 일으킬 수 있지 않을까?”하는 생각이 들었고, 현재 스마트 차량 4천만 대에 탑재되어 있다고 알려진 모바일아이의 장비들이 물망에 올랐다. “게다가 모바일아이 카메라를 통해 주입되는 정보를 가지고 주행 속도를 결정하는 경우도 제법 있는 것으로 알고 있었거든요. 실험 대상으로서 적당하다고 판단했습니다.”
실험은 성공적이었고, 테이프를 사용해 속도 제한 표지판을 잘못 인식하도록 할 수 있었다. 여기서 한 발 더 나아가 연구원들은 테이프의 양을 조금씩 줄여나가면서 실험을 지속시켰다. 결국 테이프 한 조각만 가지고도 인공지능을 속이는 데까지 이르렀다. “모바일아이 카메라의 알고리즘은 교통 환경에 특화되어 있습니다. 그렇기 때문에 오히려 의외의 물체를 인지하는 데에 약한 모습을 보이는 측면이 있는 것으로 보입니다. 바로 이런 의외의 특징이나 사각지대가 미래 인공지능을 겨냥한 공격의 통로로서 활용될 것으로 예상합니다.”
맥아피는 지난 9월과 10월, 이러한 실험 결과를 테슬라와 모바일아이 측에 각각 전달했다. 두 회사 모두 내용을 접수했고, 감사를 표했다고 한다. “하지만 아직까지 이 문제를 어떻게 해결하겠다는 계획을 알려온 바는 없습니다. 아마 모바일아이는 최신 카메라를 통해 이 문제를 해결했고, 테슬라는 모바일아이 제품을 더 이상 사용하지 않기 때문에 더 걱정할 게 아니라고 판단했을 수도 있습니다.”
3줄 요약
1. 조금 오래된 테슬라 차량, 테이프 한 조각으로 속이는 것 가능.
2. 문제는 일부 차량에 탑재된 모바일아이의 예전 인공지능 카메라.
3. 실제 공격 가능성 낮지만, 미래에는 실현 가능성 높은 위협 될 수 있음.
[국제부 문가용 기자(globoan@boannews.com)]
Copyrighted 2015. UBM-Tech. 117153:0515BC
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-11-22] .jpg)
.jpg)
.jpg)
.jpg)
.jpg)
