.jpg)
머신러닝과 인공지능을 공격하는 방법에는 몇 가지가 있을까? 연구자에 따라 16가지에서 78가지로 분류된다. 그러나 인공지능을 도입하는 조직들은 이것이 0~1개 정도 되는 것처럼 여겨지고 있다. 해커들은 인공지능도 얼마든지 손상시킬 수 있다는 걸 인지해야 한다.
[보안뉴스 문가용 기자] 머신러닝과 인공지능 시스템을 공격하는 방법에 대한 연구가 빠르게 늘어나고 있다. 이 분야에서만 지난 10년 동안 2천여 개의 논문이 발표됐다. 그럼에도 방어에 대한 연구는 그리 활발히 진행되고 있지 않다. 인공지능 시스템이 내린 결정이 믿을만한지 검토하는 사례는 극히 드물다는 것이다.
인공지능 연구 전문 회사인 어드버사(Adversa)가 새롭게 발표한 보고서에 의하면 인공지능이 도입되는 속도는 대단히 빠른 수준인데 적절한 방어 장치는 거의 고려되지 않는 수준이라고 한다. 인공지능 시스템을 회피하는 공격, 인공지능이 산출한 결과물을 조작하는 공격, 인공지능의 기반이 되는 데이터를 유출시키는 공격 등 인공지능을 겨냥한 공격은 다양하게 개발되고 있는 상황인데 말이다.
어드버사의 CTO인 유진 닐루(Eugene Neelou)는 “이런 류의 공격이 흔한 건 아직 아니지만 아주 없었던 것도 아니”라며 “앞으로 더 자주 일어날 것”이라고 경고한다. “이미 스마트 장비나 온라인 서비스, 기술 기업들의 API 등에 탑재된 인공지능을 겨냥한 공격 시도는 증가하는 추세입니다. 이런 새로운 공격들이 폭발적으로 증가할 때가 언제인지가 문제입니다. 앞으로 스팸이나 랜섬웨어만큼이나 흔하게 될 것으로 예상합니다.”
인공지능을 겨냥한 악성 공격 연구는 최근 들어 더 활발해지고 있다. 과학 분야의 전문 출판 사이트인 ArXiv.org에 제출된 인공지능 보안 관련 논문은 2019년 한 해에만 1500개를 넘어섰다. 2016년에는 고작 56개에 그쳤었다.
베리빌인공지능기관(Berryville Institute of Machine Learning, BIML)의 공동창립자인 개리 맥그로(Gary McGraw)는 “인공지능 공격의 종류도 다양해지고 있어서 문제”라고 말한다. BIML의 연구원들은 최근까지 머신러닝과 인공지능 시스템을 겨냥한 위협을 총 78가지로 분류해냈다. 이 중 가장 빈번하거나 가장 큰 위협이 될 만한 공격으로는 데이터 포이즈닝(data poisoning), 온라인 시스템 조작(online system manipulation), 머신러닝 모델 공격, 데이터 탈취 등이 있다.
또한 지난 해 말 마이터(MITRE), 마이크로소프트 등을 비롯한 주요 인공지능 관련 단체들은 ‘적대적 머신러닝 위협 매트릭스(Adversarial ML Threat Matrix)’를 발표한 바 있다. 여기서는 위협의 종류가 16개로 분류됐었다. 맥그로는 “이러한 위협의 종류들을 인지하는 걸 넘어, 그 개념들에 익숙해지는 것이 방어자들의 급선무”라고 강조한다. “이런 위협들이 발굴되었다는 것만 하더라도 인공지능 리스크를 가늠하는 데 도움이 될 겁니다.”
이론적으로 인공지능을 겨냥한 잠재적 공격 가능성은 경악스러울 정도다. 그러나 현재까지 연구자들은 주로 이미지 식별 알고리즘에 대한 공격에만 집중해 온 것이 사실이다. 즉 ‘비전(vision)’과 관련된 인공지능 기술들이 공격받는다는 시나리오만 파헤쳐져 왔다는 것이다. 어드버사에 의하면 악성 인공지능 공격에 대한 연구 중 65%가 컴퓨터 비전과 관련이 있다고 한다. 이는 얼굴인식 알고리즘을 겨냥한 연구가 크게 유행한 것과 관련이 있다고 분석된다. 그 외에는 분석 기술(18%), 언어(13%), 알고리즘의 자율성(4%)과 관련된 공격이 주를 이뤘다고 한다.
비전과 관련된 인공지능 공격 연구가 가장 많은 또 다른 이유는 이러한 공격 연구의 성과나 진행 상황이 가시적이라는 것이라고 어드버사는 설명한다. “이미지 데이터를 공격하는 게 가장 눈에 잘 보이고, 가장 재미있거든요. 또한 인공지능의 허점을 증명한다고 했을 때 이미지 데이터를 활용하는 게 가장 이해시키기도 쉽고요. 컴퓨터 비전이라는 분야가 일반 대중들 사이에서 빠르게 도입되는 것도 공격자들에게 매력으로 다가옵니다.”
알고리즘 시스템에 대한 공격이 다채롭고 실재적이라는 사실은 그 누구보다 인공지능 기술을 연구하고 도입하는 조직들이 인지하고 있어야 한다고 어드버사는 강조한다. “인공지능 알고리즘이나 모델링, 애플리케이션을 개발하는 모든 사람들이 각종 공격 시나리오를 알고 있어야 보다 안전한 결과물이 나올 수 있습니다. 인공지능 보안 프로그램 도입을 서서히 고려하고 기획해야 하는 시기입니다. 특히 인공지능의 라이프사이클을 고려한 대책이 지금부터 마련되어야 합니다. 직접 인공지능을 개발하는 조직만이 아니라 사용하는 조직들도요.”
맥그로는 “다양한 위협의 가능성을 조직들 스스로가 발굴할 수도 있어야 한다”고 주장한다. “왜냐하면 학계에서 나온 공격 시나리오는 보편성을 가지고 있긴 하지만, 모든 조직들에 통용되는 건 아니기 때문입니다. 조직들마다 인공지능과 관련된 위협들 중 급하게 해결해야 할 것이 있고 조금은 나중에 돌아봐도 될 것이 있을 겁니다. 그런 대응을 하려면 조직 스스로가 인공지능 위협 시나리오를 구성할 수 있어야 합니다.”
3줄 요약
1. 인공지능을 겨냥한 공격의 종류는 갈수록 증가하고 있음.
2. 그러나 현재 인공지능 보안 연구는 대부분 한두 가지 영역에 제한되어 있음.
3. 다양한 공격 시나리오 인지하고 맞춤형 방어 체계 준비해야 함.
[국제부 문가용 기자(globoan@boannews.com)]
[보안뉴스 문가용 기자] 머신러닝과 인공지능 시스템을 공격하는 방법에 대한 연구가 빠르게 늘어나고 있다. 이 분야에서만 지난 10년 동안 2천여 개의 논문이 발표됐다. 그럼에도 방어에 대한 연구는 그리 활발히 진행되고 있지 않다. 인공지능 시스템이 내린 결정이 믿을만한지 검토하는 사례는 극히 드물다는 것이다.
[이미지 = utoimage]
인공지능 연구 전문 회사인 어드버사(Adversa)가 새롭게 발표한 보고서에 의하면 인공지능이 도입되는 속도는 대단히 빠른 수준인데 적절한 방어 장치는 거의 고려되지 않는 수준이라고 한다. 인공지능 시스템을 회피하는 공격, 인공지능이 산출한 결과물을 조작하는 공격, 인공지능의 기반이 되는 데이터를 유출시키는 공격 등 인공지능을 겨냥한 공격은 다양하게 개발되고 있는 상황인데 말이다.
어드버사의 CTO인 유진 닐루(Eugene Neelou)는 “이런 류의 공격이 흔한 건 아직 아니지만 아주 없었던 것도 아니”라며 “앞으로 더 자주 일어날 것”이라고 경고한다. “이미 스마트 장비나 온라인 서비스, 기술 기업들의 API 등에 탑재된 인공지능을 겨냥한 공격 시도는 증가하는 추세입니다. 이런 새로운 공격들이 폭발적으로 증가할 때가 언제인지가 문제입니다. 앞으로 스팸이나 랜섬웨어만큼이나 흔하게 될 것으로 예상합니다.”
인공지능을 겨냥한 악성 공격 연구는 최근 들어 더 활발해지고 있다. 과학 분야의 전문 출판 사이트인 ArXiv.org에 제출된 인공지능 보안 관련 논문은 2019년 한 해에만 1500개를 넘어섰다. 2016년에는 고작 56개에 그쳤었다.
베리빌인공지능기관(Berryville Institute of Machine Learning, BIML)의 공동창립자인 개리 맥그로(Gary McGraw)는 “인공지능 공격의 종류도 다양해지고 있어서 문제”라고 말한다. BIML의 연구원들은 최근까지 머신러닝과 인공지능 시스템을 겨냥한 위협을 총 78가지로 분류해냈다. 이 중 가장 빈번하거나 가장 큰 위협이 될 만한 공격으로는 데이터 포이즈닝(data poisoning), 온라인 시스템 조작(online system manipulation), 머신러닝 모델 공격, 데이터 탈취 등이 있다.
또한 지난 해 말 마이터(MITRE), 마이크로소프트 등을 비롯한 주요 인공지능 관련 단체들은 ‘적대적 머신러닝 위협 매트릭스(Adversarial ML Threat Matrix)’를 발표한 바 있다. 여기서는 위협의 종류가 16개로 분류됐었다. 맥그로는 “이러한 위협의 종류들을 인지하는 걸 넘어, 그 개념들에 익숙해지는 것이 방어자들의 급선무”라고 강조한다. “이런 위협들이 발굴되었다는 것만 하더라도 인공지능 리스크를 가늠하는 데 도움이 될 겁니다.”
이론적으로 인공지능을 겨냥한 잠재적 공격 가능성은 경악스러울 정도다. 그러나 현재까지 연구자들은 주로 이미지 식별 알고리즘에 대한 공격에만 집중해 온 것이 사실이다. 즉 ‘비전(vision)’과 관련된 인공지능 기술들이 공격받는다는 시나리오만 파헤쳐져 왔다는 것이다. 어드버사에 의하면 악성 인공지능 공격에 대한 연구 중 65%가 컴퓨터 비전과 관련이 있다고 한다. 이는 얼굴인식 알고리즘을 겨냥한 연구가 크게 유행한 것과 관련이 있다고 분석된다. 그 외에는 분석 기술(18%), 언어(13%), 알고리즘의 자율성(4%)과 관련된 공격이 주를 이뤘다고 한다.
비전과 관련된 인공지능 공격 연구가 가장 많은 또 다른 이유는 이러한 공격 연구의 성과나 진행 상황이 가시적이라는 것이라고 어드버사는 설명한다. “이미지 데이터를 공격하는 게 가장 눈에 잘 보이고, 가장 재미있거든요. 또한 인공지능의 허점을 증명한다고 했을 때 이미지 데이터를 활용하는 게 가장 이해시키기도 쉽고요. 컴퓨터 비전이라는 분야가 일반 대중들 사이에서 빠르게 도입되는 것도 공격자들에게 매력으로 다가옵니다.”
알고리즘 시스템에 대한 공격이 다채롭고 실재적이라는 사실은 그 누구보다 인공지능 기술을 연구하고 도입하는 조직들이 인지하고 있어야 한다고 어드버사는 강조한다. “인공지능 알고리즘이나 모델링, 애플리케이션을 개발하는 모든 사람들이 각종 공격 시나리오를 알고 있어야 보다 안전한 결과물이 나올 수 있습니다. 인공지능 보안 프로그램 도입을 서서히 고려하고 기획해야 하는 시기입니다. 특히 인공지능의 라이프사이클을 고려한 대책이 지금부터 마련되어야 합니다. 직접 인공지능을 개발하는 조직만이 아니라 사용하는 조직들도요.”
맥그로는 “다양한 위협의 가능성을 조직들 스스로가 발굴할 수도 있어야 한다”고 주장한다. “왜냐하면 학계에서 나온 공격 시나리오는 보편성을 가지고 있긴 하지만, 모든 조직들에 통용되는 건 아니기 때문입니다. 조직들마다 인공지능과 관련된 위협들 중 급하게 해결해야 할 것이 있고 조금은 나중에 돌아봐도 될 것이 있을 겁니다. 그런 대응을 하려면 조직 스스로가 인공지능 위협 시나리오를 구성할 수 있어야 합니다.”
3줄 요약
1. 인공지능을 겨냥한 공격의 종류는 갈수록 증가하고 있음.
2. 그러나 현재 인공지능 보안 연구는 대부분 한두 가지 영역에 제한되어 있음.
3. 다양한 공격 시나리오 인지하고 맞춤형 방어 체계 준비해야 함.
[국제부 문가용 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-11-22] .jpg)
.jpg)
.jpg)
.jpg)
.jpg)
