마이크로소프트, 여러 조직들과 힘 합쳐 인공지능에 대한 위협 요소들 정리
이 프레임워크를 사용해 인공지능 전문가 아니더라도 시스템 보호에 기여 가능
[보안뉴스 문가용 기자] 2016년 5월, 마이크로소프트는 트위터에서 작동하는 인공지능 챗봇인 테이(Tay)를 세상에 공개했다. 이 테이는 트위터를 스스로 학습한 뒤 사용자들과 트윗을 주고받을 수 있는 기술이었다. 이에 일부 공격자들이 합심하여 테이에게 편향성 높은 데이터를 주입했고, 테이는 곧 대단히 부적절하고 혐오성 짙은 발언들을 내뱉는 알고리즘으로 변모했다. 테이가 트위터에 등장하고서 단 24시간 만에 일어난 일이었다.
이 사건을 통해 마이크로소프트는 “인공지능과 머신러닝에도 사이버 위협이 존재한다”는 걸 뼈저리게 느끼게 되었다. 그러고 나서 지나 주 MS는 여러 보안 및 인공지능 전문가들과 함께 머신러닝 시스템을 겨냥한 공격과 위협의 요소들을 항목별로 정리해 완성시켰다. 인공지능에 특화된 공격의 여러 가지 유형들을 집대성한 것으로, 이 자료의 초안은 현재 ‘적대적 인공지능 위협 매트릭스(Adversarial ML Threat Matrix)’라는 이름으로 공개되어 있다.
이 위협 열람표는 마이터 코퍼레이션(MITRE Corporation)의 어택(ATT&CK) 프레임워크의 확장판이며, 이 프레임워크의 사용자들은 각종 ATP 단체의 실질적인 공격에 대해서만이 아니라 머신러닝 시스템을 겨냥한 각종 공격에도 대비할 수 있게 된다. 이 정보는 인공지능 전문가들에게만이 아니라, 사용자 기업 및 조직들에게도 도움이 될 것이라고 CERT/CC의 조나단 스프링(Jonathan Spring)은 설명한다.
“머신러닝개발에는 참여하지 않고 단지 사용만 한다고 해도 이번에 발표된 머신러닝 위협 요인들을 참고할 필요가 있습니다. 분명히 해커들은 머신러닝을 기반으로 한 시스템을 공략하기 위해 움직이고 있으며, 현재까지 등장한 위협들을 알고 있지 않으면 ‘인공지능 시스템은 안전하다’는 잘못된 믿음이 생깁니다. 머신러닝의 원리를 몰라도 위협들에 대해서는 충분히 알아갈 수 있습니다.”
인공지능과 머신러닝의 디지털 변혁을 꿈꾸고 있는 모든 조직들에 있어 핵심 요소가 되고 있다. 그럼에도 많은 사람들이 머신러닝을 공격하고 공격받는다는 것을 먼 미래의 이야기로 만 받아들이고 있다. 마이크로소프트가 조사한 바에 따르면 겨우 28%의 기업들만이 머신러닝을 보호할 채비를 일정 수준 갖추고 있다고 한다.
머신러닝 시스템에 대한 공격은 이미 넓은 스펙트럼을 갖추고 있다. 시스템 자체의 취약점을 익스플로잇 하는 것에서부터 머신러닝의 크게 의존하는 데이터나 모델을 직접 타격하는 방법까지 존재한다. 안면 인식 인공지능 전문 업체인 클리어뷰에이아이(ClearviewAI)는 시스템 설정 오류를 통해 해킹 공격을 받은 바 있다. 해커는 설정 오류를 통해 시스템 속으로 들어간 뒤 머신러닝 을 훈련시키는 데 필요한 데이터를 오염시킬 수 있었지만 일이 거기까지 발전되지는 않았다.
마이크로소프트는 “인공지능에 대한 세부 지식이 없는 사용자들까지도 인공지능 해킹 공격으로부터 보호하려면 제일 먼저 현존하는 위협거리를 보기 좋게, 구조적으로 정돈해 전파해야 한다”고 주장했다. 이것이 이번 위협 매트릭스를 발표한 이유이기도 하다. “이런 프레임워크를 보유하고 있다면 보안 담당자들에게 큰 힘이 될 것입니다. 보안 커뮤니티 전체가 이번에 정리된 인공지능 시스템들에 대한 위협거리들을 통해 올바른 대책을 세울 수 있기를 바랍니다. 이런 공격들을 막는 데서부터 인공지능을 활용한 기업 가치 높이기가 시작됩니다.”
이번 매트릭스 작성 및 발표에 참여한 조직들은 마이크로소프트 외에 다음과 같다.
1) 카네기멜론대학의 소프트웨어 엔지니어링 학부
2) 마이터 코퍼레이션
3) 보시(Bosch)
4) IBM
5) 엔비디아(NVIDIA)
6) 에어버스(Airbus)
7) 딥 인스팅트(Deep Instinct)
8) 투식스랩스(Two Six Labs)
9) 토론토대학
10) 카디프대학
11) 프라이스워터하우스쿠퍼스(PricewaterhouseCoopers)
12) 베리빌인스티튜트오브머신러닝(Berryville Institute of Machine Learning)
마이터 코퍼레이션의 찰스 클랜시(Charles Clancy)는 “인공지능과 머신러닝에 가해지는 위협들에 실제적인 것이 분명하지만 아직까지 흔한 공격 수법은 아니”라고 말하며 “아직 해커들이 첫 손에 떠올리는 공격 표적이 아니기 때문”이라고 설명했다. 그러면서 “미국의 전기 공급망을 가장 크게 위협하는 존재는 예나 지금이나 다람쥐라는 걸 기억해야 한다”고 강조했다. 즉 새로운 위협들에 생겨났다고 해서 기존 위협이 사라지는 게 아니라는 것이다.
또한 “이번 프레임워크 발표가 인공지능을 겨냥한 위협들에 대한 대단한 성과가 아니라, 겨우 첫 걸음이라는 것도 기억해야 한다”고 그는 강조했다. 그러면서 “이번 매트릭스 작성에 기여한 조직들에 외에 다른 기업과 기관들도 인공지능 공격에 대한 지식과 사례들을 공유함으로써 두 번째, 세 번째 걸음을 뗄 수 있기를 바란다”고 덧붙였다.
3줄 요약
1. 과거, 트위터 인공지능 사건으로 큰 곤혹을 치뤘던 마이크로소프트.
2. 다른 여러 조직들과 힘 합쳐 ‘인공지능을 위협하는 것들’에 대한 보고서 발표.
3. 이 프레임워크는 인공지능 개발자 아니더라도 활용할 수 있도록 만들어져 있음.
[국제부 문가용 기자(globoan@boannews.com)]
이 프레임워크를 사용해 인공지능 전문가 아니더라도 시스템 보호에 기여 가능
[보안뉴스 문가용 기자] 2016년 5월, 마이크로소프트는 트위터에서 작동하는 인공지능 챗봇인 테이(Tay)를 세상에 공개했다. 이 테이는 트위터를 스스로 학습한 뒤 사용자들과 트윗을 주고받을 수 있는 기술이었다. 이에 일부 공격자들이 합심하여 테이에게 편향성 높은 데이터를 주입했고, 테이는 곧 대단히 부적절하고 혐오성 짙은 발언들을 내뱉는 알고리즘으로 변모했다. 테이가 트위터에 등장하고서 단 24시간 만에 일어난 일이었다.
[이미지 = utoimage]
이 사건을 통해 마이크로소프트는 “인공지능과 머신러닝에도 사이버 위협이 존재한다”는 걸 뼈저리게 느끼게 되었다. 그러고 나서 지나 주 MS는 여러 보안 및 인공지능 전문가들과 함께 머신러닝 시스템을 겨냥한 공격과 위협의 요소들을 항목별로 정리해 완성시켰다. 인공지능에 특화된 공격의 여러 가지 유형들을 집대성한 것으로, 이 자료의 초안은 현재 ‘적대적 인공지능 위협 매트릭스(Adversarial ML Threat Matrix)’라는 이름으로 공개되어 있다.
이 위협 열람표는 마이터 코퍼레이션(MITRE Corporation)의 어택(ATT&CK) 프레임워크의 확장판이며, 이 프레임워크의 사용자들은 각종 ATP 단체의 실질적인 공격에 대해서만이 아니라 머신러닝 시스템을 겨냥한 각종 공격에도 대비할 수 있게 된다. 이 정보는 인공지능 전문가들에게만이 아니라, 사용자 기업 및 조직들에게도 도움이 될 것이라고 CERT/CC의 조나단 스프링(Jonathan Spring)은 설명한다.
“머신러닝개발에는 참여하지 않고 단지 사용만 한다고 해도 이번에 발표된 머신러닝 위협 요인들을 참고할 필요가 있습니다. 분명히 해커들은 머신러닝을 기반으로 한 시스템을 공략하기 위해 움직이고 있으며, 현재까지 등장한 위협들을 알고 있지 않으면 ‘인공지능 시스템은 안전하다’는 잘못된 믿음이 생깁니다. 머신러닝의 원리를 몰라도 위협들에 대해서는 충분히 알아갈 수 있습니다.”
인공지능과 머신러닝의 디지털 변혁을 꿈꾸고 있는 모든 조직들에 있어 핵심 요소가 되고 있다. 그럼에도 많은 사람들이 머신러닝을 공격하고 공격받는다는 것을 먼 미래의 이야기로 만 받아들이고 있다. 마이크로소프트가 조사한 바에 따르면 겨우 28%의 기업들만이 머신러닝을 보호할 채비를 일정 수준 갖추고 있다고 한다.
머신러닝 시스템에 대한 공격은 이미 넓은 스펙트럼을 갖추고 있다. 시스템 자체의 취약점을 익스플로잇 하는 것에서부터 머신러닝의 크게 의존하는 데이터나 모델을 직접 타격하는 방법까지 존재한다. 안면 인식 인공지능 전문 업체인 클리어뷰에이아이(ClearviewAI)는 시스템 설정 오류를 통해 해킹 공격을 받은 바 있다. 해커는 설정 오류를 통해 시스템 속으로 들어간 뒤 머신러닝 을 훈련시키는 데 필요한 데이터를 오염시킬 수 있었지만 일이 거기까지 발전되지는 않았다.
마이크로소프트는 “인공지능에 대한 세부 지식이 없는 사용자들까지도 인공지능 해킹 공격으로부터 보호하려면 제일 먼저 현존하는 위협거리를 보기 좋게, 구조적으로 정돈해 전파해야 한다”고 주장했다. 이것이 이번 위협 매트릭스를 발표한 이유이기도 하다. “이런 프레임워크를 보유하고 있다면 보안 담당자들에게 큰 힘이 될 것입니다. 보안 커뮤니티 전체가 이번에 정리된 인공지능 시스템들에 대한 위협거리들을 통해 올바른 대책을 세울 수 있기를 바랍니다. 이런 공격들을 막는 데서부터 인공지능을 활용한 기업 가치 높이기가 시작됩니다.”
이번 매트릭스 작성 및 발표에 참여한 조직들은 마이크로소프트 외에 다음과 같다.
1) 카네기멜론대학의 소프트웨어 엔지니어링 학부
2) 마이터 코퍼레이션
3) 보시(Bosch)
4) IBM
5) 엔비디아(NVIDIA)
6) 에어버스(Airbus)
7) 딥 인스팅트(Deep Instinct)
8) 투식스랩스(Two Six Labs)
9) 토론토대학
10) 카디프대학
11) 프라이스워터하우스쿠퍼스(PricewaterhouseCoopers)
12) 베리빌인스티튜트오브머신러닝(Berryville Institute of Machine Learning)
마이터 코퍼레이션의 찰스 클랜시(Charles Clancy)는 “인공지능과 머신러닝에 가해지는 위협들에 실제적인 것이 분명하지만 아직까지 흔한 공격 수법은 아니”라고 말하며 “아직 해커들이 첫 손에 떠올리는 공격 표적이 아니기 때문”이라고 설명했다. 그러면서 “미국의 전기 공급망을 가장 크게 위협하는 존재는 예나 지금이나 다람쥐라는 걸 기억해야 한다”고 강조했다. 즉 새로운 위협들에 생겨났다고 해서 기존 위협이 사라지는 게 아니라는 것이다.
또한 “이번 프레임워크 발표가 인공지능을 겨냥한 위협들에 대한 대단한 성과가 아니라, 겨우 첫 걸음이라는 것도 기억해야 한다”고 그는 강조했다. 그러면서 “이번 매트릭스 작성에 기여한 조직들에 외에 다른 기업과 기관들도 인공지능 공격에 대한 지식과 사례들을 공유함으로써 두 번째, 세 번째 걸음을 뗄 수 있기를 바란다”고 덧붙였다.
3줄 요약
1. 과거, 트위터 인공지능 사건으로 큰 곤혹을 치뤘던 마이크로소프트.
2. 다른 여러 조직들과 힘 합쳐 ‘인공지능을 위협하는 것들’에 대한 보고서 발표.
3. 이 프레임워크는 인공지능 개발자 아니더라도 활용할 수 있도록 만들어져 있음.
[국제부 문가용 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-04-18] 
.jpg)
.jpg)
.jpg)
