.jpg)
.jpg)
KAIST, 과기정통부의 ‘기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발’ 과제 수주
[과제총괄 책임자 인터뷰] 한국과학기술원(KAIST) 전산학부/정보보호대학원 손수엘 교수
[보안뉴스 원병철 기자] 인공지능, 특히 보안기술에도 활용되는 기계학습(머신러닝)은 어떠한 자료(데이터)를 인공지능이 학습하느냐에 따라 인공지능의 성능이 좌우된다. 좋은 자료를 많이 입력하면 인공지능은 훌륭한 결과를 보여주지만, 반대로 좋지 않은 자료를 입력하면 엉뚱한 결과를 내놓기도 한다. 실제로 구글의 비전AI는 체온계를 들고 있는 흑인의 손을 ‘흑인과 총’으로 구분하고, 다시 같은 사진에서 손만 밝게 하자 ‘백인과 체온계’로 구분해 충격을 주기도 했다.
이러한 가운데 한국과학기술원(KAIST)은 최근 과학기술정보통신부로부터 ‘기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발’ 과제를 수주하고, 기계학습의 보안 역기능에 대한 연구를 시작해 많은 주목을 받고 있다. 이에 <보안뉴스>는 이번 과제의 책임을 맡은 손수엘 KAIST 정보보호대학원 교수와 만나 해당 연구에 대한 이야기를 나눠보았다.
바쁘신 와중에 귀한 시간을 내주셔서 감사합니다. 먼저 교수님 소개를 부탁드립니다 저는 현재 한국과학기술원(KAIST) 전산학부/정보보호대학원 교수로 재직 중인 손수엘입니다. 2014년에 The University of Texas at Austin에서 Computer Science 박사학위를 받고 Google Mountain View에서 2017년 7월까지 Security&Privacy Research Group과 Display Ad Identity Group에서 보안 및 프라이버시 관련 프로젝트들을 진행하다가 2017년 8월에 KAIST에 합류했습니다. 현재 저희 연구실은 웹 보안 관련 연구들을 진행하고 있으며 웹 애플리케이션 취약점 탐지, 브라우저에 존재하거나 이를 이용한 새로운 공격 방법 연구, 기계학습을 활용한 취약점 탐지 연구, 그리고 기계학습 모델에 존재하는 취약성 탐지/완화 연구들을 활발하게 진행하고 있습니다.
이번에 ‘기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발’ 과제의 총괄책임을 맡으셨다고 들었습니다 이번 과제는 딥러닝 기계학습 모델의 보안 역기능을 일으킬 수 있는 취약성을 찾기 위해 딥러닝 기계학습 모델에 여러 공격을 시도하는 Adversarial Evaluation을 수행하고, 찾아낸 취약성에 대한 완화 또는 방어 방법을 제안하는 소프트웨어 시스템 개발을 목표로 하고 있습니다. 예를 들면, 웹사이트의 여러 취약점을 점검해주는 모의공격(Penetration Testing) 도구와 이를 통해 찾아낸 취약점을 패치할 수 있는 방법을 제시하는 시스템이 있다면, 이를 딥러닝 기계학습 모델을 대상으로 만든다고 생각하시면 됩니다.
여기에서 말하는 딥러닝 기계학습 모델의 보안 역기능 취약성이란 기계학습 모델의 입력과 출력을 악용(Abusing)해 오작동을 일으키게 하거나, 모델에 이용된 Private한 훈련 데이터의 특징을 유출하는 보안 역기능을 이야기합니다. 기계학습 모델이 자율주행 자동차, 금융상품 추천, 구매/매수전략 추천, 스마트 홈/팩토리 시스템에 적용됨에 따라 그 중요성이 더해지는 현 상황에서, 기계학습 모델 자체의 보안 점검에 이용할 수 있는 시스템의 연구와 구축이 이번 과제의 목표입니다.
과제의 최종 목표는 과제명과 같은 ‘기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발’인데요, 해당 기술이 개발되면 어떻게 활용될 수 있을지 궁금합니다 이번 과제의 취지는 기계학습에 대한 기본적인 지식만 가지고 있으면 스스로 개발한 기계학습 모델 혹은 다른 곳에서 가져온 모델에 존재할 수 있는 보안 역기능 취약성을 쉽게 점검할 수 있는 것을 목표로 하고 있습니다. 따라서 저희가 만드는 도구를 이용해 산업체에서 이용되고 있는 기계학습 모델의 보안 취약성을 점검해주는 AI 보안 컨설팅 산업에 적용될 수 있다고 생각합니다.
또한, 기계학습 모델을 이용하여 사용자의 입력에 해당 모델이 노출되는 서비스의 경우, 저희가 개발하는 도구를 이용하여 자사 서비스의 보안 점검을 할 수 있도록 지원하는 것을 목표로 하고 있습니다. 특히, 해당 모델이 의료, 장소, 구매 정보 등의 사용자 프라이버시와 연관된 민감한 정보를 이용하여 학습된 모델일 경우, 저희가 연구·개발한 도구를 이용한다면 보다 효과적인 보안 점검을 수행할 수 있으리라 생각됩니다.
아울러 이번 연구는 크게 4개 분야(System, Defense, XAI, Attack)로 나누어져 있는데, 큰 그림에서 보면 System 분야는 다른 3개 분야의 연구결과들을 통합해 완성된 소프트웨어 시스템을 만드는 것을 목표로 합니다.
Defense 분야에서는 딥러닝 모델을 대상으로 적대적 예시(Adversarial Example)를 만들어내는 회피 공격에 대한 방어 및 취약성 완화를 목표로 연구를 진행합니다. 예를 들어 주어진 이미지에 최적화된 노이즈 크기를 결정하고 이를 이용하여 적대적 예시들을 만들어 내는 통합적인 공격 방법과 이를 방어하기 위한 기술, 기계학습 모델의 검증된 견고성(Certified Robustness against Adversarial Examples)에 관한 연구가 계획되어 있습니다.
XAI(eXplainable AI)에서는 기계학습 모델에서 찾아낸 취약성의 원인이 되는 특징점 및 신경망(Neural)을 시각화하고 이런 정보들을 이용하여 해당 모델에 보정을 시도하는 도전적인 연구가 진행되며, Attack 분야에서는 딥러닝 모델에 대한 새로운 공격 방법 및 기계학습 워터마킹 기법들에 대한 공격 방법 연구가 계획되어 있습니다.
이번 과제에는 많은 전문가들이 함께 하신다고 들었습니다 이번 연구에는 저를 포함한 3명의 교수와 KAIST 사이버보안연구센터가 참여합니다. 대표적인 참여 인력을 소개하자면 KAIST AI대학원의 황성주 부교수와 미국 컬럼비아 대학(Columbia University)의 Suman Jana Associate Professor가 참여하며, 차상길 센터장이 이끌고 있는 KAIST 사이버보안연구센터에서는 고기혁 연구원과 조호묵 실장이 함께 합니다.
이번 과제가 성공적으로 마무리될 경우 어떤 효과를 기대할 수 있을끼요? 이번 연구 과제를 수행하는 동안 여러 석·박사 학생들의 연구를 지원할 수 있게 되며, 해당 연구 분야의 발전을 위해서 국내외의 교류가 활발해질 것으로 예상합니다. 또한, 코로나19 사태로 유동적이긴 하지만, 8월이나 9월쯤에는 공동 워크숍도 계획하고 있습니다.
특히, 이번 과제가 갖는 학술적 의미는 매우 크다고 할 수 있습니다. 국제적으로 활발한 연구가 진행되고 있는 기계학습 모델의 보안 연구가 더욱 활성화되는 촉진제 역할을 할 것이라고 기대하며, 더 나아가 해당 분야의 국내 보안전문가를 육성하는 긍정적인 효과도 거둘 수 있을 것으로 봅니다.
마지막으로 기계학습 모델의 보안이라는 주제의 중요성을 인지하고 이런 과제를 기획해주신 과학기술정보통신부 및 정보통신기획평가원(IITP) 관계자분들의 노고에 감사함을 전하고 싶습니다. 또한, 저희 연구팀에게 이런 좋은 연구 기회를 주신 학계 연구자 및 교수님들께도 진심으로 감사의 말씀을 드립니다. 해당 과제를 통해 세계적인 연구 결과가 나올 수 있도록 최선을 다하겠습니다.
[원병철 기자(boanone@boannews.com)]
[과제총괄 책임자 인터뷰] 한국과학기술원(KAIST) 전산학부/정보보호대학원 손수엘 교수
[보안뉴스 원병철 기자] 인공지능, 특히 보안기술에도 활용되는 기계학습(머신러닝)은 어떠한 자료(데이터)를 인공지능이 학습하느냐에 따라 인공지능의 성능이 좌우된다. 좋은 자료를 많이 입력하면 인공지능은 훌륭한 결과를 보여주지만, 반대로 좋지 않은 자료를 입력하면 엉뚱한 결과를 내놓기도 한다. 실제로 구글의 비전AI는 체온계를 들고 있는 흑인의 손을 ‘흑인과 총’으로 구분하고, 다시 같은 사진에서 손만 밝게 하자 ‘백인과 체온계’로 구분해 충격을 주기도 했다.
이러한 가운데 한국과학기술원(KAIST)은 최근 과학기술정보통신부로부터 ‘기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발’ 과제를 수주하고, 기계학습의 보안 역기능에 대한 연구를 시작해 많은 주목을 받고 있다. 이에 <보안뉴스>는 이번 과제의 책임을 맡은 손수엘 KAIST 정보보호대학원 교수와 만나 해당 연구에 대한 이야기를 나눠보았다.
[이미지=utoimage]
바쁘신 와중에 귀한 시간을 내주셔서 감사합니다. 먼저 교수님 소개를 부탁드립니다 저는 현재 한국과학기술원(KAIST) 전산학부/정보보호대학원 교수로 재직 중인 손수엘입니다. 2014년에 The University of Texas at Austin에서 Computer Science 박사학위를 받고 Google Mountain View에서 2017년 7월까지 Security&Privacy Research Group과 Display Ad Identity Group에서 보안 및 프라이버시 관련 프로젝트들을 진행하다가 2017년 8월에 KAIST에 합류했습니다. 현재 저희 연구실은 웹 보안 관련 연구들을 진행하고 있으며 웹 애플리케이션 취약점 탐지, 브라우저에 존재하거나 이를 이용한 새로운 공격 방법 연구, 기계학습을 활용한 취약점 탐지 연구, 그리고 기계학습 모델에 존재하는 취약성 탐지/완화 연구들을 활발하게 진행하고 있습니다.
이번에 ‘기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발’ 과제의 총괄책임을 맡으셨다고 들었습니다 이번 과제는 딥러닝 기계학습 모델의 보안 역기능을 일으킬 수 있는 취약성을 찾기 위해 딥러닝 기계학습 모델에 여러 공격을 시도하는 Adversarial Evaluation을 수행하고, 찾아낸 취약성에 대한 완화 또는 방어 방법을 제안하는 소프트웨어 시스템 개발을 목표로 하고 있습니다. 예를 들면, 웹사이트의 여러 취약점을 점검해주는 모의공격(Penetration Testing) 도구와 이를 통해 찾아낸 취약점을 패치할 수 있는 방법을 제시하는 시스템이 있다면, 이를 딥러닝 기계학습 모델을 대상으로 만든다고 생각하시면 됩니다.
여기에서 말하는 딥러닝 기계학습 모델의 보안 역기능 취약성이란 기계학습 모델의 입력과 출력을 악용(Abusing)해 오작동을 일으키게 하거나, 모델에 이용된 Private한 훈련 데이터의 특징을 유출하는 보안 역기능을 이야기합니다. 기계학습 모델이 자율주행 자동차, 금융상품 추천, 구매/매수전략 추천, 스마트 홈/팩토리 시스템에 적용됨에 따라 그 중요성이 더해지는 현 상황에서, 기계학습 모델 자체의 보안 점검에 이용할 수 있는 시스템의 연구와 구축이 이번 과제의 목표입니다.
과제의 최종 목표는 과제명과 같은 ‘기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발’인데요, 해당 기술이 개발되면 어떻게 활용될 수 있을지 궁금합니다 이번 과제의 취지는 기계학습에 대한 기본적인 지식만 가지고 있으면 스스로 개발한 기계학습 모델 혹은 다른 곳에서 가져온 모델에 존재할 수 있는 보안 역기능 취약성을 쉽게 점검할 수 있는 것을 목표로 하고 있습니다. 따라서 저희가 만드는 도구를 이용해 산업체에서 이용되고 있는 기계학습 모델의 보안 취약성을 점검해주는 AI 보안 컨설팅 산업에 적용될 수 있다고 생각합니다.
또한, 기계학습 모델을 이용하여 사용자의 입력에 해당 모델이 노출되는 서비스의 경우, 저희가 개발하는 도구를 이용하여 자사 서비스의 보안 점검을 할 수 있도록 지원하는 것을 목표로 하고 있습니다. 특히, 해당 모델이 의료, 장소, 구매 정보 등의 사용자 프라이버시와 연관된 민감한 정보를 이용하여 학습된 모델일 경우, 저희가 연구·개발한 도구를 이용한다면 보다 효과적인 보안 점검을 수행할 수 있으리라 생각됩니다.
아울러 이번 연구는 크게 4개 분야(System, Defense, XAI, Attack)로 나누어져 있는데, 큰 그림에서 보면 System 분야는 다른 3개 분야의 연구결과들을 통합해 완성된 소프트웨어 시스템을 만드는 것을 목표로 합니다.
Defense 분야에서는 딥러닝 모델을 대상으로 적대적 예시(Adversarial Example)를 만들어내는 회피 공격에 대한 방어 및 취약성 완화를 목표로 연구를 진행합니다. 예를 들어 주어진 이미지에 최적화된 노이즈 크기를 결정하고 이를 이용하여 적대적 예시들을 만들어 내는 통합적인 공격 방법과 이를 방어하기 위한 기술, 기계학습 모델의 검증된 견고성(Certified Robustness against Adversarial Examples)에 관한 연구가 계획되어 있습니다.
XAI(eXplainable AI)에서는 기계학습 모델에서 찾아낸 취약성의 원인이 되는 특징점 및 신경망(Neural)을 시각화하고 이런 정보들을 이용하여 해당 모델에 보정을 시도하는 도전적인 연구가 진행되며, Attack 분야에서는 딥러닝 모델에 대한 새로운 공격 방법 및 기계학습 워터마킹 기법들에 대한 공격 방법 연구가 계획되어 있습니다.
이번 과제에는 많은 전문가들이 함께 하신다고 들었습니다 이번 연구에는 저를 포함한 3명의 교수와 KAIST 사이버보안연구센터가 참여합니다. 대표적인 참여 인력을 소개하자면 KAIST AI대학원의 황성주 부교수와 미국 컬럼비아 대학(Columbia University)의 Suman Jana Associate Professor가 참여하며, 차상길 센터장이 이끌고 있는 KAIST 사이버보안연구센터에서는 고기혁 연구원과 조호묵 실장이 함께 합니다.
▲손수엘 KAIST 정보보호대학원 교수[사진=KAIST]
특히, 이번 과제가 갖는 학술적 의미는 매우 크다고 할 수 있습니다. 국제적으로 활발한 연구가 진행되고 있는 기계학습 모델의 보안 연구가 더욱 활성화되는 촉진제 역할을 할 것이라고 기대하며, 더 나아가 해당 분야의 국내 보안전문가를 육성하는 긍정적인 효과도 거둘 수 있을 것으로 봅니다.
마지막으로 기계학습 모델의 보안이라는 주제의 중요성을 인지하고 이런 과제를 기획해주신 과학기술정보통신부 및 정보통신기획평가원(IITP) 관계자분들의 노고에 감사함을 전하고 싶습니다. 또한, 저희 연구팀에게 이런 좋은 연구 기회를 주신 학계 연구자 및 교수님들께도 진심으로 감사의 말씀을 드립니다. 해당 과제를 통해 세계적인 연구 결과가 나올 수 있도록 최선을 다하겠습니다.
[원병철 기자(boanone@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
원병철기자 기사보기
[2024-11-22] .jpg)
.jpg)
.jpg)
.jpg)
.jpg)
