.jpg)
2021년 연구 성과, 기계학습 및 인공지능 유명 학회 ICML/ICLR 등에 논문 게재로 입증
2021년 국내 특허출원 1건, 등록 1건, 국제 특허출원 1건, 기술이전 1건 달성
2022년, 과기정통부의 ‘기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발’ 과제 3차년도 시행
[보안뉴스 위아람 기자] 한국과학기술원(KAIST. 이하 카이스트)이 국가 공공 정보보호 인프라 강화를 위해 정보보호 핵심원천 기술개발 사업의 3차년도 연구개발에 나선다. 과학기술정보통신부의 과제로 시작된 이번 연구의 과제명은 ‘기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발’(과제 책임 : 손수엘 교수)이다. 연구개발기간은 2020년 4월 1일부터 2027년 12월 31일까지다. 카이스트가 주관하고, 미국 컬럼비아 대학의 참여로 연구를 진행하고 있다.
이번 과제는 딥러닝 기계학습 모델에서의 보안 역기능을 일으킬 수 있는 취약성을 찾기 위해 딥러닝 기계 학습 모델에 여러 공격을 시도하는 Adversarial Evaluation을 수행하고, 찾아낸 취약성에 대한 완화 또는 방어 방법을 제안하는 소프트웨어 시스템 개발을 목표로 하고 있다.
카이스트는 올해 3차년도 연구개발에 나서는데, 2차년도 연구개발 성과로는 국내 특허 출원 1건, 등록 1건, 국제 특허 출원 1건, 기술이전 1건, 논문 게재 6건이 있다.
먼저, 손수엘 교수 연구실에서 ‘Method of Evaluating Robustness of Artificial Neural Network Watermarking against Model Stealing Attacks’이라는 국제 특허를 출원했다. 또한, 국내 특허로는 카이스트 사이버보안연구센터(CSRC, 센터장 차상길 교수)에서 ‘적대적 예제의 비지도 이상 탐지 방법 및 이를 이용하는 장치’에 대한 국내 특허를 출원했고, 손수엘 교수 연구실에서는 ‘모델 추출 공격에 대한 인공신경망 워터마킹의 안전성 평가 방법’ 국내 특허를 등록했다.
이와 함께 황성주 교수 연구실에서 기계학습 및 인공지능 유명 학회인 ICLR에 ‘Contrastive Learning with Adversarial Perturbations for Conditional Text Generation’, ICML에 ‘Learning to Generate Noise for Robustness Against Multiple Perturbations’의 논문을 게재하는 성과를 거뒀다.
사이버보안연구센터(CSRC)에서는 KCC에 ‘설명가능한 인공지능을 활용한 적대적 예제 비지도 이상 탐지’, ADvML에 ‘Unsupervised Detection of Adversarial Examples with Model Explanations’ 논문을 게재했다. 또한, Suman 교수 연구실에서는 USENIX Security에 ‘Cost-Aware Robust Tree Ensembles for Security Applications’를, CCS에 ‘Learning Security Classifiers with Verified Global Robustness Properties’ 논문을 실었다. 이와 함께 사이버보안연구센터에서는 2021년 지피다로의 성공적인 기술 이전이라는 성과를 달성했다.
이번 과제에 참여한 카이스트 교수들의 면면은 다음과 같다. 먼저 과제 책임을 맡고 있는 손수엘 교수는 현재 카이스트 전산학부·정보보호대학원 교수로 재직 중이며 웹 보안 관련 연구들을 진행하고 있다. 웹 애플리케이션 취약점 탐지, 브라우저에 존재하거나 이를 이용한 새로운 공격 방법 연구, 기계학습을 활용한 취약점 탐지 연구, 그리고 기계학습 모델에 존재하는 취약성 탐지/완화 연구들을 활발하게 수행하고 있다.
또한, 황성주 교수는 카이스트 AI 대학원 전임교수로 재직 중이다. 미국 텍사스 대학교에서 컴퓨터 공학박사를 취득했으며, 이후 머신러닝/딥러닝 관련 주제를 활용한 이미지, 자연어, 의료 및 금융 등 다양한 응용분야의 연구를 진행 중이다.
함께 참여하고 있는 사이버보안연구센터(CSRC)는 카이스트에 사이버보안 전문기관 설립이 건의돼 2011년 설치된 기관이다. 국가 사이버안보 강국 실현을 위해 공익성, 공공성을 갖고 국가가 전략적으로 확보해야 할 사이버보안 기술의 연구개발을 수행한다.
이 외에도 Suman 교수는 미국 컬럼비아 대학의 Suman Jana Associate Professor로 이번 연구에 참여하고 있다.
카이스트, 2022년에 4가지 분야로 구분해 연구개발 집중
정보보호 핵심원천 기술개발 사업의 3차년도 연구개발에 나서는 카이스트가 2022년 주력할 첫 번째 분야는 System 분야로 보안 역기능 취약점 자동 탐지 및 방어 도구를 연구하는데 초점을 맞출 계획이다. 보안을 위한 기계학습 모델을 대상으로 기존에 알려진 여러 가지 공격을 종합적으로 수행해 자동으로 취약점을 탐지하는 기술을 연구한다. 또한, 대상 모델에 대해 성공한 공격들의 취약점을 완화하는 방안과 이를 구현한 API들을 자동 제안하는 기술 연구와 대상 모델의 자동 보정을 통해 취약점을 제거하는 기술의 구현 가능성 연구에 주력하게 된다.
두 번째 분야는 Defense로 보안 역기능을 최소화하는 훈련 및 방어 기술 연구다. 기계학습 분야의 난제로 알려진 화이트박스 이베이젼(Whitebox Evasion) 공격을 방어하기 위한 새로운 훈련과정 연구와 이를 이용한 방어기술 연구에 집중하게 된다. 또한, 보안 역기능을 방어하기 위해 희생되는 대상 모델의 성능 저하를 막기 위한 새로운 훈련기술을 연구할 예정이다. 이에 따라 합동 훈련과정에서의 적대적 공격자의 영향을 최소화하기 위한 훈련과정 연구와 인증 가능한 방어 기술을 해당 기계학습 모델에 대입하는 기술 연구에 치중한다.
세 번째 분야는 설명가능한 AI, XAI 기술을 통한 모델의 취약성 설명 및 보정 기술 연구다. 기계학습 모델에 성공한 공격들과 그에 의한 적대적 예제를 기반으로 모델의 취약성과 그 원인이 되는 특징점을 설명할 수 있는 기술을 연구한다. 또한, 설명가능한 취약점을 대상으로 이를 자동 보정하는 가능성에 대한 연구를 추진하게 된다.
네 번째 분야는 Attack으로, 위터마크로 보호된 기계학습 모델을 공격하는 새로운 기계학습 공격 기술 연구다. 보안 역기능을 야기하는 새로운 공격 기술을 연구하게 되며 기계학습의 지적재산권 소유권을 보장하기 위한 워터마크를 우회하는 새로운 공격 기술 및 이에 대한 방어 기술을 연구하게 된다.
또한, 3차년도에는 멤버십 인퍼런스 공격 기술 개발, 멤버십 인퍼런스 공격 완화 기술 개발에 집중한다. 실용적인 적대적 샘플 생성 및 방어 기법 연구, 멤버십 인퍼런스 공격에 취약한 AI 모델 분석, XAI 기반 취약성 설명 분야에 대해 연구할 예정이다. 또한, SMT 솔버 기반의 딥러닝 모델 검증 방법의 한계점을 분석하고. 모델 입출력 값들의 인터벌 정의 연구를 하게 된다.
이번 연구는 국가기관 및 관공서에서 기계학습 모델을 기반으로 한 서비스를 제공할 때 기계학습 모델의 취약점을 서비스 이전에 탐지하고, 이를 개선하기 위한 방안을 제시하는데 활용될 수 있다. 또한, 4차 산업혁명으로 활용도가 증가하는 기계학습 모델의 취약점을 사전에 탐지해주는 목적으로 AI 보안 컨설팅 회사에서의 활용이 가능하다. 제안 도구를 패키지화해 소프트웨어 제품으로 상품화하거나 기반 기술을 라이센스화해 기술 이전에 활용할 수도 있다.
이번 연구과제는 국제적 핵심 공통 기반기술 확보를 통해 글로벌 연구 리더십은 물론 원천기술을 확보할 수 있고, 인공지능 서비스의 보안 검증을 통한 국내외 인공지능 시장에서의 경쟁력을 높일 수 있을 것으로 기대된다. 이와 함께 국내 인공지능 SW 기업의 리스크 해소와 신뢰성 강화에도 크게 기여할 수 있을 것으로 보인다.
[위아람 기자(sw@boannews.com)]
2021년 국내 특허출원 1건, 등록 1건, 국제 특허출원 1건, 기술이전 1건 달성
2022년, 과기정통부의 ‘기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발’ 과제 3차년도 시행
[보안뉴스 위아람 기자] 한국과학기술원(KAIST. 이하 카이스트)이 국가 공공 정보보호 인프라 강화를 위해 정보보호 핵심원천 기술개발 사업의 3차년도 연구개발에 나선다. 과학기술정보통신부의 과제로 시작된 이번 연구의 과제명은 ‘기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발’(과제 책임 : 손수엘 교수)이다. 연구개발기간은 2020년 4월 1일부터 2027년 12월 31일까지다. 카이스트가 주관하고, 미국 컬럼비아 대학의 참여로 연구를 진행하고 있다.
[사진=KAIST]
이번 과제는 딥러닝 기계학습 모델에서의 보안 역기능을 일으킬 수 있는 취약성을 찾기 위해 딥러닝 기계 학습 모델에 여러 공격을 시도하는 Adversarial Evaluation을 수행하고, 찾아낸 취약성에 대한 완화 또는 방어 방법을 제안하는 소프트웨어 시스템 개발을 목표로 하고 있다.
카이스트는 올해 3차년도 연구개발에 나서는데, 2차년도 연구개발 성과로는 국내 특허 출원 1건, 등록 1건, 국제 특허 출원 1건, 기술이전 1건, 논문 게재 6건이 있다.
먼저, 손수엘 교수 연구실에서 ‘Method of Evaluating Robustness of Artificial Neural Network Watermarking against Model Stealing Attacks’이라는 국제 특허를 출원했다. 또한, 국내 특허로는 카이스트 사이버보안연구센터(CSRC, 센터장 차상길 교수)에서 ‘적대적 예제의 비지도 이상 탐지 방법 및 이를 이용하는 장치’에 대한 국내 특허를 출원했고, 손수엘 교수 연구실에서는 ‘모델 추출 공격에 대한 인공신경망 워터마킹의 안전성 평가 방법’ 국내 특허를 등록했다.
이와 함께 황성주 교수 연구실에서 기계학습 및 인공지능 유명 학회인 ICLR에 ‘Contrastive Learning with Adversarial Perturbations for Conditional Text Generation’, ICML에 ‘Learning to Generate Noise for Robustness Against Multiple Perturbations’의 논문을 게재하는 성과를 거뒀다.
사이버보안연구센터(CSRC)에서는 KCC에 ‘설명가능한 인공지능을 활용한 적대적 예제 비지도 이상 탐지’, ADvML에 ‘Unsupervised Detection of Adversarial Examples with Model Explanations’ 논문을 게재했다. 또한, Suman 교수 연구실에서는 USENIX Security에 ‘Cost-Aware Robust Tree Ensembles for Security Applications’를, CCS에 ‘Learning Security Classifiers with Verified Global Robustness Properties’ 논문을 실었다. 이와 함께 사이버보안연구센터에서는 2021년 지피다로의 성공적인 기술 이전이라는 성과를 달성했다.
이번 과제에 참여한 카이스트 교수들의 면면은 다음과 같다. 먼저 과제 책임을 맡고 있는 손수엘 교수는 현재 카이스트 전산학부·정보보호대학원 교수로 재직 중이며 웹 보안 관련 연구들을 진행하고 있다. 웹 애플리케이션 취약점 탐지, 브라우저에 존재하거나 이를 이용한 새로운 공격 방법 연구, 기계학습을 활용한 취약점 탐지 연구, 그리고 기계학습 모델에 존재하는 취약성 탐지/완화 연구들을 활발하게 수행하고 있다.
또한, 황성주 교수는 카이스트 AI 대학원 전임교수로 재직 중이다. 미국 텍사스 대학교에서 컴퓨터 공학박사를 취득했으며, 이후 머신러닝/딥러닝 관련 주제를 활용한 이미지, 자연어, 의료 및 금융 등 다양한 응용분야의 연구를 진행 중이다.
함께 참여하고 있는 사이버보안연구센터(CSRC)는 카이스트에 사이버보안 전문기관 설립이 건의돼 2011년 설치된 기관이다. 국가 사이버안보 강국 실현을 위해 공익성, 공공성을 갖고 국가가 전략적으로 확보해야 할 사이버보안 기술의 연구개발을 수행한다.
이 외에도 Suman 교수는 미국 컬럼비아 대학의 Suman Jana Associate Professor로 이번 연구에 참여하고 있다.
카이스트, 2022년에 4가지 분야로 구분해 연구개발 집중
정보보호 핵심원천 기술개발 사업의 3차년도 연구개발에 나서는 카이스트가 2022년 주력할 첫 번째 분야는 System 분야로 보안 역기능 취약점 자동 탐지 및 방어 도구를 연구하는데 초점을 맞출 계획이다. 보안을 위한 기계학습 모델을 대상으로 기존에 알려진 여러 가지 공격을 종합적으로 수행해 자동으로 취약점을 탐지하는 기술을 연구한다. 또한, 대상 모델에 대해 성공한 공격들의 취약점을 완화하는 방안과 이를 구현한 API들을 자동 제안하는 기술 연구와 대상 모델의 자동 보정을 통해 취약점을 제거하는 기술의 구현 가능성 연구에 주력하게 된다.
두 번째 분야는 Defense로 보안 역기능을 최소화하는 훈련 및 방어 기술 연구다. 기계학습 분야의 난제로 알려진 화이트박스 이베이젼(Whitebox Evasion) 공격을 방어하기 위한 새로운 훈련과정 연구와 이를 이용한 방어기술 연구에 집중하게 된다. 또한, 보안 역기능을 방어하기 위해 희생되는 대상 모델의 성능 저하를 막기 위한 새로운 훈련기술을 연구할 예정이다. 이에 따라 합동 훈련과정에서의 적대적 공격자의 영향을 최소화하기 위한 훈련과정 연구와 인증 가능한 방어 기술을 해당 기계학습 모델에 대입하는 기술 연구에 치중한다.
세 번째 분야는 설명가능한 AI, XAI 기술을 통한 모델의 취약성 설명 및 보정 기술 연구다. 기계학습 모델에 성공한 공격들과 그에 의한 적대적 예제를 기반으로 모델의 취약성과 그 원인이 되는 특징점을 설명할 수 있는 기술을 연구한다. 또한, 설명가능한 취약점을 대상으로 이를 자동 보정하는 가능성에 대한 연구를 추진하게 된다.
네 번째 분야는 Attack으로, 위터마크로 보호된 기계학습 모델을 공격하는 새로운 기계학습 공격 기술 연구다. 보안 역기능을 야기하는 새로운 공격 기술을 연구하게 되며 기계학습의 지적재산권 소유권을 보장하기 위한 워터마크를 우회하는 새로운 공격 기술 및 이에 대한 방어 기술을 연구하게 된다.
또한, 3차년도에는 멤버십 인퍼런스 공격 기술 개발, 멤버십 인퍼런스 공격 완화 기술 개발에 집중한다. 실용적인 적대적 샘플 생성 및 방어 기법 연구, 멤버십 인퍼런스 공격에 취약한 AI 모델 분석, XAI 기반 취약성 설명 분야에 대해 연구할 예정이다. 또한, SMT 솔버 기반의 딥러닝 모델 검증 방법의 한계점을 분석하고. 모델 입출력 값들의 인터벌 정의 연구를 하게 된다.
이번 연구는 국가기관 및 관공서에서 기계학습 모델을 기반으로 한 서비스를 제공할 때 기계학습 모델의 취약점을 서비스 이전에 탐지하고, 이를 개선하기 위한 방안을 제시하는데 활용될 수 있다. 또한, 4차 산업혁명으로 활용도가 증가하는 기계학습 모델의 취약점을 사전에 탐지해주는 목적으로 AI 보안 컨설팅 회사에서의 활용이 가능하다. 제안 도구를 패키지화해 소프트웨어 제품으로 상품화하거나 기반 기술을 라이센스화해 기술 이전에 활용할 수도 있다.
이번 연구과제는 국제적 핵심 공통 기반기술 확보를 통해 글로벌 연구 리더십은 물론 원천기술을 확보할 수 있고, 인공지능 서비스의 보안 검증을 통한 국내외 인공지능 시장에서의 경쟁력을 높일 수 있을 것으로 기대된다. 이와 함께 국내 인공지능 SW 기업의 리스크 해소와 신뢰성 강화에도 크게 기여할 수 있을 것으로 보인다.
[위아람 기자(sw@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
위아람기자 기사보기
[2024-11-22] .jpg)
.jpg)
.jpg)
.jpg)
.jpg)
