.jpg)
과기정통부의 ‘기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발’ 과제 본격 스타트
인공지능 분야 최고 권위 학회 ICML과 NeurIPS에서 2개의 논문 채택되는 연구성과 달성
2021년에 3건 이상의 특허 출원, 최고 국제학회 등 6건 이상 논문 게재, 기술 이전 등 목표 수립
[보안뉴스 원병철 기자] 카이스트(KAIST)가 지난해 인공지능(AI) 분야의 권위 있는 학회인 ICML과 NeurIPS에서 2개의 논문이 채택되는 등 인공지능 연구에서 큰 성과를 거뒀다. 과학기술정보통신부(장관 최기영, 이하 과기정통부)의 과제로 시작된 KAIST의 AI 보안 연구가 가시적인 성과를 거두면서, 최근 AI 등 ICT 분야 R&D에 집중투자하고 있는 정부의 정책이 결실을 맺기 시작했다는 평가를 받고 있다.
KAIST는 2020년 4월을 시작으로 2027년 12월까지 과기정통부의 ‘기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발’ 과제(과제책임: 손수엘 교수)를 수주 받아 KAIST 주관 및 미국 컬럼비아 대학(Columbia University)과 참여해 연구를 진행하고 있다.
현재 딥러닝 기계학습 모델은 입력과 출력을 악용해 잘못된 수행을 일으키거나, 학습이 완료된 딥러닝 모델의 사적인 정보 유출 등의 취약성을 가지고 있다. KAIST는 이번 과제를 통해 딥러닝 모델에서 발생할 수 있는 다양한 취약성을 찾아내고, 이를 완화하거나 방어할 수 있는 소프트웨어 시스템 개발을 목표로 하고 있다.
특히, 이번 과제는 4개의 분야(Attack, Defense, XAI, System)로 나뉘어져 연구가 진행되고 있다. 먼저, 딥러닝 기계학습 모델의 보안 역기능을 일으킬 수 있는 취약점을 찾는 분야(Attack), 찾아낸 취약점을 방어하는 분야(Defense), 취약점을 설명하는 분야(XAI), 그리고 위의 3가지 분야 연구 결과를 통합한 소프트웨어 시스템 개발 분야(System)로 연구가 진행된다.
기계학습 및 인공지능 연구 3대 학회 중 ICML과 NeurIPS에서 논문 채택
그 중 올해 Defense 분야를 연구하고 있는 황성주 교수 연구실에서 유명 AI 학회인 ICML과 NeurIPS에서 ‘Adversarial Neural Pruning with Latent Vulnerability Suppression’과 ‘Adversarial Self-supervised Contrastive Learning’의 논문 성과를 냈으며, 이외 Attack과 XAI 분야에서 각각 특허 및 국내 논문지 게재라는 연구 성과를 달성했다.
기계학습 및 인공지능 연구에서 유명 3대 학회로 ICML, NeurIPS, ICLR이 있다. 특히, NeurIPS(conference on Neural Information Processing Systems)는 계산신경과학 등을 포함하는 인공지능 연구가 많았지만, 최근 ICML(International Conference on Machine Learning)과 같이 기계학습에 대한 연구 비율이 높아져 다양한 연구가 발표되고 있다. 유명 기업인 구글과 페이스북 등의 후원을 바탕으로 매년 수천여 편의 논문이 게재되고 있다.
적대적 공격에 취약한 기존 딥러닝 모델을 극복하기 위해 적대적 방어 학습 활용
ICML에서 채택된 ‘Adversarial Neural Pruning with Latent Vulnerability Suppression’은 적대적 공격에 취약한 기존 딥러닝 모델을 극복하기 위해 적대적 방어 학습을 이용하는 내용을 담은 논문이다. 여기서 ‘적대적 방어 학습’이란 딥러닝 모델의 잘못된 결과를 유도해 무력화시키는 공격을 방어하는 기법이다. 예를 들면, 학습된 딥러닝 분류 모델에서 강아지 이미지를 강아지로 옳게 분류하지만, 강아지 이미지에 미세한 변화를 줄 경우 딥러닝 분류 모델은 강아지를 고양이로 잘못 분류할 수 있다. 이러한 문제점이 발생하지 않도록 딥러닝 모델 학습 과정에서 미세한 변화가 포함된 이미지를 추가 학습해 적대적 공격을 예방하는 방식을 적대적 방어 학습이라고 부른다.
이번 논문의 저자인 신진우 교수는 현재 KAIST AI 대학원 부교수로 재직 중이다. 서울대학교에서 수학/CS 학사 및 박사 학위를 취득했으며, 이후 머신러닝/딥러닝의 다양한 주제를 연구하면서 계산 효율성과 추론 알고리즘 개발 연구 등 다양한 연구를 진행 중이다.
또 다른 저자인 황성주 교수는 KAIST AI 대학원 전임교수로 재직 중이다. 미국 텍사스 대학교(Texas University)에서 컴퓨터 공학박사를 취득했으며, 이후 머신러닝/딥러닝 관련 주제를 활용한 이미지, 자연어, 의료 및 금융 등 다양한 응용 분야의 연구를 진행 중이다.
황성주 교수 연구실의 박사과정인 Divyam Madaan는 적대적 방어, 네트워크 압축, 앙상블 학습 등에 주력하고 있으며, 현재 안전성을 갖추는 동시에 이를 소형화하는 알고리즘 개발에 초점을 맞춰 연구 중이다.
최초로 이미지 라벨 없이 적대적 방어 학습이 가능한 방법 제안
또 다른 유명 AI 학회인 NeurIPS에 채택된 ‘Adversarial Self-supervised Contrastive Learning’은 최초로 이미지 라벨 없이 적대적 방어 학습이 가능한 방법을 제언했다는 점에서 획기적이라는 평가를 받고 있다. 이미지 라벨 작업이란 해당 이미지가 무엇을 나타내고 있는지를 지정하는 것인데, 예를 들면 강아지 이미지를 강아지라고 지정하는 것을 말한다. 이미지 데이터를 이용한 딥러닝 학습은 많은 양의 라벨 이미지가 필요한데, 이미지 하나하나 지정을 해야 하기 때문에 많은 시간과 비용이 필요하다. 따라서 많은 연구자들이 라벨없는 이미지에서의 딥러닝 학습 방법을 연구하고 있다.
주목할 점은 현재까지는 라벨이 없는 이미지로 적대적 방어 학습을 할 수 있는 방법이 존재하지 않았지만, 이번 논문에서 대조 학습 기반 프레임워크를 개발해 라벨이 없는 이미지에서 적대적 방어 학습이 가능하도록 연구했다는 것이다.
논문의 주요 저자인 김민선 연구원은 KAIST에서 바이오 및 뇌공학/컴퓨터 과학 학사를 취득하고, 현재 KAIST AI 대학원에서 황성주 교수 연구실 박사과정에 재학 중이다. 많은 딥러닝 프로젝트와 뇌 영상 분야 경험을 가지고 있으며, 특히 딥러닝 자가학습 및 적대적 학습에 관심을 두고 있다.
또 다른 저자인 탁지훈 연구원은 KAIST에서 전기 공학 및 수학 학사를 취득하고, 현재 KAIST AI 대학원에서 신진우 교수 연구실 박사과정으로 재학 중이다. 현재는 신뢰할 수 있는 기계학습에 중점을 둔 연구를 수행하고 있다.
2021년, 3개의 특허와 6편의 논문 등 성과 목표로 과제 연구 진행
한편, KAIST는 2021년에 4개의 분야 연구를 강화한다는 계획이다. Attack 분야에서는 단순성, 투명성, 명료성(설명가능성)을 기준으로 딥러닝 모델을 이해할 수 있는 화이트박스(White-box)와 불투명하면서 복잡한 블랙박스(Black-box)의 환경에서 딥러닝 취약점을 일으키는 공격 기술을 구현한다. 이밖에도 딥러닝 모델의 디지털 데이터 저작권 정보 혹은 비밀 정보를 삽입해 관리하는 워터마킹 알고리즘 구현 연구도 계획되어 있다.
Defense 분야에서는 이전에 연구된 적대적 방어 방법이 벡터의 길이 혹은 크기를 측정하는 방법을 한 가지로 고정해 연구했다면, 올해는 다양한 값으로 변경해 새로운 적대적 방어 방법을 개발한다. 이후 이전의 적대적 방어 방법과의 비교를 통해 성능을 평가하는 연구를 진행한다.
XAI 분야에서는 적대적 공격을 수행할 수 있는 변조된 입력 데이터를 생성하고, 변조된 입력 데이터가 딥러닝 모델에 어떤 영향을 주는지 추정하거나, 이를 시각화해 이해할 수 있도록 연구할 계획이다. 이후 원본/변조된 입력 데이터를 비교하고 이를 정량화하는 연구도 추진할 예정이다.
System 분야에서는 화이트박스 환경에서 보안성 테스팅 도구를 개발하고 성능을 평가한다. 이외에도 여러 개의 비슷한 기능 딥러닝 모델을 활용해 라벨이 없는 데이터에 대해 자동 라벨링 작업을 하는 연구가 계획되어 있다.
KAIST는 2020년의 경우 AI 연구를 시작하는 단계였다면, 2021년에는 연구를 본격화함으로써 3건 이상의 특허 출원, 최고의 국제학회 등 6건 이상의 논문 게재, 기술 이전 등 다수의 성과 목표를 달성한다는 계획이다.
[원병철 기자(boanone@boannews.com)]
인공지능 분야 최고 권위 학회 ICML과 NeurIPS에서 2개의 논문 채택되는 연구성과 달성
2021년에 3건 이상의 특허 출원, 최고 국제학회 등 6건 이상 논문 게재, 기술 이전 등 목표 수립
[보안뉴스 원병철 기자] 카이스트(KAIST)가 지난해 인공지능(AI) 분야의 권위 있는 학회인 ICML과 NeurIPS에서 2개의 논문이 채택되는 등 인공지능 연구에서 큰 성과를 거뒀다. 과학기술정보통신부(장관 최기영, 이하 과기정통부)의 과제로 시작된 KAIST의 AI 보안 연구가 가시적인 성과를 거두면서, 최근 AI 등 ICT 분야 R&D에 집중투자하고 있는 정부의 정책이 결실을 맺기 시작했다는 평가를 받고 있다.
[이미지=utoimage]
KAIST는 2020년 4월을 시작으로 2027년 12월까지 과기정통부의 ‘기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발’ 과제(과제책임: 손수엘 교수)를 수주 받아 KAIST 주관 및 미국 컬럼비아 대학(Columbia University)과 참여해 연구를 진행하고 있다.
현재 딥러닝 기계학습 모델은 입력과 출력을 악용해 잘못된 수행을 일으키거나, 학습이 완료된 딥러닝 모델의 사적인 정보 유출 등의 취약성을 가지고 있다. KAIST는 이번 과제를 통해 딥러닝 모델에서 발생할 수 있는 다양한 취약성을 찾아내고, 이를 완화하거나 방어할 수 있는 소프트웨어 시스템 개발을 목표로 하고 있다.
특히, 이번 과제는 4개의 분야(Attack, Defense, XAI, System)로 나뉘어져 연구가 진행되고 있다. 먼저, 딥러닝 기계학습 모델의 보안 역기능을 일으킬 수 있는 취약점을 찾는 분야(Attack), 찾아낸 취약점을 방어하는 분야(Defense), 취약점을 설명하는 분야(XAI), 그리고 위의 3가지 분야 연구 결과를 통합한 소프트웨어 시스템 개발 분야(System)로 연구가 진행된다.
기계학습 및 인공지능 연구 3대 학회 중 ICML과 NeurIPS에서 논문 채택
그 중 올해 Defense 분야를 연구하고 있는 황성주 교수 연구실에서 유명 AI 학회인 ICML과 NeurIPS에서 ‘Adversarial Neural Pruning with Latent Vulnerability Suppression’과 ‘Adversarial Self-supervised Contrastive Learning’의 논문 성과를 냈으며, 이외 Attack과 XAI 분야에서 각각 특허 및 국내 논문지 게재라는 연구 성과를 달성했다.
기계학습 및 인공지능 연구에서 유명 3대 학회로 ICML, NeurIPS, ICLR이 있다. 특히, NeurIPS(conference on Neural Information Processing Systems)는 계산신경과학 등을 포함하는 인공지능 연구가 많았지만, 최근 ICML(International Conference on Machine Learning)과 같이 기계학습에 대한 연구 비율이 높아져 다양한 연구가 발표되고 있다. 유명 기업인 구글과 페이스북 등의 후원을 바탕으로 매년 수천여 편의 논문이 게재되고 있다.
적대적 공격에 취약한 기존 딥러닝 모델을 극복하기 위해 적대적 방어 학습 활용
ICML에서 채택된 ‘Adversarial Neural Pruning with Latent Vulnerability Suppression’은 적대적 공격에 취약한 기존 딥러닝 모델을 극복하기 위해 적대적 방어 학습을 이용하는 내용을 담은 논문이다. 여기서 ‘적대적 방어 학습’이란 딥러닝 모델의 잘못된 결과를 유도해 무력화시키는 공격을 방어하는 기법이다. 예를 들면, 학습된 딥러닝 분류 모델에서 강아지 이미지를 강아지로 옳게 분류하지만, 강아지 이미지에 미세한 변화를 줄 경우 딥러닝 분류 모델은 강아지를 고양이로 잘못 분류할 수 있다. 이러한 문제점이 발생하지 않도록 딥러닝 모델 학습 과정에서 미세한 변화가 포함된 이미지를 추가 학습해 적대적 공격을 예방하는 방식을 적대적 방어 학습이라고 부른다.
이번 논문의 저자인 신진우 교수는 현재 KAIST AI 대학원 부교수로 재직 중이다. 서울대학교에서 수학/CS 학사 및 박사 학위를 취득했으며, 이후 머신러닝/딥러닝의 다양한 주제를 연구하면서 계산 효율성과 추론 알고리즘 개발 연구 등 다양한 연구를 진행 중이다.
또 다른 저자인 황성주 교수는 KAIST AI 대학원 전임교수로 재직 중이다. 미국 텍사스 대학교(Texas University)에서 컴퓨터 공학박사를 취득했으며, 이후 머신러닝/딥러닝 관련 주제를 활용한 이미지, 자연어, 의료 및 금융 등 다양한 응용 분야의 연구를 진행 중이다.
황성주 교수 연구실의 박사과정인 Divyam Madaan는 적대적 방어, 네트워크 압축, 앙상블 학습 등에 주력하고 있으며, 현재 안전성을 갖추는 동시에 이를 소형화하는 알고리즘 개발에 초점을 맞춰 연구 중이다.
최초로 이미지 라벨 없이 적대적 방어 학습이 가능한 방법 제안
또 다른 유명 AI 학회인 NeurIPS에 채택된 ‘Adversarial Self-supervised Contrastive Learning’은 최초로 이미지 라벨 없이 적대적 방어 학습이 가능한 방법을 제언했다는 점에서 획기적이라는 평가를 받고 있다. 이미지 라벨 작업이란 해당 이미지가 무엇을 나타내고 있는지를 지정하는 것인데, 예를 들면 강아지 이미지를 강아지라고 지정하는 것을 말한다. 이미지 데이터를 이용한 딥러닝 학습은 많은 양의 라벨 이미지가 필요한데, 이미지 하나하나 지정을 해야 하기 때문에 많은 시간과 비용이 필요하다. 따라서 많은 연구자들이 라벨없는 이미지에서의 딥러닝 학습 방법을 연구하고 있다.
주목할 점은 현재까지는 라벨이 없는 이미지로 적대적 방어 학습을 할 수 있는 방법이 존재하지 않았지만, 이번 논문에서 대조 학습 기반 프레임워크를 개발해 라벨이 없는 이미지에서 적대적 방어 학습이 가능하도록 연구했다는 것이다.
논문의 주요 저자인 김민선 연구원은 KAIST에서 바이오 및 뇌공학/컴퓨터 과학 학사를 취득하고, 현재 KAIST AI 대학원에서 황성주 교수 연구실 박사과정에 재학 중이다. 많은 딥러닝 프로젝트와 뇌 영상 분야 경험을 가지고 있으며, 특히 딥러닝 자가학습 및 적대적 학습에 관심을 두고 있다.
또 다른 저자인 탁지훈 연구원은 KAIST에서 전기 공학 및 수학 학사를 취득하고, 현재 KAIST AI 대학원에서 신진우 교수 연구실 박사과정으로 재학 중이다. 현재는 신뢰할 수 있는 기계학습에 중점을 둔 연구를 수행하고 있다.
2021년, 3개의 특허와 6편의 논문 등 성과 목표로 과제 연구 진행
한편, KAIST는 2021년에 4개의 분야 연구를 강화한다는 계획이다. Attack 분야에서는 단순성, 투명성, 명료성(설명가능성)을 기준으로 딥러닝 모델을 이해할 수 있는 화이트박스(White-box)와 불투명하면서 복잡한 블랙박스(Black-box)의 환경에서 딥러닝 취약점을 일으키는 공격 기술을 구현한다. 이밖에도 딥러닝 모델의 디지털 데이터 저작권 정보 혹은 비밀 정보를 삽입해 관리하는 워터마킹 알고리즘 구현 연구도 계획되어 있다.
Defense 분야에서는 이전에 연구된 적대적 방어 방법이 벡터의 길이 혹은 크기를 측정하는 방법을 한 가지로 고정해 연구했다면, 올해는 다양한 값으로 변경해 새로운 적대적 방어 방법을 개발한다. 이후 이전의 적대적 방어 방법과의 비교를 통해 성능을 평가하는 연구를 진행한다.
XAI 분야에서는 적대적 공격을 수행할 수 있는 변조된 입력 데이터를 생성하고, 변조된 입력 데이터가 딥러닝 모델에 어떤 영향을 주는지 추정하거나, 이를 시각화해 이해할 수 있도록 연구할 계획이다. 이후 원본/변조된 입력 데이터를 비교하고 이를 정량화하는 연구도 추진할 예정이다.
System 분야에서는 화이트박스 환경에서 보안성 테스팅 도구를 개발하고 성능을 평가한다. 이외에도 여러 개의 비슷한 기능 딥러닝 모델을 활용해 라벨이 없는 데이터에 대해 자동 라벨링 작업을 하는 연구가 계획되어 있다.
KAIST는 2020년의 경우 AI 연구를 시작하는 단계였다면, 2021년에는 연구를 본격화함으로써 3건 이상의 특허 출원, 최고의 국제학회 등 6건 이상의 논문 게재, 기술 이전 등 다수의 성과 목표를 달성한다는 계획이다.
[원병철 기자(boanone@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
원병철기자 기사보기
[2024-11-22] .jpg)
.jpg)
.jpg)
.jpg)
.jpg)
