‘AI 보안’, AI 접목한 보안 이전에 ‘AI만의 취약점’ 보안을 연구하라
숭실대 내 ‘AI 안전성 연구센터’ 설립해 센터장 맡아...AI의 제기능을 위한 보안 연구 매진
프라이빗 LLM 등 온프레미스 AI 주목...“개인화된 AI 비서 서비스 증가할 것”
[보안뉴스 김영명 기자] 인공지능(AI)은 동전의 양면과 같다. AI는 가능성이 무궁무진하지만, 잘못 다루면 겉잡을 수 없는 피해를 줄 수도 있기 때문이다. AI의 성능이 향상될수록 AI의 안전성 확보도 필수다. ‘안전한 AI 서비스’를 위한 최선은 ‘기본’을 지키는 것이다. 나의 개인정보는 나만 알고 있는 것으로 충분하다. 내가 즐겨 쓰는 생성형 AI라고 개인정보를 쉽게 입력하면 언젠가 부메랑으로 되돌아올 수 있기 때문이다.
숭실대 소프트웨어학부 최대선 교수는 ‘AI 보안’을 다른 시각으로 접근한다. ‘AI를 공격하는 보안 위협’, ‘AI를 속이는 데이터 변조와 오염’ 등 AI의 제기능을 위한 보안을 연구하는 것. 이를 위해 숭실대는 ‘AI 안전성 연구센터(이하 AI센터)’를 설립해 지난 8월부터 활동을 시작했다.
최대선 교수는 “AI의 안전성과 관련해 꾸준히 연구를 이어온 것이 ‘AI센터’로 결실을 맺었다”며 “AI센터는 ‘생성형 AI 보안 위협 대응 기술개발’, ‘사이버 국방 인공지능 모델 보안기술’, ‘엣지 AI 보안을 위한 Robust 및 분산 공격탐지 기술개발’ 등 3개팀으로 구성했고, 10월에 공식 오픈됐다”고 말했다. AI센터는 센터장인 최 교수를 포함해 8명의 전임교수가 함께한다. 주된 연구 과제는 ‘AI 리스크관리’, ‘AI 자체의 공격 방어’, ‘AI 결과물의 신뢰성 향상’ 등이다.
AI 보안에 대한 관심, 알파고-이세돌 대국에서 시작
‘AI’과 관련된 학계의 연구가 본격적으로 시작된 다음 해인 2016년에는 바둑기사 이세돌과 구글 알파고와의 대결이 있었다. 많은 전문가들은 5:0으로 이세돌의 완승을 예고했지만, 한 언론사 기고의 글에서 최대선 교수는 “5대 0으로 알파고의 완승”을 예측했다. 결과는 4대 1의 알파고 승이었다.
최대선 교수는 그 즈음부터 AI 보안에 관심을 갖고 AI 기술과 결합된 생체인증, 침입탐지, 이상거래 탐지 등을 연구했다. 최 교수는 연구에 AI를 활용하며 AI 자체의 보안에 눈을 떴다.
구글 딥마인드의 ‘알파고’ 이전에 최 교수는 ‘알파귀’를 개발하기도 했다. 당시 TV 프로그램 ‘히든싱어’에 착안한 최 교수는 AI로 진짜 가수를 찾는 프로그램을 만들어 30여명에게 실험했다. 최고 득점자가 66%였고, 알파귀도 대등한 비율을 기록했다. 이러한 연구를 바탕으로 최 교수는 AI 자체 보안을 주제로 한 70여편의 SCI 논문을 발표했다.
최근 딥보이스와 딥페이크도 이슈가 되고 있다. 최 교수는 “생성형 AI가 만든 콘텐츠의 품질이 우수해 딥보이스는 3초의 목소리만 있어도 보이스피싱을 재현하고, 존재하지 않는 사진으로 가짜뉴스도 생성한다”며 우려했다.
또한 AI만을 속이는 공격과 연구도 진행되고 있다. 이러한 위협이 확산되면 자율주행차가 주행 중 사이버 공격으로 사고가 날 수 있다는 것. 특히 의료·국방 분야에서의 사이버 공격 파급력은 감당이 어려운데, 이를 연구하는 것이 바로 ‘AI 리스크 관리’다. 신경망 구조를 갖는 AI는 사람의 이해력을 뛰어넘는 만큼 리스크 관리의 중요성이 매우 크다. 그럼에도 관련 연구는 아직 초기 단계에 머물러 있다.
딥페이크 연구도 AI 리스크 관리 측면에서 진행 중이다. 최 교수는 “이미지나 영상에 클로킹(Cloaking, 망토)을 적용하면 딥페이크나 딥보이스 생성이 어렵게 된다”며 “이를 역이용하면 AI 악용의 방어가 일부 가능한데, 이러한 클로킹 기술은 조만간 완성될 계획”이라고 말했다.
AI 안전성 연구센터의 주요 연구과제 3가지
생성형 AI의 발전은 새로운 보안 위협의 증가로 이어진다. 최 교수는 “텍스트를 통한 피싱과 가짜뉴스의 효과는 미미하지만, 영상과 사진 한장의 임팩트는 크다”며 “MLLM(Multimodal LLM) 기술의 발전으로 생성형 AI로 인한 위협이 가시화되고 있다”고 말했다. 현재 챗GPT 기술을 100으로 봤을 때 우리나라는 30~50 수준이며, MLLM은 더욱 뒤처져 있는 상황이다.
최대선 교수의 3개 과제 중 ‘생성용 AI 보안 위협 대응 기술 개발’은 AI가 스스로 만들어내는 가짜 콘텐츠를 구분하고 이것이 만들어지지 않도록 콘텐츠 자체의 신뢰성이나 특정 사실과의 부합성 등을 따지는 역할을 한다. 해당 연구는 뉴로-심볼릭 인공지능(Neuro-Symbolic AI)을 활용해 연구한다.
‘사이버 국방 인공지능 모델 보안기술’은 사이버 국방 분야에서 적의 사이버 공격을 탐지하고 대응하는데 도입한 AI를 연구하는 것이다. 하지만 AI 자체가 방어에 취약해 AI 학습 데이터의 오염 방지, 모의 공격을 통한 취약점 분석 및 공격 대응 시스템 구축에 초점을 맞추고 있다.
‘엣지 AI 보안을 위한 Robust AI 및 분산 공격탐지 기술 개발’은 AI 자체의 취약성 방지를 위해 강건한 AI를 만들고, AI에 대한 공격이 일어났는지 탐지하는 연구다. 해커가 지능형 CCTV의 AI 동작을 방해해 나오는 오류를 엣지 AI 환경에서 모니터링하며 보호하는 기술이다.
AI 보안, 이론과 현실의 차이 극복 필요
AI 보안의 가장 큰 문제는 실험 때 결과가 좋더라도 필드에서는 성능이 떨어진다는 점이다. 또한 오탐이 나오면 오탐 발생 이유를 분석해 개선하는 것도 쉽지 않다. 하지만 자동화된 관제나 침해대응 파트에서는 AI 보안의 사용도가 높아지고 있다. 최대선 교수는 “사람이 처리하는 능력에 한계가 있어 결과적으로는 AI에 의존할 수밖에 없는 부분도 있고, 전에 없던 새로운 공격도 AI가 스스로 탐지할 수 있어 이 부분에서는 유용하게 활용되고 있다”고 설명했다.
특히 챗GPT에서 개인정보가 악용되는 경우도 문제가 되고 있다. 먼저 생성형 AI가 공개된 데이터를 학습하며 수집한 개인정보가 온라인에 노출되는 경우다. 이에 대응하기 위해 개인정보보호위원회는 공개된 개인정보의 수집과 활용 가이드라인도 만들었다. 또 하나는 AI 서비스 제공자는 공개된 정보 외에 기업·기관·개인의 데이터를 구매하려고 한다. 스마트폰과 태블릿 등 개인 단말에 쌓이는 데이터를 AI 학습에 사용하려는 것이다. 사실상 세상의 모든 개인정보가 AI에 들어가면서 개인정보 유출 우려가 클 수밖에 없다. 따라서 꾸준한 연구가 필요하다.
최 교수는 “이에 대응하기 위해 정부·공공기관이나 일부 기업에서는 외부와 단절된 프라이빗 LLM, 즉 온디바이스 AI에 주목하고 있다”며 “IT 빅테크도 AI의 응용방안 중 하나로 개인화된 AI 비서, 로컬 LLM에 관심을 두고 있어 이와 관련된 서비스가 증가할 것”이라고 말했다.
효과적인 개인정보 보호, AI 비서가 유용할 것
개인정보 유출사고 대응을 위해 새롭게 주목받는 개인 AI 비서는 사용자가 서비스 이용 시 이용약관 등 세세한 것을 일일이 기억하는데 도움을 준다. 이를 통해 나중에 해당 서비스에 대한 개인정보 자기통제권을 행사하기 쉽다. 최 교수도 LLM이 서비스의 개인정보 처리방침을 해석하고 정형화해 사용자에게 핵심을 전달하고 동의를 구한 뒤 맞춤형으로 제공하는 방법을 연구 중이다.
최 교수는 “공공기관은 개인정보 ‘활용’과 ‘보호’ 사이에 있어 적정 가이드라인을 만들고 이에 기반한 AI 서비스가 개발되도록 지도해야 한다”며 “보안업계나 서비스 제공자가 가이드라인을 벗어났을 때 제재 방안도 필요하다”고 말했다. 이어 “서비스 제공자는 개인정보 안전에 기반한 서비스가 사용자 확보로 이어지는 것을 깨달아야 한다”며 “보안업계는 LLM과 온디바이스 AI 등 트렌드에 따라 늘어나는 개인정보 위협 가능성에 경각심을 줄 필요가 있다”고 말했다.
최대선 교수는 이어 “현재는 딥페이크 방지 기술을 중점적으로 연구하고 있는데, 딥보이스는 기술적 처리를 거치면 악용 위협에서 최대한 보호 가능할 것”이라며 “해당 기술이 매우 가치 있다는 생각에 연구에 매진중”이라고 강조했다. 최 교수는 올해 말에 해당 기술 개발이 완료돼 기술 이전이나 판매 등이 가능할 것으로 예상했다.
[김영명 기자(boan@boannews.com)]
숭실대 내 ‘AI 안전성 연구센터’ 설립해 센터장 맡아...AI의 제기능을 위한 보안 연구 매진
프라이빗 LLM 등 온프레미스 AI 주목...“개인화된 AI 비서 서비스 증가할 것”
[보안뉴스 김영명 기자] 인공지능(AI)은 동전의 양면과 같다. AI는 가능성이 무궁무진하지만, 잘못 다루면 겉잡을 수 없는 피해를 줄 수도 있기 때문이다. AI의 성능이 향상될수록 AI의 안전성 확보도 필수다. ‘안전한 AI 서비스’를 위한 최선은 ‘기본’을 지키는 것이다. 나의 개인정보는 나만 알고 있는 것으로 충분하다. 내가 즐겨 쓰는 생성형 AI라고 개인정보를 쉽게 입력하면 언젠가 부메랑으로 되돌아올 수 있기 때문이다.
▲숭실대 소프트웨어학과 최대선 교수[사진=보안뉴스]
숭실대 소프트웨어학부 최대선 교수는 ‘AI 보안’을 다른 시각으로 접근한다. ‘AI를 공격하는 보안 위협’, ‘AI를 속이는 데이터 변조와 오염’ 등 AI의 제기능을 위한 보안을 연구하는 것. 이를 위해 숭실대는 ‘AI 안전성 연구센터(이하 AI센터)’를 설립해 지난 8월부터 활동을 시작했다.
최대선 교수는 “AI의 안전성과 관련해 꾸준히 연구를 이어온 것이 ‘AI센터’로 결실을 맺었다”며 “AI센터는 ‘생성형 AI 보안 위협 대응 기술개발’, ‘사이버 국방 인공지능 모델 보안기술’, ‘엣지 AI 보안을 위한 Robust 및 분산 공격탐지 기술개발’ 등 3개팀으로 구성했고, 10월에 공식 오픈됐다”고 말했다. AI센터는 센터장인 최 교수를 포함해 8명의 전임교수가 함께한다. 주된 연구 과제는 ‘AI 리스크관리’, ‘AI 자체의 공격 방어’, ‘AI 결과물의 신뢰성 향상’ 등이다.
AI 보안에 대한 관심, 알파고-이세돌 대국에서 시작
‘AI’과 관련된 학계의 연구가 본격적으로 시작된 다음 해인 2016년에는 바둑기사 이세돌과 구글 알파고와의 대결이 있었다. 많은 전문가들은 5:0으로 이세돌의 완승을 예고했지만, 한 언론사 기고의 글에서 최대선 교수는 “5대 0으로 알파고의 완승”을 예측했다. 결과는 4대 1의 알파고 승이었다.
최대선 교수는 그 즈음부터 AI 보안에 관심을 갖고 AI 기술과 결합된 생체인증, 침입탐지, 이상거래 탐지 등을 연구했다. 최 교수는 연구에 AI를 활용하며 AI 자체의 보안에 눈을 떴다.
구글 딥마인드의 ‘알파고’ 이전에 최 교수는 ‘알파귀’를 개발하기도 했다. 당시 TV 프로그램 ‘히든싱어’에 착안한 최 교수는 AI로 진짜 가수를 찾는 프로그램을 만들어 30여명에게 실험했다. 최고 득점자가 66%였고, 알파귀도 대등한 비율을 기록했다. 이러한 연구를 바탕으로 최 교수는 AI 자체 보안을 주제로 한 70여편의 SCI 논문을 발표했다.
최근 딥보이스와 딥페이크도 이슈가 되고 있다. 최 교수는 “생성형 AI가 만든 콘텐츠의 품질이 우수해 딥보이스는 3초의 목소리만 있어도 보이스피싱을 재현하고, 존재하지 않는 사진으로 가짜뉴스도 생성한다”며 우려했다.
또한 AI만을 속이는 공격과 연구도 진행되고 있다. 이러한 위협이 확산되면 자율주행차가 주행 중 사이버 공격으로 사고가 날 수 있다는 것. 특히 의료·국방 분야에서의 사이버 공격 파급력은 감당이 어려운데, 이를 연구하는 것이 바로 ‘AI 리스크 관리’다. 신경망 구조를 갖는 AI는 사람의 이해력을 뛰어넘는 만큼 리스크 관리의 중요성이 매우 크다. 그럼에도 관련 연구는 아직 초기 단계에 머물러 있다.
딥페이크 연구도 AI 리스크 관리 측면에서 진행 중이다. 최 교수는 “이미지나 영상에 클로킹(Cloaking, 망토)을 적용하면 딥페이크나 딥보이스 생성이 어렵게 된다”며 “이를 역이용하면 AI 악용의 방어가 일부 가능한데, 이러한 클로킹 기술은 조만간 완성될 계획”이라고 말했다.
▲최대선 교수는 ‘AI를 활용한 보안’ 이전에 ‘AI가 AI 역할을 하기 위한 보안’에 초점을 맞추고 있다[사진=보안뉴스]
AI 안전성 연구센터의 주요 연구과제 3가지
생성형 AI의 발전은 새로운 보안 위협의 증가로 이어진다. 최 교수는 “텍스트를 통한 피싱과 가짜뉴스의 효과는 미미하지만, 영상과 사진 한장의 임팩트는 크다”며 “MLLM(Multimodal LLM) 기술의 발전으로 생성형 AI로 인한 위협이 가시화되고 있다”고 말했다. 현재 챗GPT 기술을 100으로 봤을 때 우리나라는 30~50 수준이며, MLLM은 더욱 뒤처져 있는 상황이다.
최대선 교수의 3개 과제 중 ‘생성용 AI 보안 위협 대응 기술 개발’은 AI가 스스로 만들어내는 가짜 콘텐츠를 구분하고 이것이 만들어지지 않도록 콘텐츠 자체의 신뢰성이나 특정 사실과의 부합성 등을 따지는 역할을 한다. 해당 연구는 뉴로-심볼릭 인공지능(Neuro-Symbolic AI)을 활용해 연구한다.
‘사이버 국방 인공지능 모델 보안기술’은 사이버 국방 분야에서 적의 사이버 공격을 탐지하고 대응하는데 도입한 AI를 연구하는 것이다. 하지만 AI 자체가 방어에 취약해 AI 학습 데이터의 오염 방지, 모의 공격을 통한 취약점 분석 및 공격 대응 시스템 구축에 초점을 맞추고 있다.
‘엣지 AI 보안을 위한 Robust AI 및 분산 공격탐지 기술 개발’은 AI 자체의 취약성 방지를 위해 강건한 AI를 만들고, AI에 대한 공격이 일어났는지 탐지하는 연구다. 해커가 지능형 CCTV의 AI 동작을 방해해 나오는 오류를 엣지 AI 환경에서 모니터링하며 보호하는 기술이다.
AI 보안, 이론과 현실의 차이 극복 필요
AI 보안의 가장 큰 문제는 실험 때 결과가 좋더라도 필드에서는 성능이 떨어진다는 점이다. 또한 오탐이 나오면 오탐 발생 이유를 분석해 개선하는 것도 쉽지 않다. 하지만 자동화된 관제나 침해대응 파트에서는 AI 보안의 사용도가 높아지고 있다. 최대선 교수는 “사람이 처리하는 능력에 한계가 있어 결과적으로는 AI에 의존할 수밖에 없는 부분도 있고, 전에 없던 새로운 공격도 AI가 스스로 탐지할 수 있어 이 부분에서는 유용하게 활용되고 있다”고 설명했다.
특히 챗GPT에서 개인정보가 악용되는 경우도 문제가 되고 있다. 먼저 생성형 AI가 공개된 데이터를 학습하며 수집한 개인정보가 온라인에 노출되는 경우다. 이에 대응하기 위해 개인정보보호위원회는 공개된 개인정보의 수집과 활용 가이드라인도 만들었다. 또 하나는 AI 서비스 제공자는 공개된 정보 외에 기업·기관·개인의 데이터를 구매하려고 한다. 스마트폰과 태블릿 등 개인 단말에 쌓이는 데이터를 AI 학습에 사용하려는 것이다. 사실상 세상의 모든 개인정보가 AI에 들어가면서 개인정보 유출 우려가 클 수밖에 없다. 따라서 꾸준한 연구가 필요하다.
최 교수는 “이에 대응하기 위해 정부·공공기관이나 일부 기업에서는 외부와 단절된 프라이빗 LLM, 즉 온디바이스 AI에 주목하고 있다”며 “IT 빅테크도 AI의 응용방안 중 하나로 개인화된 AI 비서, 로컬 LLM에 관심을 두고 있어 이와 관련된 서비스가 증가할 것”이라고 말했다.
효과적인 개인정보 보호, AI 비서가 유용할 것
개인정보 유출사고 대응을 위해 새롭게 주목받는 개인 AI 비서는 사용자가 서비스 이용 시 이용약관 등 세세한 것을 일일이 기억하는데 도움을 준다. 이를 통해 나중에 해당 서비스에 대한 개인정보 자기통제권을 행사하기 쉽다. 최 교수도 LLM이 서비스의 개인정보 처리방침을 해석하고 정형화해 사용자에게 핵심을 전달하고 동의를 구한 뒤 맞춤형으로 제공하는 방법을 연구 중이다.
최 교수는 “공공기관은 개인정보 ‘활용’과 ‘보호’ 사이에 있어 적정 가이드라인을 만들고 이에 기반한 AI 서비스가 개발되도록 지도해야 한다”며 “보안업계나 서비스 제공자가 가이드라인을 벗어났을 때 제재 방안도 필요하다”고 말했다. 이어 “서비스 제공자는 개인정보 안전에 기반한 서비스가 사용자 확보로 이어지는 것을 깨달아야 한다”며 “보안업계는 LLM과 온디바이스 AI 등 트렌드에 따라 늘어나는 개인정보 위협 가능성에 경각심을 줄 필요가 있다”고 말했다.
최대선 교수는 이어 “현재는 딥페이크 방지 기술을 중점적으로 연구하고 있는데, 딥보이스는 기술적 처리를 거치면 악용 위협에서 최대한 보호 가능할 것”이라며 “해당 기술이 매우 가치 있다는 생각에 연구에 매진중”이라고 강조했다. 최 교수는 올해 말에 해당 기술 개발이 완료돼 기술 이전이나 판매 등이 가능할 것으로 예상했다.
[김영명 기자(boan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
김영명기자 기사보기
[2024-12-19] 
