임종인 사이버특보, 방어 측면에서 AI를 효과적으로 활용할 수 있는 방안 마련해야
생성형 AI 모델 취약점을 자동으로 빨리 찾고, 자동 패치하는 기술개발 필요
[보안뉴스 김경애 기자] 공격과 방어 모두 활용될 수 있는 생성형 AI 기술. 잘만 활용하면 보안의 효율성을 높여주는 반면, 악용될 경우 엄청난 피해를 야기할 수 있다. 이에 따라 양날의 검인 생성형 AI를 효율적으로 활용하기 위한 방안 마련이 중요해지고 있다.
임종인 대통령 사이버특별보좌관은 ‘CSK 2024’에서 공격과 방어가 가능한 생성형 AI에 대해 “생성형 AI 기술은 공격, 방어 모두 사용될 수 있는 중립된 기술”이라며 “AI 기술은 아직 보안 취약점이 있지만, 지속적인 개선을 통해 방어 측면에서 AI를 잘 활용할 수 있는 방안을 마련해야 한다”고 강조했다.
특히 생성형 AI를 활용해 취약점을 자동으로 찾고, 자동으로 패치하는 기술 개발이 필요하다는 의견이 제기됐다. 이러한 가운데 생성형 BERT AI를 활용해 다크웹 등에서 원하는 정보를 찾아내는 연구 사례가 제시돼 이목이 집중됐다.
카이스트 전기및전자공학부 신승원 교수는 사이버 공격 현황과 관련해 “이제는 사이버 공격이 어렵지 않게 됐다”며 “다크웹 등에서 공격하고 싶은 기업의 정보를 손쉽게 구매해 공격하거나 소셜 엔지니어링을 통해 정보를 1차로 얻어 사칭 공격을 수행하는 등 사이버 공격이 쉬워졌다”고 말했다.
그러면서 생성형 BERT AI를 활용한 보안 연구사례를 소개했다. 2021년부터 수집한 600만개 이상의 다크웹 데이터를 BERT AI를 이용해 사전 학습시킨 결과, 랜섬웨어 사이트를 찾아내는 정확도가 84.7%에 달했다고 설명했다.
신 교수는 “일반 언어를 사용하는 AI 모델은 해시, URL, IP 주소 등 보안관점에서 필요한 정보를 제외시킨다”며 “일반 언어가 아니기 때문에 제외시키는 것으로는 학습에 한계가 있다. 하지만 BERT AI 모델을 보안 관점에서 필요한 정보를 별도로 학습시키면 유용하게 활용할 수 있다”고 설명했다.
그러면서 신 교수는 “또한 LLM, SLM 모델을 사이버 보안에 유용하게 활용하기 위해서는 필요로 하는 분야의 전문지식을 학습시키고, 각 필드에 맞는 도메인별 언어 모델과 사이버 보안을 위한 전문 모델을 갖춰야 한다”고 말했다.
연세대학교 정보대학원 권태경 교수는 생성형 AI의 보안 위협을 제시했다. 권태경 교수는 “생성형 AI에 프롬프트 명령어를 줄 수 있고, 정보를 가져오는 사이에 해킹될 수 있는 등 다양한 보안 위협이 존재한다”며 “주요 보안 위협으로는 명령 실행 공격인 프롬프트 주입(Prompt Injecton) 공격, 생성형 AI가 학습된 데이터에서 기밀정보나 개인정보를 빼낼 수 있는 데이터 추출 공격, 데이터 추출을 막기 위한 가드를 우회하는 Jailbreaking을 통한 악용 공격 등이 있다”고 말했다.
이어 권 교수는 “기술적으로는 다양한 대응방안이 필요하지만 실용적으로 적용하기 어려운 경우가 있다”며 “현재로서는 생성형 AI 모델의 취약점을 자동으로 빨리 찾고, 자동으로 패치하는 고도화된 기술이 필요하다”고 강조했다.
[김경애 기자(boan3@boannews.com)]
생성형 AI 모델 취약점을 자동으로 빨리 찾고, 자동 패치하는 기술개발 필요
[보안뉴스 김경애 기자] 공격과 방어 모두 활용될 수 있는 생성형 AI 기술. 잘만 활용하면 보안의 효율성을 높여주는 반면, 악용될 경우 엄청난 피해를 야기할 수 있다. 이에 따라 양날의 검인 생성형 AI를 효율적으로 활용하기 위한 방안 마련이 중요해지고 있다.
▲‘CSK 2024’에서 강연하고 있는 카이스트 전기및전자공학부 신승원 교수[사진=보안뉴스]
임종인 대통령 사이버특별보좌관은 ‘CSK 2024’에서 공격과 방어가 가능한 생성형 AI에 대해 “생성형 AI 기술은 공격, 방어 모두 사용될 수 있는 중립된 기술”이라며 “AI 기술은 아직 보안 취약점이 있지만, 지속적인 개선을 통해 방어 측면에서 AI를 잘 활용할 수 있는 방안을 마련해야 한다”고 강조했다.
특히 생성형 AI를 활용해 취약점을 자동으로 찾고, 자동으로 패치하는 기술 개발이 필요하다는 의견이 제기됐다. 이러한 가운데 생성형 BERT AI를 활용해 다크웹 등에서 원하는 정보를 찾아내는 연구 사례가 제시돼 이목이 집중됐다.
카이스트 전기및전자공학부 신승원 교수는 사이버 공격 현황과 관련해 “이제는 사이버 공격이 어렵지 않게 됐다”며 “다크웹 등에서 공격하고 싶은 기업의 정보를 손쉽게 구매해 공격하거나 소셜 엔지니어링을 통해 정보를 1차로 얻어 사칭 공격을 수행하는 등 사이버 공격이 쉬워졌다”고 말했다.
그러면서 생성형 BERT AI를 활용한 보안 연구사례를 소개했다. 2021년부터 수집한 600만개 이상의 다크웹 데이터를 BERT AI를 이용해 사전 학습시킨 결과, 랜섬웨어 사이트를 찾아내는 정확도가 84.7%에 달했다고 설명했다.
신 교수는 “일반 언어를 사용하는 AI 모델은 해시, URL, IP 주소 등 보안관점에서 필요한 정보를 제외시킨다”며 “일반 언어가 아니기 때문에 제외시키는 것으로는 학습에 한계가 있다. 하지만 BERT AI 모델을 보안 관점에서 필요한 정보를 별도로 학습시키면 유용하게 활용할 수 있다”고 설명했다.
그러면서 신 교수는 “또한 LLM, SLM 모델을 사이버 보안에 유용하게 활용하기 위해서는 필요로 하는 분야의 전문지식을 학습시키고, 각 필드에 맞는 도메인별 언어 모델과 사이버 보안을 위한 전문 모델을 갖춰야 한다”고 말했다.
▲‘CSK 2024’에서 강연하고 있는 연세대학교 정보대학원 권태경 교수[사진=보안뉴스]
연세대학교 정보대학원 권태경 교수는 생성형 AI의 보안 위협을 제시했다. 권태경 교수는 “생성형 AI에 프롬프트 명령어를 줄 수 있고, 정보를 가져오는 사이에 해킹될 수 있는 등 다양한 보안 위협이 존재한다”며 “주요 보안 위협으로는 명령 실행 공격인 프롬프트 주입(Prompt Injecton) 공격, 생성형 AI가 학습된 데이터에서 기밀정보나 개인정보를 빼낼 수 있는 데이터 추출 공격, 데이터 추출을 막기 위한 가드를 우회하는 Jailbreaking을 통한 악용 공격 등이 있다”고 말했다.
이어 권 교수는 “기술적으로는 다양한 대응방안이 필요하지만 실용적으로 적용하기 어려운 경우가 있다”며 “현재로서는 생성형 AI 모델의 취약점을 자동으로 빨리 찾고, 자동으로 패치하는 고도화된 기술이 필요하다”고 강조했다.
[김경애 기자(boan3@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
김경애기자 기사보기
[2024-12-19] 
