.jpg)
현대의 인공지능 기술은 이제 충분히 발전해 취약점의 간단한 익스플로잇까지도 가능하게 됐다. 앞으로 나올 인공지능은 더 뛰어나게 발전할 것인데, 우리에게는 딱히 막을 방법이 없다.
[보안뉴스=네이트 넬슨 IT 칼럼니스트] GPT4라는 기술을 기반으로 한 인공지능 에이전트들의 취약점 익스플로잇 능력이 상당한 수준이라는 고발이 나왔다. 온라인에 공개된 취약점 정보를 읽어들이는 것만으로도 익스플로잇을 구사할 수 있다고 한다. 즉 아무도 발견하지 못한 취약점을 새롭게 발견하는 데에까지는 아직 수준이 이르지 못했지만 이미 공개된 취약점이면 뚝딱 익스플로잇 할 수 있다는 것이다.
이러한 GPT4의 강력함을 먼저 발견해 세상에 알린 건 일리노이즈주립대학 어바나샴페인(UIUC) 캠퍼스의 연구원들이다. 인공지능이 현대 IT 시스템들을 위협할 것이라는 우려 섞인 전망과 달리 지난 18개월 동안 실질적인 위협들은 자주 나오지 않았었다. 나와봐야 대형 언어 모델을 활용해 좀 더 그럴 듯한 피싱 메일을 쓰거나, 사람이 만든 것과는 비교도 되지 않을 정도로 조잡한 수준의 멀웨어를 실험실 환경에서 만들어낸 것 정도였다. 그런 가운데 ‘공개된 취약점에 대한 익스플로잇이 매우 빠르다’는 연구 결과가 나온 것으로, 이는 실질적인 위협으로 발전할 가능성이 높다.
이번 연구에 참여한 연구원 중 한 명인 다니엘 강(Daniel Kang)은 “진짜 문제는 인공지능의 이러한 특성이 작지 않은 위협인 것이 분명하지만 어떻게 막아야 할지 아직 알 수 없다는 것”이라고 지적한다. “인공지능이 취약점을 잘 파악하게 된다는 특성만 제거할 수는 없겠죠. 게다가 인공지능은 더욱 발전할 것이고요. 그러므로 우리가 이번에 파악한 이 위협은 앞으로 더 큰 문제로 발전할 것입니다. 알고도 막을 수 없는 위협이라는 것입니다.”
GPT4와 CVE
UIUC의 연구원들은 “대형 언어 모델이 실험실 환경이 아니라 실제 환경에서도 위협이 될 수 있을까” 연구하기 위해 공격을 실시할 수 있는 대형 언어 모델 에이전트를 구성했다. “총 네 개의 요소로 만들었습니다. 프롬프트, 기본 바탕이 되는 대형 언어 모델, 프레임워크, 그 외 터미널과 코드 해석기와 같은 도구들이 바로 그것이죠. 프레임워크의 경우 이번 실험에서는 리액트(ReAct)를 사용했습니다.”
에이전트를 구성한 후에는 이미 알려진 취약점 15개를 어떻게 공략하는지 실험했다. “웹사이트를 해킹할 수 있게 해 주는 취약점, 컨테이너 공략에 사용될 수 있는 취약점, 파이선 패키지에 영향을 주는 취약점 등 다양한 취약점들을 선정했습니다. 11개는 GPT4가 한창 훈련될 시기를 지나서 공개된 것이었습니다. 즉 GPT4가 훈련 과정에서 단 한 번도 접해보지 못했던 정보라는 뜻입니다.”
에이전트에게 주어진 정보는 취약점과 관련된 정보와 보안 권고문이었다. 그리고 주어진 임무는 그 취약점들을 익스플로잇 하라는 것이었다. 결과는 충격적이었다. GPT3.5와 라마 2 등 널리 알려진 모델 10가지를 실험했는데, 9개는 단 하나의 취약점도 익스플로잇 하지 못했다. 단 하나 GPT4만이 13개 취약점을 87%의 성공률로 익스플로잇 할 수 있었다.
“CVE-2024-25640이라는 4.6점짜리 취약점을 익스플로잇 하는 데 실패했는데, 그 이유는 해당 앱의 프로세스에서 나타난 오류를 인공지능이 처리하지 못했기 때문이었습니다. CVE-2023-51653이라는 취약점도 놓쳤는데, 이는 취약점 세부 내용이 중국어로 작성되어 있었기 때문인 것으로 분석됩니다. 즉 익스플로잇을 못해서 두 가지 취약점을 놓친 게 아니라 외부적인 요인에 의해서 실패한 것이죠. 상황이 달랐다면 성공했을 가능성이 높다고 봅니다.”
GPT4의 뛰어난 성적
연구원들은 “GPT4가 압도적으로 뛰어난 성적을 거두었는데, 아직 오픈AI가 훈련과 관련된 세부 내용을 하나도 공개하지 않고 있어서 그 이유를 확실히 알 수 없다”고 말한다. “물론 아직까지 패닉에 빠질 이유는 없습니다. 충분히 훈련된 인간 해커들도 충분히 할 수 있고, 이미 해온 일들이기 때문입니다. 인공지능이 완전히 새로운 지평을 연 것은 아닙니다. 그렇다는 건 우리가 잘 알고 있는 보안 기본 실천 사항들을 잘 지키면 GPT4가 아무리 취약점을 잘 익스플로잇 해도 실질적인 위협이 되지는 않을 거라는 뜻이 됩니다.”
하지만 연구원들의 그런 말은 현실적이지 않다. 실제 현장에서는 기본적인 보안 실천 사항이 잘 안 지켜지기 때문이다. “어쩌면 우리 연구의 의의는 ‘대형 언어 모델이 기가막히게 취약점 익스플로잇을 해내니, 취약점이 있다는 걸 알고도 패치를 하지 않던 옛 습관들은 정말로 더 이상 가지고 있을 수 없다’는 경각심을 심어주는 거 아닐까 합니다. 취약점을 익스플로잇 하는 게 사람이 아니라 기계라는 것, 그러므로 속도나 정확도가 높다는 것을 커다란 경고로 가져가야 합니다.”
역으로 생각하면, 이런 GPT4를 취약점 점검과 익스플로잇 시나리오 개발에 활용할 수도 있다. 즉 해커들의 입장이 되어 보안을 강화한다는 측면에서 활용 가능성이 있다는 것이다. 보안 연구실 엔도랩스(Endor Labs)의 연구원인 헨릭 플레이트(Henrik Plate)의 경우 구글의 버텍스(Vertex) 등을 활용해 오픈소스 소프트웨어들을 점검하는 실험을 진행했었다. 그 결과 여기에서도 GPT4가 가장 뛰어난 성적을 거두었다. 소스코드를 이해하기 쉽게 설명하고, 위험을 평가하여 점수를 매기는 임무를 가장 잘 수행한 것이다.
“하지만 완벽하지는 않았습니다. 따라서 전문가의 참여 없이 독립적으로 인공지능에 취약점 평가와 선제적 대처를 맡길 수는 없을 겁니다. 그렇지만 전문가의 좋은 조력자가 될 가능성은 충분해 보였습니다. 특히 난독화 처리된 멀웨어나 악성 코드를 식별해내고, 이를 이해하도록 돕는 데 있어 GPT4의 가능성은 무궁무진해 보였습니다. 다만 이런 식으로 위험을 미리, 능동적으로 찾아내 처리하는 관리 체계가 자리 잡혀있는 조직이어야 이런 활용과 연구가 가능하겠지요.”
글 : 네이트 넬슨(Nate Nelson), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
[보안뉴스=네이트 넬슨 IT 칼럼니스트] GPT4라는 기술을 기반으로 한 인공지능 에이전트들의 취약점 익스플로잇 능력이 상당한 수준이라는 고발이 나왔다. 온라인에 공개된 취약점 정보를 읽어들이는 것만으로도 익스플로잇을 구사할 수 있다고 한다. 즉 아무도 발견하지 못한 취약점을 새롭게 발견하는 데에까지는 아직 수준이 이르지 못했지만 이미 공개된 취약점이면 뚝딱 익스플로잇 할 수 있다는 것이다.
[이미지 = gettyimagesbank]
이러한 GPT4의 강력함을 먼저 발견해 세상에 알린 건 일리노이즈주립대학 어바나샴페인(UIUC) 캠퍼스의 연구원들이다. 인공지능이 현대 IT 시스템들을 위협할 것이라는 우려 섞인 전망과 달리 지난 18개월 동안 실질적인 위협들은 자주 나오지 않았었다. 나와봐야 대형 언어 모델을 활용해 좀 더 그럴 듯한 피싱 메일을 쓰거나, 사람이 만든 것과는 비교도 되지 않을 정도로 조잡한 수준의 멀웨어를 실험실 환경에서 만들어낸 것 정도였다. 그런 가운데 ‘공개된 취약점에 대한 익스플로잇이 매우 빠르다’는 연구 결과가 나온 것으로, 이는 실질적인 위협으로 발전할 가능성이 높다.
이번 연구에 참여한 연구원 중 한 명인 다니엘 강(Daniel Kang)은 “진짜 문제는 인공지능의 이러한 특성이 작지 않은 위협인 것이 분명하지만 어떻게 막아야 할지 아직 알 수 없다는 것”이라고 지적한다. “인공지능이 취약점을 잘 파악하게 된다는 특성만 제거할 수는 없겠죠. 게다가 인공지능은 더욱 발전할 것이고요. 그러므로 우리가 이번에 파악한 이 위협은 앞으로 더 큰 문제로 발전할 것입니다. 알고도 막을 수 없는 위협이라는 것입니다.”
GPT4와 CVE
UIUC의 연구원들은 “대형 언어 모델이 실험실 환경이 아니라 실제 환경에서도 위협이 될 수 있을까” 연구하기 위해 공격을 실시할 수 있는 대형 언어 모델 에이전트를 구성했다. “총 네 개의 요소로 만들었습니다. 프롬프트, 기본 바탕이 되는 대형 언어 모델, 프레임워크, 그 외 터미널과 코드 해석기와 같은 도구들이 바로 그것이죠. 프레임워크의 경우 이번 실험에서는 리액트(ReAct)를 사용했습니다.”
에이전트를 구성한 후에는 이미 알려진 취약점 15개를 어떻게 공략하는지 실험했다. “웹사이트를 해킹할 수 있게 해 주는 취약점, 컨테이너 공략에 사용될 수 있는 취약점, 파이선 패키지에 영향을 주는 취약점 등 다양한 취약점들을 선정했습니다. 11개는 GPT4가 한창 훈련될 시기를 지나서 공개된 것이었습니다. 즉 GPT4가 훈련 과정에서 단 한 번도 접해보지 못했던 정보라는 뜻입니다.”
에이전트에게 주어진 정보는 취약점과 관련된 정보와 보안 권고문이었다. 그리고 주어진 임무는 그 취약점들을 익스플로잇 하라는 것이었다. 결과는 충격적이었다. GPT3.5와 라마 2 등 널리 알려진 모델 10가지를 실험했는데, 9개는 단 하나의 취약점도 익스플로잇 하지 못했다. 단 하나 GPT4만이 13개 취약점을 87%의 성공률로 익스플로잇 할 수 있었다.
“CVE-2024-25640이라는 4.6점짜리 취약점을 익스플로잇 하는 데 실패했는데, 그 이유는 해당 앱의 프로세스에서 나타난 오류를 인공지능이 처리하지 못했기 때문이었습니다. CVE-2023-51653이라는 취약점도 놓쳤는데, 이는 취약점 세부 내용이 중국어로 작성되어 있었기 때문인 것으로 분석됩니다. 즉 익스플로잇을 못해서 두 가지 취약점을 놓친 게 아니라 외부적인 요인에 의해서 실패한 것이죠. 상황이 달랐다면 성공했을 가능성이 높다고 봅니다.”
GPT4의 뛰어난 성적
연구원들은 “GPT4가 압도적으로 뛰어난 성적을 거두었는데, 아직 오픈AI가 훈련과 관련된 세부 내용을 하나도 공개하지 않고 있어서 그 이유를 확실히 알 수 없다”고 말한다. “물론 아직까지 패닉에 빠질 이유는 없습니다. 충분히 훈련된 인간 해커들도 충분히 할 수 있고, 이미 해온 일들이기 때문입니다. 인공지능이 완전히 새로운 지평을 연 것은 아닙니다. 그렇다는 건 우리가 잘 알고 있는 보안 기본 실천 사항들을 잘 지키면 GPT4가 아무리 취약점을 잘 익스플로잇 해도 실질적인 위협이 되지는 않을 거라는 뜻이 됩니다.”
하지만 연구원들의 그런 말은 현실적이지 않다. 실제 현장에서는 기본적인 보안 실천 사항이 잘 안 지켜지기 때문이다. “어쩌면 우리 연구의 의의는 ‘대형 언어 모델이 기가막히게 취약점 익스플로잇을 해내니, 취약점이 있다는 걸 알고도 패치를 하지 않던 옛 습관들은 정말로 더 이상 가지고 있을 수 없다’는 경각심을 심어주는 거 아닐까 합니다. 취약점을 익스플로잇 하는 게 사람이 아니라 기계라는 것, 그러므로 속도나 정확도가 높다는 것을 커다란 경고로 가져가야 합니다.”
역으로 생각하면, 이런 GPT4를 취약점 점검과 익스플로잇 시나리오 개발에 활용할 수도 있다. 즉 해커들의 입장이 되어 보안을 강화한다는 측면에서 활용 가능성이 있다는 것이다. 보안 연구실 엔도랩스(Endor Labs)의 연구원인 헨릭 플레이트(Henrik Plate)의 경우 구글의 버텍스(Vertex) 등을 활용해 오픈소스 소프트웨어들을 점검하는 실험을 진행했었다. 그 결과 여기에서도 GPT4가 가장 뛰어난 성적을 거두었다. 소스코드를 이해하기 쉽게 설명하고, 위험을 평가하여 점수를 매기는 임무를 가장 잘 수행한 것이다.
“하지만 완벽하지는 않았습니다. 따라서 전문가의 참여 없이 독립적으로 인공지능에 취약점 평가와 선제적 대처를 맡길 수는 없을 겁니다. 그렇지만 전문가의 좋은 조력자가 될 가능성은 충분해 보였습니다. 특히 난독화 처리된 멀웨어나 악성 코드를 식별해내고, 이를 이해하도록 돕는 데 있어 GPT4의 가능성은 무궁무진해 보였습니다. 다만 이런 식으로 위험을 미리, 능동적으로 찾아내 처리하는 관리 체계가 자리 잡혀있는 조직이어야 이런 활용과 연구가 가능하겠지요.”
글 : 네이트 넬슨(Nate Nelson), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-05-01] 
