인공지능으로 생산성을 높이고 있는 부류들 중에 해커가 있다. 인공지능의 악용이 얼마든지 가능하다는 건데, 그래서 인공지능 개발사들은 레드팀 도구들까지 하나 둘 공개하고 있는 상황이다. 이번 블랙햇에서도 무료 도구가 하나 나왔다.
[보안뉴스 문가용 기자] 대 인공지능 경쟁의 시대에 내로라 하는 기업들마다 인공지능 서비스를 시장에 내놓고 있다. 그 중 선두 그룹에 포함되어 있는 건 마이크로소프트(Microsoft)의 코파일럿(Copilot)이라고 할 수 있다. MS는 자사 인공지능을 활용하면 생산성이 높아진다는 것을 셀링포인트로 삼고 있는데, 그러면서 코파일럿이 접목된 여러 가지 노트북 제품이 나오는 중이다. 실제 생산성이 높아지고 있다는 소식들도 나오고 있기는 한데, 대부분 공격자들에서부터라서 문제다.
이번 주 개최된 사이버 보안 행사 블랙햇(Black Hat)에 마이크로소프트 애저 부문의 CTO였으며 지금은 제니티(Zenity)라는 보안 기업의 공동 창립자인 마이클 바거리(Michael Bargury)가 나와 “코파일럿을 사이버 공격자들이 활용하는 방법들”에 대하여 강의했다. 주로 자료 검색, 흔적을 남기지 않고 데이터 유출시키기, 소셜엔지니어링 등에 활용된다고 그는 강연장에서 설명했다. 인공지능으로 인해 새로워진 공격 수법이 등장한 건 아니지만, 기존에 하던 것들이 훨씬 예리하고 날카롭게 변모하고 있다는 게 그의 설명이었다.
레드팀 도구 공개
강연을 통해 바거리는 레드팀을 위한 도구를 공개하기도 했다. 이름은 롤코파일롯(LOLCopilot)이며, 다음 깃허브 리포지터리(https://github.com/mbrg/power-pwn)를 통해 누구나 열람할 수 있다. 파워폰(powerpwn)이라는 모의 해킹 도구에 장착시켜 사용하는 모듈이다. MS 코파일럿, 코파일럿 스튜디오, 파워플랫폼을 위해 설계된 도구라고 한다. “프롬프트 주입 공격을 통해 봇 혹은 코파일럿이 어떤 식으로 변경되는지를 보여줄 수 있는 도구입니다.”
프롬프트 주입 공격이란, 인공지능을 농락하는 방법 중 하나인데, 크게 두 가지로 나뉘어져 있다. 바거리에 의하면 하나는 직접 프롬프트 주입 공격이고, 다른 하나는 간접 프롬프트 주입 공격이다. “전자는 공격자가 챗봇의 프롬프트 창에 여러 가지 질문을 교묘하게 입력하여 탈옥하는 것이고, 후자는 인공지능 모델의 기반이 되는 데이터셋을 오염시키는 것을 말합니다.”
파워폰의 롤코파일롯 모듈을 활용하면 직접 프롬프트 주입 공격을 코파일럿을 대상으로 할 수 있고, 탈옥에까지 이를 수 있다고 한다. “당신이 코파일럿을 사용해 하려 하는 게 무엇이든 제가 조작하고 방해할 수 있습니다. 인공지능이 당신도 모르게 오작동하여 오답을 내도록 유도할 수도 있고요. 심지어 이번에 공개하는 도구를 사용하여 이런 공격을 실시하면 탐지도 되지 않습니다. 지금 인공지능이 낸 답변이 잘못됐다는 힌트는 어디에도 없는 것이죠.”
원격 코드 실행? 이제는 원격 코파일럿 실행
보안 업계에는 RCE 공격이라는 용어가 존재한다. Remote Code Execution 즉 원격 코드 실행의 준말이다. 공격자가 원격에서 코드를 실행시킬 수 있을 정도라면 매우 심각한 상황이라고 할 수 있고, RCE 공격을 유발하는 취약점은 대개 초고위험도로 분류된다. 바거리는 이 중 C 즉 code에 해당하는 부분을 코파일럿의 C로 대체하여 “원격 코파일럿 실행 공격도 가능하다”고 강연을 통해 주장했다. “코파일럿은 코드를 실행하지 않습니다. 하지만 사용자의 다양한 요청이나 명령을 수행할 수는 있죠. 질문에 답할 수도 있고요.”
원격에서 코파일럿을 실행시킬 경우 공격자는 무엇을 얻어갈 수 있을까? 바거리는 “코파일럿과 피해자가 하는 대화를 기록으로 남길 수도 있고, 사용자의 입력값을 어디론가 빼돌릴 수도 있으며, 심지어 코파일럿이 피해자에게 엉뚱한 답을 내놓도록 조작할 수도 있다”고 강연을 통해 설명을 이어갔다. “앱이나 파일을 어딘가에 저장해 둘 수도 있고요. 코파일럿을 어떤 식으로 조작하느냐에 따라 ‘원격 코파일럿 실행’ 공격은 ‘원격 코드 실행’ 공격보다 더 큰 피해를 안길 수도 있습니다. 은행 정보를 변경시킬 수도 있고, 피해자가 가진 내부 정보를 미리 빼돌려 주식 거래를 유리한 상황에서 하게 될 수도 있고, 크리덴셜을 긁어 모을 수도 있습니다.”
그 외에도 이미 세상에는 보안 레드팀들이 인공지능 기반 시스템들을 대상으로 한 레드팀 도구들이 존재한다. 생성형 인공지능 시스템들이 내포하고 있는 위험들을 발견하게 해 주는 오픈소스 프레임워크 파이릿(PyRIT)과, 크레센도 공격을 자동화 해주는 크레센도메이션(Crescendomation)이 현 시점에서는 독보적이라고 할 수 있다. 인공지능의 취약점을 스캔하는 도구들도 하나 둘 나오고 있는 상황이다.
3줄 요약
1. 인공지능이 위험할 수 있는 이유, 점점 다양해지는 중.
2. 레드팀들을 위한 모의 해킹 도구들도 나와 인공지능 공격이 편리해짐.
3. 인공지능을 대상으로 한 취약점 스캔 도구도 나오는 중.
[국제부 문가용 기자(globoan@boannews.com)]
[보안뉴스 문가용 기자] 대 인공지능 경쟁의 시대에 내로라 하는 기업들마다 인공지능 서비스를 시장에 내놓고 있다. 그 중 선두 그룹에 포함되어 있는 건 마이크로소프트(Microsoft)의 코파일럿(Copilot)이라고 할 수 있다. MS는 자사 인공지능을 활용하면 생산성이 높아진다는 것을 셀링포인트로 삼고 있는데, 그러면서 코파일럿이 접목된 여러 가지 노트북 제품이 나오는 중이다. 실제 생산성이 높아지고 있다는 소식들도 나오고 있기는 한데, 대부분 공격자들에서부터라서 문제다.
[이미지 = gettyimagesbank]
이번 주 개최된 사이버 보안 행사 블랙햇(Black Hat)에 마이크로소프트 애저 부문의 CTO였으며 지금은 제니티(Zenity)라는 보안 기업의 공동 창립자인 마이클 바거리(Michael Bargury)가 나와 “코파일럿을 사이버 공격자들이 활용하는 방법들”에 대하여 강의했다. 주로 자료 검색, 흔적을 남기지 않고 데이터 유출시키기, 소셜엔지니어링 등에 활용된다고 그는 강연장에서 설명했다. 인공지능으로 인해 새로워진 공격 수법이 등장한 건 아니지만, 기존에 하던 것들이 훨씬 예리하고 날카롭게 변모하고 있다는 게 그의 설명이었다.
레드팀 도구 공개
강연을 통해 바거리는 레드팀을 위한 도구를 공개하기도 했다. 이름은 롤코파일롯(LOLCopilot)이며, 다음 깃허브 리포지터리(https://github.com/mbrg/power-pwn)를 통해 누구나 열람할 수 있다. 파워폰(powerpwn)이라는 모의 해킹 도구에 장착시켜 사용하는 모듈이다. MS 코파일럿, 코파일럿 스튜디오, 파워플랫폼을 위해 설계된 도구라고 한다. “프롬프트 주입 공격을 통해 봇 혹은 코파일럿이 어떤 식으로 변경되는지를 보여줄 수 있는 도구입니다.”
프롬프트 주입 공격이란, 인공지능을 농락하는 방법 중 하나인데, 크게 두 가지로 나뉘어져 있다. 바거리에 의하면 하나는 직접 프롬프트 주입 공격이고, 다른 하나는 간접 프롬프트 주입 공격이다. “전자는 공격자가 챗봇의 프롬프트 창에 여러 가지 질문을 교묘하게 입력하여 탈옥하는 것이고, 후자는 인공지능 모델의 기반이 되는 데이터셋을 오염시키는 것을 말합니다.”
파워폰의 롤코파일롯 모듈을 활용하면 직접 프롬프트 주입 공격을 코파일럿을 대상으로 할 수 있고, 탈옥에까지 이를 수 있다고 한다. “당신이 코파일럿을 사용해 하려 하는 게 무엇이든 제가 조작하고 방해할 수 있습니다. 인공지능이 당신도 모르게 오작동하여 오답을 내도록 유도할 수도 있고요. 심지어 이번에 공개하는 도구를 사용하여 이런 공격을 실시하면 탐지도 되지 않습니다. 지금 인공지능이 낸 답변이 잘못됐다는 힌트는 어디에도 없는 것이죠.”
원격 코드 실행? 이제는 원격 코파일럿 실행
보안 업계에는 RCE 공격이라는 용어가 존재한다. Remote Code Execution 즉 원격 코드 실행의 준말이다. 공격자가 원격에서 코드를 실행시킬 수 있을 정도라면 매우 심각한 상황이라고 할 수 있고, RCE 공격을 유발하는 취약점은 대개 초고위험도로 분류된다. 바거리는 이 중 C 즉 code에 해당하는 부분을 코파일럿의 C로 대체하여 “원격 코파일럿 실행 공격도 가능하다”고 강연을 통해 주장했다. “코파일럿은 코드를 실행하지 않습니다. 하지만 사용자의 다양한 요청이나 명령을 수행할 수는 있죠. 질문에 답할 수도 있고요.”
원격에서 코파일럿을 실행시킬 경우 공격자는 무엇을 얻어갈 수 있을까? 바거리는 “코파일럿과 피해자가 하는 대화를 기록으로 남길 수도 있고, 사용자의 입력값을 어디론가 빼돌릴 수도 있으며, 심지어 코파일럿이 피해자에게 엉뚱한 답을 내놓도록 조작할 수도 있다”고 강연을 통해 설명을 이어갔다. “앱이나 파일을 어딘가에 저장해 둘 수도 있고요. 코파일럿을 어떤 식으로 조작하느냐에 따라 ‘원격 코파일럿 실행’ 공격은 ‘원격 코드 실행’ 공격보다 더 큰 피해를 안길 수도 있습니다. 은행 정보를 변경시킬 수도 있고, 피해자가 가진 내부 정보를 미리 빼돌려 주식 거래를 유리한 상황에서 하게 될 수도 있고, 크리덴셜을 긁어 모을 수도 있습니다.”
그 외에도 이미 세상에는 보안 레드팀들이 인공지능 기반 시스템들을 대상으로 한 레드팀 도구들이 존재한다. 생성형 인공지능 시스템들이 내포하고 있는 위험들을 발견하게 해 주는 오픈소스 프레임워크 파이릿(PyRIT)과, 크레센도 공격을 자동화 해주는 크레센도메이션(Crescendomation)이 현 시점에서는 독보적이라고 할 수 있다. 인공지능의 취약점을 스캔하는 도구들도 하나 둘 나오고 있는 상황이다.
3줄 요약
1. 인공지능이 위험할 수 있는 이유, 점점 다양해지는 중.
2. 레드팀들을 위한 모의 해킹 도구들도 나와 인공지능 공격이 편리해짐.
3. 인공지능을 대상으로 한 취약점 스캔 도구도 나오는 중.
[국제부 문가용 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-10-31] 
