생성형 AI, 수 초 내 최소 30원 수준으로 개인정보 수집..95.9% 정확도 자랑
KAIST 연구팀 “챗GPT 등 AI 에이전트에 보안장치 필요”
[보안뉴스 박은주 기자] KAIST가 LLM 에이전트를 이용한 개인정보 탈취 가능성을 입증했다.
24일 한국과학기술원(KAIST·총장 이광형)은 거대언어모델(LLM) 에이전트가 개인정보 수집 및 피싱 공격 등에 활용될 가능성을 실험적으로 규명했다고 발표했다.
최근 인공지능(AI) 기술 발전으로 챗GPT 등 LLM이 자율적인 AI 에이전트로 발전하고 있다. AI 에이전트는 사람 개입 없이 문제 해결을 위한 의사 결정을 자율적으로 수행하는 AI를 말한다.
구글이 최근 AI에 관한 윤리 지침에서 AI 기술을 무기나 감시 용도로 사용하지 않는다는 조항을 삭제하면서 LLM 에이전트의 기술 악용 가능성에 대해 논란이 일기도 했다.
LLM 에이전트는 웹 기반 도구와 결합해 실시간으로 정보를 검색·활용할 수 있는 강력한 기능을 가졌다. 이 기능은 사이버 공격 위험성을 높이는데, 예를 들어 웹에서 대량 개인식별정보(PII)를 수집하거나 특정 인물을 사칭해 잘못된 정보를 퍼뜨릴 수 있다.
KAIST의 신승원 전기 및 전자공학부 교수와 이민기 김재철AI대학원 교수 공동연구팀은 상용 LLM 서비스가 자체 탑재한 방어 기법을 우회해 사이버 공격을 수행할 수 있음을 밝혀냈다.
챗GPT와 클로드, 제미니 등 상용 LLM 모델을 사용해 주요 대학 컴퓨터과 교수들 개인식별정보를 자동 수집하는 테스트를 진행했다. 그 결과 평균 5∼20초 내 30∼60원 수준의 비용으로 목표 대상 개인정보를 최대 95.9% 정확도로 수집할 수 있었다. 기존 공격자보다 적은 노력을 월등히 빠른 속도로 공격할 수 있는 것이다.
또 LLM 에이전트가 저명한 교수를 사칭해 허위 게시글을 생성하도록 한 실험에서 최대 93.9%가 진짜 같다는 평가를 받았다.
대상자 이메일을 주소만 입력하면 맞춤형 피싱 이메일을 생성할 수 있고, 피싱 이메일 링크 클릭률은 최대 46.7%로 기존 피싱 공격 대비 매우 높았다.
김한나 제1 저자 연구원은 “LLM에 주어지는 능력이 많아질수록 사이버 공격 위협이 기하급수적으로 커진다”며 “LLM 에이전트의 능력을 고려한 보안 장치가 필요하다”고 말했다.
신승원 교수는 “LLM 서비스 제공업체 및 연구기관과 협력해 보안 대책을 논의할 계획”이라고 밝혔다.
[박은주 기자(boan5@boannews.com)]
KAIST 연구팀 “챗GPT 등 AI 에이전트에 보안장치 필요”
[보안뉴스 박은주 기자] KAIST가 LLM 에이전트를 이용한 개인정보 탈취 가능성을 입증했다.
▲(윗줄 왼쪽부터) 나승호 박사, 이기민 교수, 김한나 연구원, 신승원 교수, 송민규 연구원 [자료: KAIST]
24일 한국과학기술원(KAIST·총장 이광형)은 거대언어모델(LLM) 에이전트가 개인정보 수집 및 피싱 공격 등에 활용될 가능성을 실험적으로 규명했다고 발표했다.
최근 인공지능(AI) 기술 발전으로 챗GPT 등 LLM이 자율적인 AI 에이전트로 발전하고 있다. AI 에이전트는 사람 개입 없이 문제 해결을 위한 의사 결정을 자율적으로 수행하는 AI를 말한다.
구글이 최근 AI에 관한 윤리 지침에서 AI 기술을 무기나 감시 용도로 사용하지 않는다는 조항을 삭제하면서 LLM 에이전트의 기술 악용 가능성에 대해 논란이 일기도 했다.
LLM 에이전트는 웹 기반 도구와 결합해 실시간으로 정보를 검색·활용할 수 있는 강력한 기능을 가졌다. 이 기능은 사이버 공격 위험성을 높이는데, 예를 들어 웹에서 대량 개인식별정보(PII)를 수집하거나 특정 인물을 사칭해 잘못된 정보를 퍼뜨릴 수 있다.
KAIST의 신승원 전기 및 전자공학부 교수와 이민기 김재철AI대학원 교수 공동연구팀은 상용 LLM 서비스가 자체 탑재한 방어 기법을 우회해 사이버 공격을 수행할 수 있음을 밝혀냈다.
챗GPT와 클로드, 제미니 등 상용 LLM 모델을 사용해 주요 대학 컴퓨터과 교수들 개인식별정보를 자동 수집하는 테스트를 진행했다. 그 결과 평균 5∼20초 내 30∼60원 수준의 비용으로 목표 대상 개인정보를 최대 95.9% 정확도로 수집할 수 있었다. 기존 공격자보다 적은 노력을 월등히 빠른 속도로 공격할 수 있는 것이다.
▲클로드가 마크 저커버그 메타 CEO 이메일 주소를 활용해 작성한 피싱 이메일. [자료: KAIST]
대상자 이메일을 주소만 입력하면 맞춤형 피싱 이메일을 생성할 수 있고, 피싱 이메일 링크 클릭률은 최대 46.7%로 기존 피싱 공격 대비 매우 높았다.
김한나 제1 저자 연구원은 “LLM에 주어지는 능력이 많아질수록 사이버 공격 위협이 기하급수적으로 커진다”며 “LLM 에이전트의 능력을 고려한 보안 장치가 필요하다”고 말했다.
신승원 교수는 “LLM 서비스 제공업체 및 연구기관과 협력해 보안 대책을 논의할 계획”이라고 밝혔다.
[박은주 기자(boan5@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
박은주기자 기사보기
[2025-02-24] 
.jpg)
.jpg)
