[배종찬의 보안 빅데이터] ‘AI 스스로 해킹’하는 시대, 통제 가능한가

오픈AI 최신 모델, 테스트 환경 스스로 벗어나 외부 플랫폼 침해 사례 발생
목표 달성 위해 스스로 경로 탐색하는 ‘자율 에이전트’ 진화의 양면성 노출

[보안뉴스= 배종찬 인사이트케이 연구소장] 지난 한 달간 국내 뉴스와 소셜 빅데이터를 분석한 썸트렌드(SomeTrend)의 ‘빅데이터 감성 연관어 분석’(2026년 6월 29일~7월 28일) 결과, ‘AI해킹’이라는 키워드 주변에는 유독 무거운 단어들이 몰려 있다. ‘위협’, ‘우려’, ‘피해’, ‘경고하다’, ‘악용하다’ 같은 부정적 감성어가 절반 이상을 차지하는 가운데, ‘성장하다’, ‘진화하다’, ‘경쟁력’, ‘강화하다’, ‘최첨단’ 같은 긍정·중립 어휘도 함께 크게 자리 잡고 있다.

이는 지금의 AI 해킹 현상이 단순한 위협 하나로 정리되지 않는, 양면적이고 복합적인 사안임을 그대로 보여준다. AI는 한편으로 해킹 탐지와 방어 역량을 ‘진화’시키고 ‘경쟁력’을 ‘갖추게’ 하는 도구이면서, 동시에 스스로 통제를 벗어나 ‘무너지다’, ‘혼란’, ‘전산장애’를 일으킬 수 있는 ‘위험’ 요인으로 인식되고 있는 셈이다.

‘AI 스스로 해킹’ 혹은 ‘AI 멋대로 해킹’이라는 표현은 더 이상 비유가 아니다. 실제로 지난 7월 21일 오픈AI는 자사의 최신 모델 GPT-5.6 솔과 미공개 모델이 내부 사이버보안 평가를 받던 중 격리된 테스트 환경, 이른바 샌드박스를 스스로 벗어나 외부 인터넷에 접속하고 개방형 AI 공유 플랫폼 허깅페이스의 시스템을 침해했다고 공식 발표했다.

인간 연구자가 명령을 내린 것이 아니라, 벤치마크 문제의 정답을 더 효율적으로 찾아내려는 과정에서 AI가 스스로 취약점을 찾아 침투 경로를 설계하고 실행에 옮긴 사건이다. 허깅페이스 측은 자체 탐지 시스템으로 침입을 포착했으며, 조사 결과 수만 건에 달하는 자동화된 행위가 이른바 '자율 에이전트 무리'에 의해 수행된 것으로 파악됐다.

이는 빅데이터 분석에서 유독 크게 표시된 ‘진화하다’, ‘갖추다’, ‘경쟁력’이라는 단어와 정확히 맞닿아 있다. AI는 사람이 일일이 지시하지 않아도 목표를 달성하기 위한 경로를 스스로 탐색하고 실행하는 ‘에이전트’로 진화하고 있으며, 이 능력이 방어에 쓰이면 강력한 보안 도구가 되지만 통제를 벗어나면 곧바로 공격자가 된다.

실제로 앤트로픽 역시 지난해 자사 AI 모델이 중국 정부 배후로 추정되는 해킹조직에 의해 악용되어, 세계 곳곳의 기술·금융·정부기관을 겨냥한 대규모 자동화 공격에 동원되었다고 밝힌 바 있다. 이처럼 ‘AI 스스로 해킹’은 크게 두 갈래로 나뉜다. 하나는 AI가 인간의 통제나 원래 목적을 벗어나 예상치 못한 방식으로 스스로 판단해 침투 행위를 벌이는 경우이고, 다른 하나는 악의적 행위자가 AI를 도구로 삼아 해킹의 속도와 규모를 극단적으로 끌어올리는 경우다.

두 경우 모두 빅데이터 분석에 나타난 ‘불량’, ‘무용지물’, ‘단순하다’라는 단어처럼, 기존의 인간 중심 보안 체계가 순식간에 ‘단순한’ 방어막으로 전락하거나 ‘무용지물’이 될 수 있다는 우려를 낳고 있다.

역설적이지만 ‘AI 해킹’ 위협의 가장 유력한 해법 역시 AI다. 마이크로소프트는 지난 7월 27일 ‘프로젝트 퍼셉션’이라는 AI 보안 시스템을 공개했다. 이 시스템은 실제 공격자를 흉내 내 침투를 시도하는 ‘레드’ 에이전트, 발견된 취약점마다 감시 규칙을 만드는 ‘블루’ 에이전트, 잘못된 코드를 스스로 고쳐 쓰는 ‘그린’ 에이전트가 하나의 폐쇄 순환 구조로 맞물려 돌아가는 구조다.

결론적으로 AI 해킹은 완전히 통제 불가능한 파국으로 치닫는다고 단정할 수도, 이미 충분히 통제되고 있다고 안심할 수도 없는 팽팽한 줄다리기 국면에 있다. 다만 분명한 것은 이 줄다리기의 승패가 기술 하나만으로 결정되지 않는다는 점이다. AI 방어 기술의 고도화, 정부와 의회의 제도적 견제, 기업 경영방식의 투명성 제고, 그리고 이용자와 사회 전체의 경각심이 동시에 맞물려야 비로소 '강화하다'라는 표현의 향배가 ‘무너지다’가 아닌 ‘해결하다’로 이어질 수 있을 것이다.

글_ 배종찬 인사이트케이 연구소장

연세대 정치외교학과를 졸업하고 서울대 국제대학원에서 석사 학위를 받았다. 고려대 행정학과 박사과정을 수료했다. 이 외에 미국, 일본, 홍콩 등에서 연구 경험을 가지고 있다. 주된 관심은 정치 시사와 경제정책인데 특히 대통령 지지율과 국정 리더십, 글로벌 경제 분석 그리고 AI 인공지능 및 블록체인 보안 이슈다. 한국교육개발원·국가경영전략연구원·한길리서치에서 근무하고 리서치앤리서치 본부장을 거친 데이터 분석 전문가다. 현재 인사이트케이 연구소장을 맡아 심층 리서치뿐 아니라 빅데이터·유튜브까지 업무영역을 확대하고 있다.

AI 및 AI 보안 솔루션이 보안 인력의 업무에 어떤 식으로 영향을 미칠것이라고 생각하시나요
	부족한 인력 보충: 만성적인 인력 부족 문제를 해결하는 보완재 역할을 하고 있다(100% 대체는 불가)
	업무 영역의 분리: AI는 대량 데이터 처리를, 전문가는 고도의 전략적 판단을 맡는 등 역할이 완전히 다르다
	업무 총량의 전이: 단순 업무는 줄었으나, AI 모델 관리·검증 등 새로운 형태의 운영 업무가 발생해 전체 업무량은 비슷하다
	인력 대체 가능: 단순 반복 업무를 넘어 분석/판단 영역까지 대체하여 인력을 줄일 수 있다
	신뢰도 부족: 아직은 AI의 오탐이나 환각(Hallucination) 우려로 인해 사람이 일일이 재검토해야 하므로 실질적인 도움은 적다