[ISEC 2026] “AI에 대한 통제는 모델 ‘안’ 아니라 ‘밖’에 있어야”

김수영 포티넷 상무 ISEC 1일차 키노트
프롬프트 주입 등 AI 겨냥 공격 정교화 추세... AI 지키는 통합 플랫폼 필요

[보안뉴스=한세희 기자] “자율(autonomy)이라 해서 승인 없는 완전한 자율을 뜻하진 않습니다. AI 실행 단계에서 승인을 거치는 제어가 필요합니다.”

김수영 포티넷 상무는 11일 서울 코엑스에서 개막한 ‘제20회 국제 시큐리티 콘퍼런스’(ISEC 2026)에서 ‘AI를 지키고, AI로 지킨다 - 지능형 위협 시대의 보안 패러다임’을 주제로 키노트 발표를 하며 “스스로 관리하고 실행하는 에이전틱 AI의 등장으로 새로운 차원의 보안 위협이 등장했다”고 말했다.

AI는 단순한 도구를 넘어 자율적 판단 주체로 진화하고 있다. AI가 스스로 판단하고 API와 도구를 호출하며 권한을 위임받아 일을 수행한다. 이에 따라 ‘사람이 시스템을 쓰는’ 기존 구조에서 ‘AI가 시스템을 쓰는’ 새로운 구조에 맞는 보안 모델이 필요하다는 진단이다.

▲김수영 포티넷 상무가 11일 서울 코엑스에서 열린 ISEC 2026에서 키노트 발표를 하고 있다. [출처: 보안뉴스]

최근 오픈AI 최신 모델이 보안 과제 해결 능력을 테스트하던 중 스스로 샌드박스를 탈출해 AI 플랫폼 허깅페이스를 침해한 사건은 AI의 새로운 위협을 잘 보여준다. 이같은 사고는 주요 프론티어 AI 모델에서 잇달아 일어나고 있다.

김 상무는 “최근 불과 한달 사이에 미토스 등 AI 모델이 취약점을 찾았다는 것에서 AI가 스스로 경계를 넘었다는 것으로 보안 위협의 이슈가 옮겨갔다”며 “AI를 가장 잘 아는 조직들의 통제된 환경에서 이런 일이 벌어졌다는 점이 문제의 심각성을 보여준다”고 말했다.

특히 프롬프트 주입 공격이 AI에 대한 주요 공격 경로로 꼽혔다. AI 환경에서 명령어와 데이터를 구분할 수 없는 구조적 한계 때문이다. OWASP가 제시한 에이전틱 AI 최대 위협 10개 중 6개가 프롬프트 주입과 직간접적으로 연관돼 있다.

김 상무는 “프롬프트 주입 공격은 ‘답변’을 바꾸는 것을 넘어 시스템의 ‘행동’을 유발, 도구 오염과 권한 상승, 공급망 오염으로 이어진다”며 “프롬프트 주입은 (AI 보안 관련) ‘전부의 시작’”이라고 말했다.

AI 에이전트는 △내부 민감 데이터를 읽을 수 있는 권한을 갖고 △신뢰할 수 없는 외부 콘텐츠에 노출돼 외부 웹 문서나 메일을 그대로 입력으로 수용하며 △외부 통신 기능을 가진 경우 등의 조건을 갖춘 상황에선 도리어 데이터 유출 통로가 될 수 있어 공격에 대한 대비가 필요하다는 설명이다.

김 상무는 “AI에 대한 위협이 모델 밖에서 발생하므로, 통제 역시 내부가 아닌 밖에 있어야 한다”며 직원 AI 사용이 시작되는 엔드포인트와 MCP 등 에이전틱 AI 프로토콜이 오가는 네트워크, 통합 AI 게이트웨이 등을 핵심 통제 지점으로 꼽았다.

보안 위협을 막기 위해 입력과 출력의 가드레일을 설정하고, 도구 실행을 통제하는 등의 정책이 필요하다. 조직 내 소프트웨어 개발 과정에서 AI가 쓴 코드의 문제를 커밋과 배포 전 검증하고, 여러 약한 신호들을 묶어 위험을 탐지하는 분석 역량도 중요하다.

김 상무는 “AI 보안 강화를 위해 예산 없이 즉시 시작할 수 있는 일들이 있다”며 △자산 파악 △인라인 통제 지점 확보 △위임 범위 명문화를 권고했다.

조직 내에서 어떤 AI 앱과 에이전트가 얼마나 돌아가는지 파악하고, AI 트래픽이 지나가는 ‘인라인’ 지점을 확보해 문제에 빠르게 대응할 수 있게 해야 한다는 설명이다. AI가 스스로 판단해도 되는 조치와 사람의 승인이 필요한 조치의 범위도 문서로 정리해 놓아야 한다.

[한세희 기자(hahn@boannews.com)]

AI 및 AI 보안 솔루션이 보안 인력의 업무에 어떤 식으로 영향을 미칠것이라고 생각하시나요
	부족한 인력 보충: 만성적인 인력 부족 문제를 해결하는 보완재 역할을 하고 있다(100% 대체는 불가)
	업무 영역의 분리: AI는 대량 데이터 처리를, 전문가는 고도의 전략적 판단을 맡는 등 역할이 완전히 다르다
	업무 총량의 전이: 단순 업무는 줄었으나, AI 모델 관리·검증 등 새로운 형태의 운영 업무가 발생해 전체 업무량은 비슷하다
	인력 대체 가능: 단순 반복 업무를 넘어 분석/판단 영역까지 대체하여 인력을 줄일 수 있다
	신뢰도 부족: 아직은 AI의 오탐이나 환각(Hallucination) 우려로 인해 사람이 일일이 재검토해야 하므로 실질적인 도움은 적다