“통제 잃은 AI는 재앙” 글로벌 보안 당국, 자율형 AI 도입 가이드라인 발표

미국 CISA 및 영국 NCSC 등 주도해 자율형 인공지능 오남용 방지 안전장치 마련
데이터 탈취 및 시스템 파괴 막기 위한 긴급 정지 기능 의무화 등 세부 지침 공개

[보안뉴스 김형근 기자] 미국 사이버보안 및 인프라보안국(CISA)과 영국 국가사이버보안센터(NCSC)를 비롯한 주요국 사이버 보안 기관들이 자율형 인공지능(Agentic AI) 도입을 위한 새로운 보안 지침을 공동 발표했다.

이번 지침은 인간의 개입 없이 스스로 계획을 세우고 도구를 사용하는 자율형 인공지능이 해커들에 의해 교활하게 악용되는 것을 사전에 차단하는 데 목적이 있다.

핵심 권고 사항은 인공지능의 행동 범위를 엄격히 제한하고, 모든 결정 과정을 투명하게 기록하는 모니터링 체계의 구축이다. 자율형 인공지능이 핵심 인프라나 민감한 데이터 시스템에 접근할 때는 반드시 인간의 최종 승인을 거치도록 하는 ‘인간 개입’(Human-in-the-loop) 원칙을 명확히 규정했다.

기술적 보안 조치도 대폭 강화됐다. 공격자가 조작된 입력값을 주입해 인공지능을 세뇌하는 ‘프롬프트 인젝션’(Prompt Injection) 공격에 대비한 정교한 방어막 설계가 필수 요건으로 지목했다. 또, 인공지능 에이전트 간의 통신 과정에서 발생할 수 있는 보안 침해를 막기 위해 암호화 및 인증 절차를 고도화할 것을 주문했다.

기업들이 자율형 인공지능을 도입할 때는 보안성 검토를 의무적으로 수행해야 하며, 예상치 못한 자율 행동이나 이상 징후 발생 시 시스템을 즉각 차단할 수 있는 긴급 정지 기능을 반드시 갖추도록 권고했다.

이번 글로벌 공동 지침은 2026년 기업 보안 환경의 핵심 모순인 ‘자율성과 통제권의 충돌’을 선제적으로 제어하기 위한 안보 거버넌스의 기점으로 보인다. 보안 당국은 기술의 진보가 안보 파산으로 이어지지 않도록 산업계 전반에 거듭 당부했다.

[김형근 기자(editor@boannews.com)]

AI 및 AI 보안 솔루션이 보안 인력의 업무에 어떤 식으로 영향을 미칠것이라고 생각하시나요
	부족한 인력 보충: 만성적인 인력 부족 문제를 해결하는 보완재 역할을 하고 있다(100% 대체는 불가)
	업무 영역의 분리: AI는 대량 데이터 처리를, 전문가는 고도의 전략적 판단을 맡는 등 역할이 완전히 다르다
	업무 총량의 전이: 단순 업무는 줄었으나, AI 모델 관리·검증 등 새로운 형태의 운영 업무가 발생해 전체 업무량은 비슷하다
	인력 대체 가능: 단순 반복 업무를 넘어 분석/판단 영역까지 대체하여 인력을 줄일 수 있다
	신뢰도 부족: 아직은 AI의 오탐이나 환각(Hallucination) 우려로 인해 사람이 일일이 재검토해야 하므로 실질적인 도움은 적다