.jpg)
[3줄 요약]
1. 국정원 ‘인공지능위험사례집’ 발간
2. AI BCI 해킹·아군 공격·기간시설 해킹 등 다양한 시나리오
3. ‘제로트러스트’ 등 사이버보안 강화와 ‘인간 지휘’ 필수
[보안뉴스 강현주 기자] 클라우드에 있는 인공지능(AI) 기반 뇌-컴퓨터 인터페이스(BCI)가 해킹 당해 사람 뇌를 교란하고 행동을 통제한다. 살상 무기를 쓰는 ‘자율무기 로봇’이 적을 많이 제거하는 데에만 집중하다 아군까지 공격한다.
이처럼 AI 시대엔 AI가 공격자 또는 공격 대상이 돼 국가 안보 및 인프라를 위협하고 국민 안전과 건강이 위협받게 될 위험성이 커진다. 국가정보원은 그 대응책으로 ‘제로트러스트’ 기반 사이버 보안 강화와 ‘인간 지휘’의 확보를 제시한다.
최근 국정원은 ‘인공지능위험사례집’을 발간해 AI 시대에 발생할 수 있는 위협 시나리오 70건을 소개하고, 이에 대한 예방 및 대응 방안을 제시했다.
뇌 연결 시스템·기간 시설 교란... ‘제로트러스트’ 필수
‘제로트러스트’는 어떤 사용자나 장치도 신뢰할 수 없다는 인식을 기반으로 하는 보안 모델이다. 특정 요소에 대한 암묵적 신뢰를 제거하고 여러 출처를 지속 검증해 사용자가 정보시스템 및 서비스에 정확하고 최소한으로 부여된 권한으로만 접근토록 하는 게 핵심이다.
사례집은 제로트러스트로 대비해야 할 경제·산업·의료 분야 위협 시나리오로 AI 기반 뇌-컴퓨터 인터페이스(BCI) 해킹 사례를 들었다.
인간 뇌파를 컴퓨터와 연결하는 BCI 기술의 뇌파 신호 분류·해석 과정에 AI를 융합한 AI 기반 BCI는 인간과 기계(로봇·의수 등) 사이 상호작용의 정확도와 효율성을 높일 수 있다. 이 같은 BCI 제품은 복잡한 AI 연산 처리를 위해 디바이스 단독이 아닌 클라우드 환경에서 대규모 뇌파 데이터를 축적, AI가 이를 학습해 뇌파 명령 보정 등의 기능을 수행한다.
공격자가 BCI 기기의 클라우드에 취약점을 통해 침투, AI가 사용자 뇌파 특성을 기억하고 학습할 때 참조하는 데이터베이스를 오염시킬 수 있다. 이를 통해 사용자의 공격성을 유발하는 등 인간 행동을 통제하며 인격권을 침해한다는 시나리오다.
국정원은 이 같은 위협을 예방하기 위해 제로트러스트 정책을 도입하고 각 사용자별로 클라우드 연결을 위한 전용망을 구성해 관계자 외 접속을 원천 차단해야 한다고 제시했다. 비정상 패턴을 실시간 차단하는 알고리즘도 탑재해야 한다. 이상 패턴을 감지할 경우 긴급 차단 및 사용자 행동 통제 방지를 의무화 하는 등 엄격한 기술·윤리 기준 기반의 규제를 마련해야 한다는 점을 강조했다.
국가 안보 분야에선 ‘AI 해킹봇’이 국가 기간산업망을 공격해 정부 전산망, 철도, 발전소 등이 오작동되는 대규모 AI 사이버전쟁이 발발될 위험이 거론된다. 일부 국가들이 목표 국가를 해킹할 목적으로 AI 해킹봇을 구매해 공격을 자행, 국가 기밀과 핵심 정보가 유출되고, 국가 인프라 시스템이 오작동해 대혼란이 야기될 수 있다. 해킹봇은 해킹 즉시 로그를 삭제해 추적과 분석을 방해해 사후 대응에도 난항을 겪을 수 있다.
국정원은 해킹봇과 유사한 속도의 AI 기반 공격 탐지 및 차단 시스템을 대비 방안으로 제시했다. 또 국가 주요 시스템에 제로트러스트 정책을 적용해야 한다고 강조했다. 모든 접근 통제를 사용자 및 행동 기반으로 엄격한 인증 하에 승인해 사이버 보안을 강화해야 한다는 설명이다.
이 외에도 국정원은 AI 신호등 백도어로 교통 대혼란 야기, 의료 AI 에이전트의 환자 민감정보 무단 유출 등 다양한 위협 시나리오들의 대비책으로 ‘제로트러스트’를 제시했다.
“인간 지휘 없이는 아군도 공격 우려...재해 대피 불완전”
국정원은 이와 함께 AI 시대 다양한 국가 안보 위협에 대한 대비책으로 ‘인간 지휘’가 필수적이라고 거듭 강조했다.
가령, 효율적 전투를 위해 개발된 AI 기반 ‘치명적 자율무기’(LAWs) 로봇이 적을 최대한 많이 제거하는 데에만 집중하다가 아군까지 공격할 수 있다.
이에 대비하기 위해 국정원은 완전 자율 모드를 제한하고 반드시 ‘인간 지휘관’의 승인이 필요하도록 설계해야 한다고 제시했다. 자율성이 필요할 경우에도 강력한 실시한 감시 체계를 구축해야 한다는 설명이다. 유사시 원격으로 긴급 정지시킬 ‘킬스위치’ 구축 등으로 오작동에도 대비해야 한다고 강조한다.
이 외에도 AI 방공 시스템 판단 오류로 미사일 요격 실패, AI 재난 대응 시스템 오판으로 인한 지진 대피 실패, AI의 화재 신호 무시로 인명 사고 발생 등 다양한 위협 시나리오가 있다.
국정원은 인간 관리자 배치, 인간 전문가 교차 검증, 다중지표와 인간 평가의 혼합 등 ‘인간의 제어력’을 대비책으로 제시했다.
보안 업계 한 전문가는 “AI와 클라우드의 확산으로 위협 접점들이 크게 늘어나고 있으며, 특히 AI 기반 자동화와 빠른 속도는 업무 효율도 주지만 부작용에도 큰 효율을 주게 된다”며 “이에 따라 철저한 접근 제어와 권한관리가 핵심인 제로트러스트의 중요성이 부각되며, 특히 AI 시대 크게 증가할 머신 ID 역시 제로트러스트를 통한 관리가 필요하다”고 말했다.
국정원이 발간한 ‘인공지능위험사례집’은 AI로 인한 위협 발생 가능 분야를 △국가안보 △재난·재해·인프라 △경제·산업·의료 △사회·민생·인권 등 네 가지로 구분했다. AI로 인해 발생 가능한 위협에 대한 AI 위험관리 전략 수립의 기초자료로 활용되는 것을 목표로 사고·피해 시나리오 70건과 이에 대한 예방·대응 방안을 정리했다.
[강현주 기자(jjoo@boannews.com)]
1. 국정원 ‘인공지능위험사례집’ 발간
2. AI BCI 해킹·아군 공격·기간시설 해킹 등 다양한 시나리오
3. ‘제로트러스트’ 등 사이버보안 강화와 ‘인간 지휘’ 필수
[보안뉴스 강현주 기자] 클라우드에 있는 인공지능(AI) 기반 뇌-컴퓨터 인터페이스(BCI)가 해킹 당해 사람 뇌를 교란하고 행동을 통제한다. 살상 무기를 쓰는 ‘자율무기 로봇’이 적을 많이 제거하는 데에만 집중하다 아군까지 공격한다.
이처럼 AI 시대엔 AI가 공격자 또는 공격 대상이 돼 국가 안보 및 인프라를 위협하고 국민 안전과 건강이 위협받게 될 위험성이 커진다. 국가정보원은 그 대응책으로 ‘제로트러스트’ 기반 사이버 보안 강화와 ‘인간 지휘’의 확보를 제시한다.
최근 국정원은 ‘인공지능위험사례집’을 발간해 AI 시대에 발생할 수 있는 위협 시나리오 70건을 소개하고, 이에 대한 예방 및 대응 방안을 제시했다.
▲국정원이 발간한 ‘인공지능위험사례집’ 사례 [자료: 국정원]
뇌 연결 시스템·기간 시설 교란... ‘제로트러스트’ 필수
‘제로트러스트’는 어떤 사용자나 장치도 신뢰할 수 없다는 인식을 기반으로 하는 보안 모델이다. 특정 요소에 대한 암묵적 신뢰를 제거하고 여러 출처를 지속 검증해 사용자가 정보시스템 및 서비스에 정확하고 최소한으로 부여된 권한으로만 접근토록 하는 게 핵심이다.
사례집은 제로트러스트로 대비해야 할 경제·산업·의료 분야 위협 시나리오로 AI 기반 뇌-컴퓨터 인터페이스(BCI) 해킹 사례를 들었다.
인간 뇌파를 컴퓨터와 연결하는 BCI 기술의 뇌파 신호 분류·해석 과정에 AI를 융합한 AI 기반 BCI는 인간과 기계(로봇·의수 등) 사이 상호작용의 정확도와 효율성을 높일 수 있다. 이 같은 BCI 제품은 복잡한 AI 연산 처리를 위해 디바이스 단독이 아닌 클라우드 환경에서 대규모 뇌파 데이터를 축적, AI가 이를 학습해 뇌파 명령 보정 등의 기능을 수행한다.
공격자가 BCI 기기의 클라우드에 취약점을 통해 침투, AI가 사용자 뇌파 특성을 기억하고 학습할 때 참조하는 데이터베이스를 오염시킬 수 있다. 이를 통해 사용자의 공격성을 유발하는 등 인간 행동을 통제하며 인격권을 침해한다는 시나리오다.
국정원은 이 같은 위협을 예방하기 위해 제로트러스트 정책을 도입하고 각 사용자별로 클라우드 연결을 위한 전용망을 구성해 관계자 외 접속을 원천 차단해야 한다고 제시했다. 비정상 패턴을 실시간 차단하는 알고리즘도 탑재해야 한다. 이상 패턴을 감지할 경우 긴급 차단 및 사용자 행동 통제 방지를 의무화 하는 등 엄격한 기술·윤리 기준 기반의 규제를 마련해야 한다는 점을 강조했다.
국가 안보 분야에선 ‘AI 해킹봇’이 국가 기간산업망을 공격해 정부 전산망, 철도, 발전소 등이 오작동되는 대규모 AI 사이버전쟁이 발발될 위험이 거론된다. 일부 국가들이 목표 국가를 해킹할 목적으로 AI 해킹봇을 구매해 공격을 자행, 국가 기밀과 핵심 정보가 유출되고, 국가 인프라 시스템이 오작동해 대혼란이 야기될 수 있다. 해킹봇은 해킹 즉시 로그를 삭제해 추적과 분석을 방해해 사후 대응에도 난항을 겪을 수 있다.
국정원은 해킹봇과 유사한 속도의 AI 기반 공격 탐지 및 차단 시스템을 대비 방안으로 제시했다. 또 국가 주요 시스템에 제로트러스트 정책을 적용해야 한다고 강조했다. 모든 접근 통제를 사용자 및 행동 기반으로 엄격한 인증 하에 승인해 사이버 보안을 강화해야 한다는 설명이다.
이 외에도 국정원은 AI 신호등 백도어로 교통 대혼란 야기, 의료 AI 에이전트의 환자 민감정보 무단 유출 등 다양한 위협 시나리오들의 대비책으로 ‘제로트러스트’를 제시했다.
“인간 지휘 없이는 아군도 공격 우려...재해 대피 불완전”
국정원은 이와 함께 AI 시대 다양한 국가 안보 위협에 대한 대비책으로 ‘인간 지휘’가 필수적이라고 거듭 강조했다.
가령, 효율적 전투를 위해 개발된 AI 기반 ‘치명적 자율무기’(LAWs) 로봇이 적을 최대한 많이 제거하는 데에만 집중하다가 아군까지 공격할 수 있다.
이에 대비하기 위해 국정원은 완전 자율 모드를 제한하고 반드시 ‘인간 지휘관’의 승인이 필요하도록 설계해야 한다고 제시했다. 자율성이 필요할 경우에도 강력한 실시한 감시 체계를 구축해야 한다는 설명이다. 유사시 원격으로 긴급 정지시킬 ‘킬스위치’ 구축 등으로 오작동에도 대비해야 한다고 강조한다.
이 외에도 AI 방공 시스템 판단 오류로 미사일 요격 실패, AI 재난 대응 시스템 오판으로 인한 지진 대피 실패, AI의 화재 신호 무시로 인명 사고 발생 등 다양한 위협 시나리오가 있다.
국정원은 인간 관리자 배치, 인간 전문가 교차 검증, 다중지표와 인간 평가의 혼합 등 ‘인간의 제어력’을 대비책으로 제시했다.
보안 업계 한 전문가는 “AI와 클라우드의 확산으로 위협 접점들이 크게 늘어나고 있으며, 특히 AI 기반 자동화와 빠른 속도는 업무 효율도 주지만 부작용에도 큰 효율을 주게 된다”며 “이에 따라 철저한 접근 제어와 권한관리가 핵심인 제로트러스트의 중요성이 부각되며, 특히 AI 시대 크게 증가할 머신 ID 역시 제로트러스트를 통한 관리가 필요하다”고 말했다.
국정원이 발간한 ‘인공지능위험사례집’은 AI로 인한 위협 발생 가능 분야를 △국가안보 △재난·재해·인프라 △경제·산업·의료 △사회·민생·인권 등 네 가지로 구분했다. AI로 인해 발생 가능한 위협에 대한 AI 위험관리 전략 수립의 기초자료로 활용되는 것을 목표로 사고·피해 시나리오 70건과 이에 대한 예방·대응 방안을 정리했다.
[강현주 기자(jjoo@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
강현주기자 기사보기
.jpg)
.jpg)
.jpg)
.png)
.jpg)
.jpg)
