세계 AI 트렌드 안전성에서 보안으로 이동중
AI 기술 사이버전, 테러 등에 악용될 가능성 커져
한국의 AI '보안 전략' 급격한 변화에 어떻게 대응할까
최근 프랑스 파리에서 열렸던 제3차 AI 행동 정상회의가 막을 내렸다. AI 산업이 워낙 초 단위로 기술 발전이 이뤄지고 그에 따른 시장의 역동성도 그 어느 분야보다 다이나믹하다 보니 그 트렌드나 국가 전략 포인트가 지난해 다르고 올해 또 다르다.
사실 지난해 5월 열린 2차 서울 정상회의 때만 해도 AI의 안정성이 주요 관심사였다. 당시 서울 정상회의에서는 안전과 혁신, 포용이 메인 기조였다. 당시 회의에 참석했던 10개국 정상은 ‘안전’이 책임 있는 AI혁신을 위한 핵심요소임을 확인하고 ‘AI안전연구소’ 설립과 안전한 AI에 대한 글로벌 협력을 강조했다.
회의에 참석했던 윤석열 대통령도 “대한민국 AI안전연구소 설립을 추진해 글로벌 AI안전성 강화를 위한 네트워크에 동참하겠다”고 밝혔다. 윤 대통령이 AI안전연구소 설립 추진을 선언한 뒤 6개월만인 지난해 11월 과학기술정통부는 연구소 조직·예산·인력·기능에 대한 면밀한 사전 준비를 거쳐 ‘AI안전연구소’를 출범시켰다.
대통령이 ‘지시’하고 연구소 설립까지 6개월밖에 걸리지 않았던 것은 이례적인 일이다. 이는 정부가 AI를 차세대 국가 전략 산업으로 받아들이고 있다는 시그널인 동시에 AI의 ‘안전’에 대한 중요성도 인식하고 있다는 뜻이다.
당시 개소식에서 유상임 과학기술정보통신부 장관은 “지난 ‘영국 AI안전성 정상회의’, ‘AI서울정상회의’ 이후 불과 1년 만에 미국, 영국, 일본, 싱가포르, 캐나다 등 주요국이 모두 AI안전연구소를 설립하고 전례 없이 기민하고 체계적인 국제 AI안전 협력체계를 구축하고 있다”고 설명한 바 있다.
그런데 2차 서울 정상회의가 열리고 8개월만에 개최된 3차 파리 정상회의에서는 ‘안전’ 이슈가 밀려나고 ‘보안’ 이슈가 그 자리를 대체할 움직임이 일어났다. 그런 ‘정황’은 2가지 점에서 포착됐다. 3차 정상회의에서 포용적이고 지속가능한 AI에 관한 선언문이 채택됐지만 미국과 영국은 서명을 거부했다.
미국이 서명에 참여하지 않았던 것은 ‘아메리카 퍼스트’에 따라 미국이 AI의 패권을 차지하게 될 것이라는 선언이었다. 밴스 미국 부통령은 “AI의 안전성보다 기회에 관해 이야기하고자 이 자리에 왔다. AI 기술의 능력을 억제하는 게 아닌 촉진하기 위한 규제 체계가 필요하다”라고 주장했다. ‘AI 안전은 모르겠고 일단 미국은 무조건 빨리 기술을 개발하겠다’는 것이다. AI 산업의 안전성과 부작용 때문에 기술 개발이 지체되는 것은 참지 못하겠다는 뜻으로도 읽힌다.
영국도 서명을 거부했다. 이에 대해 영국 정부 대변인은 “이번 성명은 AI 글로벌 거버넌스와 AI가 국가 안보에 미치는 영향을 충분히 다루지 않았다”며 도장을 찍지 않았다. 미국의 서명 거부 이유와는 사뭇 다른 각도다. 영국은 세계 최초 AI 안전연구소의 명칭을 ‘AI 보안연구소’로 개명하여 그 역할도 안전성보다는 보안과 안보에 집중할 것을 천명했다.
영국 정부의 ‘퀵 턴’은 올해 AI 산업의 트렌드가 안전에서 보안으로 급격하게 이동할 것임을 암시하는 대목이다. 지난 2월 14일 영국 정부는 연구소 이름을 바꾸면서 “AI가 국가 안보와 범죄에 미치는 위험으로부터 보호, 강화할 것”이라고 발표했다.
또한 영국 정부는 AI 보안연구소를 통해 국가 안보를 보호하는 것이 정부의 변화 계획의 중심축이고 시민을 범죄로부터 보호하는 것이 책임 있는 AI 개발 접근의 기본 원칙이 될 것이라고 덧붙였다. 이는 뮌헨에서 열린 뮌헨 보안 컨퍼런스에서 발표한 내용으로 파리 서밋에 참석했던 피터 카일이 발표했다(한상기 2025).
기존의 AI 안정성 이슈는 생성AI의 확산과 함께 인공지능 기술이 가진 잠재적 위험에 대한 예방책이 그 중심이었다. 이는 생성AI의 부정확성, 결과 해석을 어렵게 하는 블랙박스 모델과 같은 기술적 한계와 딥페이크, 사이버 공격 등 기술 오용으로 인한 사회적 피해에 대한 우려가 높아지는 데 따른 인류의 공동대응인 셈이다.
산학계의 인공지능 전문가들조차 인공지능이 인간이 이해할 수 없는 초지능으로 급속히 발전하면 자율 성장, 통제 상실 가능성이 높아져 인류의 실존을 위협할 수 있다고 경고한다. 이런 AI의 ‘인간화’에 대한 통제할 수 없는 위험 요소를 차단하는 것이 AI의 안정성 이슈였다.
영국 정부는 지난 2023년 11월 2일 AI안전연구소를 설립하면서 ‘공익을 위한 프론티어 AI의 안전’에 초점을 맞춰 “예상치 못한 AI의 급속한 발전으로 인한 영국과 인류의 놀라움을 최소화하고 이를 위해 프론티어 AI의 위험을 이해하고 거버넌스를 활성화하는 데 필요한 사회기술 인프라를 개발하는 데 주력할 것”이라고 천명했다.
지난해 11월 말 설립된 한국의 AI안전연구소도 “AI의 기술적 한계, 인간의 AI기술 오용, AI 통제력 상실 등으로 발생하는 다양한 AI위험에 체계적·전문적으로 대응하기 위해” 만들어진 전담조직이다.
하지만 이런 AI의 안전성 이슈는 AI가 인간의 ‘지능수준’까지 기술 발전이 이뤄졌을 때를 대비한 ‘장기 포석’이자 AI라는 신문명에 대처하는 인류의 ‘대응 규범’에 가깝다. 하지만 세계 주요국이 투자 규모를 대폭 늘리며 AI 기술을 급속도로 발전시킬 가능성이 높아지자 당장 발등의 불부터 끄는 게 더 급해졌다.
AI 기술이 화학 및 생물학 무기를 개발하는 데 사용될 수도 있고, 원격으로 사이버 공격을 수행할 수도 있고 또한 테러에도 활용될 수 있다. 이렇게 각종 ‘범죄’에 AI가 이용될 수 있는 가능성이 AI의 장기적 위협 요인보다 훨씬 더 심각한 것이다.
영국은 지난 2023년 세계 최초로 AI안전연구소를 설립했지만 불과 2년도 되지 않아 조직의 미션 전체를 갈아엎었다. 한국은 지난해 11월에 비로소 AI안전연구소를 설립했다. 이 또한 국제 추세에 비하면 그렇게 뒤처진 것은 아니지만 영국이 AI의 ‘좌표’를 안전에서 보안으로 옮기게 되면서 한국도 AI의 보안 이슈를 국가 아젠다로서 재점검해야 할 필요성이 커지고 있다.
AI 보안분야는 AI 모델 및 데이터를 안전하게 보호하기 위한 암호화와 프라이버시 강화 기술이 있고 AI 모델이 악성 코드나 백도어 공격을 받지 않도록 소프트웨어 공급망을 검증하기도 한다. AI 모델이 해킹되거나 적대적 공격(Adversarial Attacks)에 취약하지 않도록 보안을 강화해야 한다. 이밖에 AI의 안보분야 역할은 사이버전 방어태세를 구축하고 감시 정찰 자산을 AI화 한다. 딥페이크와 가짜뉴스 확산 방지를 위한 심리전에도 유용하게 쓰일 수 있다.
이번에 영국이 AI안보연구소로 개칭한 것은 AI의 안전성보다 보안과 국가 안보 측면을 더 강화하겠다는 의지의 표현이다. 앞으로 AI는 단순한 첨단기술을 넘어 사이버 전쟁, 국가 안보, 글로벌 기술 경쟁의 핵심 요소가 될 것이다. 영국은 그 첨예한 AI 기술 경쟁의 중심에 보안을 놓고 국가 전략 산업으로 키우고 있다. 세계는 벌써 AI의 안전성(Safety)의 시대를 뒤로 하고 보안(Security)의 시대로 성큼 다가서고 있다. 지난해 11월 설립된 한국의 AI 안전연구소가 광속도의 AI 트렌드를 잘 따라갈 수 있을까. 보안분야 종사자들의 어깨에도 책임의 무게가 더해져만 간다.
[성기노 기자(kino@boannews.com)]
AI 기술 사이버전, 테러 등에 악용될 가능성 커져
한국의 AI '보안 전략' 급격한 변화에 어떻게 대응할까
최근 프랑스 파리에서 열렸던 제3차 AI 행동 정상회의가 막을 내렸다. AI 산업이 워낙 초 단위로 기술 발전이 이뤄지고 그에 따른 시장의 역동성도 그 어느 분야보다 다이나믹하다 보니 그 트렌드나 국가 전략 포인트가 지난해 다르고 올해 또 다르다.
[자료: gettyimagesbank]
사실 지난해 5월 열린 2차 서울 정상회의 때만 해도 AI의 안정성이 주요 관심사였다. 당시 서울 정상회의에서는 안전과 혁신, 포용이 메인 기조였다. 당시 회의에 참석했던 10개국 정상은 ‘안전’이 책임 있는 AI혁신을 위한 핵심요소임을 확인하고 ‘AI안전연구소’ 설립과 안전한 AI에 대한 글로벌 협력을 강조했다.
회의에 참석했던 윤석열 대통령도 “대한민국 AI안전연구소 설립을 추진해 글로벌 AI안전성 강화를 위한 네트워크에 동참하겠다”고 밝혔다. 윤 대통령이 AI안전연구소 설립 추진을 선언한 뒤 6개월만인 지난해 11월 과학기술정통부는 연구소 조직·예산·인력·기능에 대한 면밀한 사전 준비를 거쳐 ‘AI안전연구소’를 출범시켰다.
대통령이 ‘지시’하고 연구소 설립까지 6개월밖에 걸리지 않았던 것은 이례적인 일이다. 이는 정부가 AI를 차세대 국가 전략 산업으로 받아들이고 있다는 시그널인 동시에 AI의 ‘안전’에 대한 중요성도 인식하고 있다는 뜻이다.
당시 개소식에서 유상임 과학기술정보통신부 장관은 “지난 ‘영국 AI안전성 정상회의’, ‘AI서울정상회의’ 이후 불과 1년 만에 미국, 영국, 일본, 싱가포르, 캐나다 등 주요국이 모두 AI안전연구소를 설립하고 전례 없이 기민하고 체계적인 국제 AI안전 협력체계를 구축하고 있다”고 설명한 바 있다.
그런데 2차 서울 정상회의가 열리고 8개월만에 개최된 3차 파리 정상회의에서는 ‘안전’ 이슈가 밀려나고 ‘보안’ 이슈가 그 자리를 대체할 움직임이 일어났다. 그런 ‘정황’은 2가지 점에서 포착됐다. 3차 정상회의에서 포용적이고 지속가능한 AI에 관한 선언문이 채택됐지만 미국과 영국은 서명을 거부했다.
미국이 서명에 참여하지 않았던 것은 ‘아메리카 퍼스트’에 따라 미국이 AI의 패권을 차지하게 될 것이라는 선언이었다. 밴스 미국 부통령은 “AI의 안전성보다 기회에 관해 이야기하고자 이 자리에 왔다. AI 기술의 능력을 억제하는 게 아닌 촉진하기 위한 규제 체계가 필요하다”라고 주장했다. ‘AI 안전은 모르겠고 일단 미국은 무조건 빨리 기술을 개발하겠다’는 것이다. AI 산업의 안전성과 부작용 때문에 기술 개발이 지체되는 것은 참지 못하겠다는 뜻으로도 읽힌다.
[자료: gettyimagesbank]
영국도 서명을 거부했다. 이에 대해 영국 정부 대변인은 “이번 성명은 AI 글로벌 거버넌스와 AI가 국가 안보에 미치는 영향을 충분히 다루지 않았다”며 도장을 찍지 않았다. 미국의 서명 거부 이유와는 사뭇 다른 각도다. 영국은 세계 최초 AI 안전연구소의 명칭을 ‘AI 보안연구소’로 개명하여 그 역할도 안전성보다는 보안과 안보에 집중할 것을 천명했다.
영국 정부의 ‘퀵 턴’은 올해 AI 산업의 트렌드가 안전에서 보안으로 급격하게 이동할 것임을 암시하는 대목이다. 지난 2월 14일 영국 정부는 연구소 이름을 바꾸면서 “AI가 국가 안보와 범죄에 미치는 위험으로부터 보호, 강화할 것”이라고 발표했다.
또한 영국 정부는 AI 보안연구소를 통해 국가 안보를 보호하는 것이 정부의 변화 계획의 중심축이고 시민을 범죄로부터 보호하는 것이 책임 있는 AI 개발 접근의 기본 원칙이 될 것이라고 덧붙였다. 이는 뮌헨에서 열린 뮌헨 보안 컨퍼런스에서 발표한 내용으로 파리 서밋에 참석했던 피터 카일이 발표했다(한상기 2025).
기존의 AI 안정성 이슈는 생성AI의 확산과 함께 인공지능 기술이 가진 잠재적 위험에 대한 예방책이 그 중심이었다. 이는 생성AI의 부정확성, 결과 해석을 어렵게 하는 블랙박스 모델과 같은 기술적 한계와 딥페이크, 사이버 공격 등 기술 오용으로 인한 사회적 피해에 대한 우려가 높아지는 데 따른 인류의 공동대응인 셈이다.
산학계의 인공지능 전문가들조차 인공지능이 인간이 이해할 수 없는 초지능으로 급속히 발전하면 자율 성장, 통제 상실 가능성이 높아져 인류의 실존을 위협할 수 있다고 경고한다. 이런 AI의 ‘인간화’에 대한 통제할 수 없는 위험 요소를 차단하는 것이 AI의 안정성 이슈였다.
영국 정부는 지난 2023년 11월 2일 AI안전연구소를 설립하면서 ‘공익을 위한 프론티어 AI의 안전’에 초점을 맞춰 “예상치 못한 AI의 급속한 발전으로 인한 영국과 인류의 놀라움을 최소화하고 이를 위해 프론티어 AI의 위험을 이해하고 거버넌스를 활성화하는 데 필요한 사회기술 인프라를 개발하는 데 주력할 것”이라고 천명했다.
▲지난해 11월 27일 경기도 성남시 분당구 글로벌R&D센터에서 인공지능(AI)안전연구소 개소식이 열렸다. [자료: 과기정통부]
지난해 11월 말 설립된 한국의 AI안전연구소도 “AI의 기술적 한계, 인간의 AI기술 오용, AI 통제력 상실 등으로 발생하는 다양한 AI위험에 체계적·전문적으로 대응하기 위해” 만들어진 전담조직이다.
하지만 이런 AI의 안전성 이슈는 AI가 인간의 ‘지능수준’까지 기술 발전이 이뤄졌을 때를 대비한 ‘장기 포석’이자 AI라는 신문명에 대처하는 인류의 ‘대응 규범’에 가깝다. 하지만 세계 주요국이 투자 규모를 대폭 늘리며 AI 기술을 급속도로 발전시킬 가능성이 높아지자 당장 발등의 불부터 끄는 게 더 급해졌다.
AI 기술이 화학 및 생물학 무기를 개발하는 데 사용될 수도 있고, 원격으로 사이버 공격을 수행할 수도 있고 또한 테러에도 활용될 수 있다. 이렇게 각종 ‘범죄’에 AI가 이용될 수 있는 가능성이 AI의 장기적 위협 요인보다 훨씬 더 심각한 것이다.
영국은 지난 2023년 세계 최초로 AI안전연구소를 설립했지만 불과 2년도 되지 않아 조직의 미션 전체를 갈아엎었다. 한국은 지난해 11월에 비로소 AI안전연구소를 설립했다. 이 또한 국제 추세에 비하면 그렇게 뒤처진 것은 아니지만 영국이 AI의 ‘좌표’를 안전에서 보안으로 옮기게 되면서 한국도 AI의 보안 이슈를 국가 아젠다로서 재점검해야 할 필요성이 커지고 있다.
AI 보안분야는 AI 모델 및 데이터를 안전하게 보호하기 위한 암호화와 프라이버시 강화 기술이 있고 AI 모델이 악성 코드나 백도어 공격을 받지 않도록 소프트웨어 공급망을 검증하기도 한다. AI 모델이 해킹되거나 적대적 공격(Adversarial Attacks)에 취약하지 않도록 보안을 강화해야 한다. 이밖에 AI의 안보분야 역할은 사이버전 방어태세를 구축하고 감시 정찰 자산을 AI화 한다. 딥페이크와 가짜뉴스 확산 방지를 위한 심리전에도 유용하게 쓰일 수 있다.
이번에 영국이 AI안보연구소로 개칭한 것은 AI의 안전성보다 보안과 국가 안보 측면을 더 강화하겠다는 의지의 표현이다. 앞으로 AI는 단순한 첨단기술을 넘어 사이버 전쟁, 국가 안보, 글로벌 기술 경쟁의 핵심 요소가 될 것이다. 영국은 그 첨예한 AI 기술 경쟁의 중심에 보안을 놓고 국가 전략 산업으로 키우고 있다. 세계는 벌써 AI의 안전성(Safety)의 시대를 뒤로 하고 보안(Security)의 시대로 성큼 다가서고 있다. 지난해 11월 설립된 한국의 AI 안전연구소가 광속도의 AI 트렌드를 잘 따라갈 수 있을까. 보안분야 종사자들의 어깨에도 책임의 무게가 더해져만 간다.
[성기노 기자(kino@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
성기노기자 기사보기
[2025-02-20] 
