AI는 AI 고유의 위험성 존재... 대응책 마련은 AI 윤리, AI 신뢰, AI 보안으로 세분화해야
“정부, AI 보안 역량 강화 위한 기술 개발·연구, AI 산업 육성 및 인력 양성에 적극 투자해야”
[보안뉴스 김영명 기자] AI 활용이 전 산업군에서 확대되고 있지만, 아직까지 AI는 여러 가지 리스크와 보안 위협을 안고 있다. 이와 관련 과학기술정보통신부(이하 과기정통부) 이웅비 사무관은 IT21 글로벌 컨퍼런스에서 ‘인공지능(AI) 시대, 사이버 보안 위협과 정책 과제’를 주제로 AI 시대의 주요 위협과 보안 이슈, 공격자의 행태, 그리고 정부의 대응방안에 대해 설명하는 시간을 마련했다.
과기정통부 이웅비 사무관은 “AI의 국내외 동향을 보면, 올해 5월에 미국에서 개최된 RSAC 2024에서 주요 키워드 중 하나로 ‘AI Powered Cyber Security’가 회자됐을 만큼 AI 보안은 전 세계에서 주목하고 있는 주요 보안 이슈 중 하나”라고 설명했다.
AI의 리스크와 보안을 살펴보면 AI 리스크 측면에서는 AI 기술이 가진 고유의 위험을 생각해볼 수 있다. AI 키워드를 세분화하면 AI 윤리, AI 신뢰, AI 보안으로 나뉘는데, AI 윤리는 서비스를 개발·배포·활용하는 모든 과정에서 공정성, 정의, 투명성, 사회적 영향 등을 고려하는 도덕적 원칙과 가치를 뜻한다. 이어 AI 신뢰는 AI 서비스를 개발·배포·활용하는 모든 과정에서 AI의 의사결정 과정과 결과물 등을 믿고 보장하기 위한 정확성이나 무결성 같은 핵심 요소들을 충족하는 것을 의미한다. 마지막으로 AI 보안은 외부의 사이버공격·위협으로 인해 발생하는 AI 시스템과 서비스, AI 모델 대상 위협을 예방·대응하기 위한 정책적·기술적 활동을 말한다.
과기정통부 이웅비 사무관은 “AI 보안은 크게 AI 시스템·서비스 취약점, AI 데이터 유출, AI 악용으로 인한 위험 등에 대비하는 것”이라고 설명했다. AI 시스템·서비스 취약점은 AI 시스템과 모델 자체에 존재하는 취약점으로 인한 위험으로 시스템, 서비스 파괴 또는 모델 조작 등의 발생 가능성이 있다. AI 데이터 유출은 AI 시스템 구축과 운영, AI 모델 개발과 학습을 위해 수집, 변환(처리), 재처리, 관리되는 데이터가 유출되거나 공격자의 해킹으로 탈취되는 위협이다. 이 사무관은 “특히 AI 악용으로 인한 위험은 AI 모델 또는 시스템과 서비스를 악용하거나 AI를 잘못된 판단을 하도록 유도해 공격자가 의도한 악의적 행위 및 피싱·스미싱 등 범죄 실행, 악성코드 제작·유포 등을 수행할 수 있다는 것”이라고 말했다.
AI 보안 위협은 공격자가 AI 모델·시스템을 대상으로 AI 모델의 취약점을 공격하고 AI를 사이버 범죄에 악용하는 것이다. 이어서 AI 모델·시스템과 이용자 사이에서는 AI 저작권 이슈, AI 결과물 신뢰성 등을 이용자에게 줄 수 있지만, 이용자는 이를 활용해 불법 콘텐츠를 생성하거나 데이터를 유출하는 것이 가능하다.
또 하나의 AI 보안 위협은 AI 데이터 유출 및 탈취 위협이 있다. 이 사무관은 “최근 개인정보 등 중요 데이터 유출이 문제가 되는데, AI 서비스에 이용자가 데이터를 입력하거나 AI 모델 또는 시스템에 데이터를 수집하고 학습하는 과정에서 사용자의 개인정보, 민감정보가 유출될 수 있다”고 우려했다. 이어 “지난해 3월에는 AI 서비스에 기업 정보를 입력해 사용하던 중 해당 정보가 외부로 유출됐다”며 “이처럼 AI 서비스 또는 모델 해킹 등을 통해 개인정보, 기업 기밀정보, 민감정보 등이 유출되고 이에 따른 2차, 3차 피해가 발생할 수 있다”고 언급했다.
공격자들은 AI 기술을 악용해 대량의 피싱 메일을 손쉽게 작성할 수 있고, 다국적 언어 모델을 통해 전 세계를 대상으로 공격할 수 있다. 이 사무관은 “최근 피싱 메일, 스미싱, 보이스피싱 등 사회공학적 사이버 범죄가 증가하고 있으며, 이에 따른 경제적 피해 규모도 급증하는 추세”라며 “트렌드마이크로의 분석에 따르면 사이버 공격의 약 91%는 피싱 이메일로 시작되며, 미국연방수사국(FBI)의 2022년 자료에서는 미국의 피싱 피해 규모는 약 5,208만 달러(한화 약 720억원)에 달하는 것으로 추산되고 있다”고 설명했다. 이 사무관은 이어 “악성코드 제작·유포 및 취약점 분석에도 AI 기술인 LLM을 활용한 코드 생성 및 프로그램 진단 기능을 악용해 누구나 해킹 또는 시스템 탈취 등에 필요한 기능을 손쉽게 개발할 수 있다”며 “AI가 고도화될수록 예측할 수 없는 사이버 공격의 발생 가능성이 증가한다”고 우려했다.
또 다른 위협으로는 가짜뉴스와 딥페이크 등 신뢰성 낮은 정보의 생성 및 유포다. AI의 기술적 한계로 결과물에 대한 사실 검증이 불가능해 틀린 정보나 편향된 정보, 조작된 정보 등이 확산할 우려가 존재한다. 따라서 결과물에 대한 사용자의 무분별한 신뢰는 주의해야 하고, 진실성과 정확성 검증이 필요하다.
안전한 AI 활용 위한 정부의 AI 보안정책 방향은?
AI 보안 정책 과제를 살펴보면, 정부는 AI 시대로의 변화 과정에서 보안 위협을 최소화하기 위한 정책 추진이 필요하다. 이를 위한 정부의 주요 정책 방향으로는 AI 보안 역량 강화를 위한 기술 개발·연구, AI 활용 보안 체계 강화, AI 보안산업 육성 및 인력양성 등이 있다. 이는 AI 일상화에 대비해 국민과 기업이 AI 기술을 보다 안전하게 활용할 수 있는 기반을 조성하고, 이를 통해 보다 안전한 AI 시대로 발전을 유도하는 것을 목적으로 한다.
두 번째로는 AI 시대로의 변화 과정에서의 보안 위협을 최소화하기 위한 정책 추진이 필요하다는 점이다. 산업 육성을 위해서는 AI 보안 유망기업을 대상으로 한 AI 활용 보안 솔루션 및 서비스 개발을 지원하고, 보안체계 강화를 위해서는 사이버 스파이더(침해대응) 및 AI 스미싱·피싱 대응(민생범죄) 등 사이버 위협 고도화에 대비하기 위한 안전한 AI 활용 시스템을 구축하는 것이 중요하다.
과기정통부 이웅비 사무관은 AI 시대에 대비해 AI 기술 개발과 산업 진흥, 그리고 AI 시스템 및 모델 보안 강화가 상호 고려돼야 한다고 설명했다. 이 사무관은 ”AI 서비스 개발자·관리자 보안 모델 이용 및 이용자 AI 보안수칙 등을 마련해 AI 서비스의 안전한 활용 기반을 조성해야 한다“며 ”AI 보안 위협에 대한 대응 준비는 철저히 하면서도 성장 초기 단계인 AI 산업 발전을 저해하지 않도록 균형 있는 정책을 마련하고 시행해야 한다“고 말했다.
[김영명 기자(boan@boannews.com)]
“정부, AI 보안 역량 강화 위한 기술 개발·연구, AI 산업 육성 및 인력 양성에 적극 투자해야”
[보안뉴스 김영명 기자] AI 활용이 전 산업군에서 확대되고 있지만, 아직까지 AI는 여러 가지 리스크와 보안 위협을 안고 있다. 이와 관련 과학기술정보통신부(이하 과기정통부) 이웅비 사무관은 IT21 글로벌 컨퍼런스에서 ‘인공지능(AI) 시대, 사이버 보안 위협과 정책 과제’를 주제로 AI 시대의 주요 위협과 보안 이슈, 공격자의 행태, 그리고 정부의 대응방안에 대해 설명하는 시간을 마련했다.
[이미지=GettyImage]
과기정통부 이웅비 사무관은 “AI의 국내외 동향을 보면, 올해 5월에 미국에서 개최된 RSAC 2024에서 주요 키워드 중 하나로 ‘AI Powered Cyber Security’가 회자됐을 만큼 AI 보안은 전 세계에서 주목하고 있는 주요 보안 이슈 중 하나”라고 설명했다.
AI의 리스크와 보안을 살펴보면 AI 리스크 측면에서는 AI 기술이 가진 고유의 위험을 생각해볼 수 있다. AI 키워드를 세분화하면 AI 윤리, AI 신뢰, AI 보안으로 나뉘는데, AI 윤리는 서비스를 개발·배포·활용하는 모든 과정에서 공정성, 정의, 투명성, 사회적 영향 등을 고려하는 도덕적 원칙과 가치를 뜻한다. 이어 AI 신뢰는 AI 서비스를 개발·배포·활용하는 모든 과정에서 AI의 의사결정 과정과 결과물 등을 믿고 보장하기 위한 정확성이나 무결성 같은 핵심 요소들을 충족하는 것을 의미한다. 마지막으로 AI 보안은 외부의 사이버공격·위협으로 인해 발생하는 AI 시스템과 서비스, AI 모델 대상 위협을 예방·대응하기 위한 정책적·기술적 활동을 말한다.
과기정통부 이웅비 사무관은 “AI 보안은 크게 AI 시스템·서비스 취약점, AI 데이터 유출, AI 악용으로 인한 위험 등에 대비하는 것”이라고 설명했다. AI 시스템·서비스 취약점은 AI 시스템과 모델 자체에 존재하는 취약점으로 인한 위험으로 시스템, 서비스 파괴 또는 모델 조작 등의 발생 가능성이 있다. AI 데이터 유출은 AI 시스템 구축과 운영, AI 모델 개발과 학습을 위해 수집, 변환(처리), 재처리, 관리되는 데이터가 유출되거나 공격자의 해킹으로 탈취되는 위협이다. 이 사무관은 “특히 AI 악용으로 인한 위험은 AI 모델 또는 시스템과 서비스를 악용하거나 AI를 잘못된 판단을 하도록 유도해 공격자가 의도한 악의적 행위 및 피싱·스미싱 등 범죄 실행, 악성코드 제작·유포 등을 수행할 수 있다는 것”이라고 말했다.
AI 보안 위협은 공격자가 AI 모델·시스템을 대상으로 AI 모델의 취약점을 공격하고 AI를 사이버 범죄에 악용하는 것이다. 이어서 AI 모델·시스템과 이용자 사이에서는 AI 저작권 이슈, AI 결과물 신뢰성 등을 이용자에게 줄 수 있지만, 이용자는 이를 활용해 불법 콘텐츠를 생성하거나 데이터를 유출하는 것이 가능하다.
또 하나의 AI 보안 위협은 AI 데이터 유출 및 탈취 위협이 있다. 이 사무관은 “최근 개인정보 등 중요 데이터 유출이 문제가 되는데, AI 서비스에 이용자가 데이터를 입력하거나 AI 모델 또는 시스템에 데이터를 수집하고 학습하는 과정에서 사용자의 개인정보, 민감정보가 유출될 수 있다”고 우려했다. 이어 “지난해 3월에는 AI 서비스에 기업 정보를 입력해 사용하던 중 해당 정보가 외부로 유출됐다”며 “이처럼 AI 서비스 또는 모델 해킹 등을 통해 개인정보, 기업 기밀정보, 민감정보 등이 유출되고 이에 따른 2차, 3차 피해가 발생할 수 있다”고 언급했다.
공격자들은 AI 기술을 악용해 대량의 피싱 메일을 손쉽게 작성할 수 있고, 다국적 언어 모델을 통해 전 세계를 대상으로 공격할 수 있다. 이 사무관은 “최근 피싱 메일, 스미싱, 보이스피싱 등 사회공학적 사이버 범죄가 증가하고 있으며, 이에 따른 경제적 피해 규모도 급증하는 추세”라며 “트렌드마이크로의 분석에 따르면 사이버 공격의 약 91%는 피싱 이메일로 시작되며, 미국연방수사국(FBI)의 2022년 자료에서는 미국의 피싱 피해 규모는 약 5,208만 달러(한화 약 720억원)에 달하는 것으로 추산되고 있다”고 설명했다. 이 사무관은 이어 “악성코드 제작·유포 및 취약점 분석에도 AI 기술인 LLM을 활용한 코드 생성 및 프로그램 진단 기능을 악용해 누구나 해킹 또는 시스템 탈취 등에 필요한 기능을 손쉽게 개발할 수 있다”며 “AI가 고도화될수록 예측할 수 없는 사이버 공격의 발생 가능성이 증가한다”고 우려했다.
또 다른 위협으로는 가짜뉴스와 딥페이크 등 신뢰성 낮은 정보의 생성 및 유포다. AI의 기술적 한계로 결과물에 대한 사실 검증이 불가능해 틀린 정보나 편향된 정보, 조작된 정보 등이 확산할 우려가 존재한다. 따라서 결과물에 대한 사용자의 무분별한 신뢰는 주의해야 하고, 진실성과 정확성 검증이 필요하다.
안전한 AI 활용 위한 정부의 AI 보안정책 방향은?
▲과학기술정보통신부 이웅비 사무관[사진=보안뉴스]
두 번째로는 AI 시대로의 변화 과정에서의 보안 위협을 최소화하기 위한 정책 추진이 필요하다는 점이다. 산업 육성을 위해서는 AI 보안 유망기업을 대상으로 한 AI 활용 보안 솔루션 및 서비스 개발을 지원하고, 보안체계 강화를 위해서는 사이버 스파이더(침해대응) 및 AI 스미싱·피싱 대응(민생범죄) 등 사이버 위협 고도화에 대비하기 위한 안전한 AI 활용 시스템을 구축하는 것이 중요하다.
과기정통부 이웅비 사무관은 AI 시대에 대비해 AI 기술 개발과 산업 진흥, 그리고 AI 시스템 및 모델 보안 강화가 상호 고려돼야 한다고 설명했다. 이 사무관은 ”AI 서비스 개발자·관리자 보안 모델 이용 및 이용자 AI 보안수칙 등을 마련해 AI 서비스의 안전한 활용 기반을 조성해야 한다“며 ”AI 보안 위협에 대한 대응 준비는 철저히 하면서도 성장 초기 단계인 AI 산업 발전을 저해하지 않도록 균형 있는 정책을 마련하고 시행해야 한다“고 말했다.
[김영명 기자(boan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
김영명기자 기사보기
[2024-09-14] 
.jpg)
