AI가 촉발하는 보안 위협 확대, 올해 디지털 비즈니스 트렌드 순위권에 오르기도
이글루코퍼레이션, 생성형 AI에 대한 분석 보고서 발표
[보안뉴스 김영명 기자] 인공지능(AI)의 새 장을 연 오픈AI(OpenAI)의 ‘챗GPT(ChatGPT)’가 등장한 지 어느덧 1년이 지났다. 챗GPT는 생성형 AI 기술 수준을 끌어올렸을 뿐만 아니라 AI 산업을 뜨겁게 달군 주인공이기도 하다. 챗GPT 등장 이후 인류는 생성형 AI(Generative AI)에 주목하고 있다. 생성형 AI 기술의 넓은 쓰임새가 AI의 잠재력을 확인시켰으며, 기업들은 ‘AI 활용’ 경쟁에 빠지며 IT 기업들의 먹거리에도 변화가 찾아왔다.
GPT-3.5에 기반한 챗GPT, 부작용 드러나
챗GPT의 기반이 된 GPT-3.5는 2021년 8월까지 인터넷에서 수집된 데이터셋으로만 학습해 그 이상의 사회 현상 등 최신 정보를 요구하는 질문에 답변을 할 수 없다는 문제점이 발생했다. 이보다 더한 것은 틀린 답도 마치 정답인 것처럼 답을 하는 환각 현상(Hallucination, 할루시네이션)이다. 챗GPT는 사용자의 질문에 모르면 ‘모른다’고 답하지 못하고, 정답이 아닌 문맥상 가장 답과 유사한 정보를 끌어와 답하면서 틀린 답도 맞는 것처럼 대답하는 환각 현상이 발생했다.
챗GPT는 비윤리적인 답변도 문제로 부상했다. 사용자가 챗GPT에게 인종, 성별, 종교 등 민감하고 비도덕적인 질문을 하면, 챗GPT는 이를 필터링하지 못하고 비윤리적인 답변을 하는 사례가 등장했다. 이로 인해 챗GPT도 2021년 혐오 발언과 차별 등으로 인해 출시 21일만에 사라진 AI 챗봇 ‘이루다’의 행보를 걷는 것은 아닌지에 대한 우려가 등장하기도 했다. 이와 관련 당시 오픈AI의 샘 알트만(Sam Altman) CEO는 “챗GPT 기능이 상당히 제한된 상태”라며 “중대한 질문에 대한 답변을 챗GPT에 의지하는 것은 실수”라고 당부하기도 했다.
생성형 AI, 사이버 보안 위협에서는 ‘양날의 검’
생성형 AI가 인류에게 남긴 과제는 크게 △생성형 AI의 보안 위협 △생성형 AI의 환각 현상(할루시네이션)△LLM 개발·운영에 필요한 인프라 문제 시급 △생성형 AI의 저작권 문제 등이다. 그 가운데 생성형 AI의 보안 위협에 대해 다뤄본다.
생성형 AI는 사이버 보안 분야에서는 ‘양날의 검’으로 불린다. 생성형 AI를 활용해 보안업무를 고도화시킬 수 있는 반면, 사이버 공격자들은 생성형 AI를 △피싱 메일 생성 △악성코드 생성 △소스코드 내 취약점 식별 등에 활용하고 있다. 특히 악의적인 학습데이터 주입으로 결과물에 영향을 주는 데이터 오염 공격을 통해 생성형 AI 자체를 겨냥할 수 있는 만큼, 보안 문제 역시 해결해야 할 과제 중 하나다.
국가정보원은 생성형 AI 기술의 대표적인 보안 위협으로 △잘못된 정보 △AI 모델 악용 △유사 AI 모델 서비스 빙자 △데이터 유출 △플러그인 취약점 △확장 프로그램 취약점 △API 취약점 등을 지적했다.
먼저 ‘잘못된 정보’에서는 편향, 최신 데이터 학습 부족 및 환각 현상으로 인해 사회적 혼란을 조장하고, 고위험 의사 결정, 잘못된 의사 결정을 유도할 수 있다고 분석했다.
이어 ‘AI 모델 악용’에서는 적대적 시스템 메시지를 통해 피싱 이메일 및 인물을 도용하거나 사이버 보안 위협 코드를 작성할 수 있다. 이어 대화형 서비스를 악용한 사이버 범죄 커뮤니티 활성화, 사회 공학적 영향 및 가짜 뉴스를 생성하기도 한다.
‘유사 AI 모델 서비스 빙자’ 위협에서는 유사 악성 서비스 접근을 유도해 스쿼팅 URL 및 확장 프로그램을 만들거나 가짜 애플리케이션을 생성할 수도 있다.
‘데이터 유출’ 위협은 데이터 합성 과정 및 과도한 훈련 데이터 암기 문제, 대화 과정에서 개인·민감정보를 작성하는데서 따르는 문제다. 이에 대한 보안 위협은 훈련 데이터 유출, 데이터 불법 처리 우려, 기밀 유출, 대화 기록 유출, 데이터베이스 해킹 및 회원 추론 공격 등이 가능하다.
‘플러그인 취약점’은 AI 모델의 적용 범위와 확장, 안정성 확인 미흡, 해커 공격 범위의 확장 및 취약점이 있는 서비스와 연결에서 따른다. 이로 인한 보안 위협은 새로운 도메인에서의 모델 오작동, ‘에이전트’화된 AI 모델의 악용, 멀티모달 악용 등이 유발될 가능성이 있다.
다음으로 ‘확장 프로그램 취약점’은 확장 프로그램 내부 악성서비스 설치 및 서비스 제공 업체의 보안 조치 미흡에서 이뤄진다. 이에 대한 보안 위협으로는 개인정보 수집, 시스템 공격, 호스팅 서버·스토리지 시스템 위협 등이 있을 수 있다.
마지막으로 ‘API 취약점’은 미흡한 API 키 관리 및 데이터와 명령 사이의 불문명한 경계에서 발생한다. 이를 통해 API 키 탈취 및 악의적인 프롬프트 주입 등의 보안 위협이 따를 가능성이 있다.
AI발 보안 리스크 관리에 집중 필요
한국무역협회와 한국정보산업연합회가 지난해 11월에 개최한 ‘2024 디지털 이니셔티브 컨퍼런스’에서 ‘2024 디지털 비즈니스 트렌드 전망’ 보고서를 발표했다. 2024 디지털 비즈니스 트렌드 11가지는 ①비즈니스 생산성 향상을 위한 생성형 AI의 응용 확대 ②클라우드 AI 플랫폼 시장의 성장 및 확대 ③생성형 AI 기술 기반 스타트업들의 출현 ④AI가 촉발하는 정보보호·보안 위험 확대 ⑤클라우드 네이티브(Cloud Native)의 확산 지속 ⑥슈퍼 앱이 주도하는 플랫폼 비즈니스의 변화 ⑦AI 관련 반도체 생태계 활성화 ⑧협동 로봇, 서비스 로봇이 주도하는 로봇 시장의 성장 ⑨자율주행, UAM을 포함한 미래 모빌리티 시장 성숙 ⑩친환경 IT 기술 도입 및 기존 업무 친환경화 지원 통한 환경·사회·기업 지배구조(ESG) 경영 강화 ⑪Low-Code and No-Code(LCNC)를 통한 기업 디지털 혁신 가동화 등으로 선정됐다.
이 가운데 ‘AI가 촉발하는 정보보호·보안 위험 확대’는 4위를 차지했다. 생성형 AI의 발전은 보다 강화된 사이버 위협 탐지와 보호를 가능케 하지만, 동시에 사이버 공격자들의 랜섬웨어 등 악성코드 제작을 쉽게 하고, 피싱 및 딥페이크 등의 성능을 제고해 위험 수준을 높일 수 있다. 특히 올해는 미국 대선과 한국 총선이 예정돼 있어 생성형 AI발 가짜 뉴스·댓글의 위험이 크게 부각될 것으로 우려되며, AI로 유발되는 정보보호·보안 리스크 관리의 중요성이 떠오르고 있다.
가트너는 AI발 정보보호·보안 리스크 관리를 위해 AI 신뢰, 리스크, 보안관리(AI Trust, Risk and Security Management, 이하 AI TRiSM)를 제시한다. AI TRiSM은 △AI 신뢰(AI가 편견 없이 작업을 올바르게 수행하는 것) △AI 리스크(AI의 위험관리를 위해 정확하고 엄격한 거버넌스를 적용하는 것) △AI 보안 관리(무단 액세스, 침입, 조작으로부터 AI 시스템의 인프라, 데이터, 모델 등을 보호하는 것) 등이다.
[김영명 기자(boan@boannews.com)]
이글루코퍼레이션, 생성형 AI에 대한 분석 보고서 발표
[보안뉴스 김영명 기자] 인공지능(AI)의 새 장을 연 오픈AI(OpenAI)의 ‘챗GPT(ChatGPT)’가 등장한 지 어느덧 1년이 지났다. 챗GPT는 생성형 AI 기술 수준을 끌어올렸을 뿐만 아니라 AI 산업을 뜨겁게 달군 주인공이기도 하다. 챗GPT 등장 이후 인류는 생성형 AI(Generative AI)에 주목하고 있다. 생성형 AI 기술의 넓은 쓰임새가 AI의 잠재력을 확인시켰으며, 기업들은 ‘AI 활용’ 경쟁에 빠지며 IT 기업들의 먹거리에도 변화가 찾아왔다.
▲[이미지=gettyimagesbank]
GPT-3.5에 기반한 챗GPT, 부작용 드러나
챗GPT의 기반이 된 GPT-3.5는 2021년 8월까지 인터넷에서 수집된 데이터셋으로만 학습해 그 이상의 사회 현상 등 최신 정보를 요구하는 질문에 답변을 할 수 없다는 문제점이 발생했다. 이보다 더한 것은 틀린 답도 마치 정답인 것처럼 답을 하는 환각 현상(Hallucination, 할루시네이션)이다. 챗GPT는 사용자의 질문에 모르면 ‘모른다’고 답하지 못하고, 정답이 아닌 문맥상 가장 답과 유사한 정보를 끌어와 답하면서 틀린 답도 맞는 것처럼 대답하는 환각 현상이 발생했다.
챗GPT는 비윤리적인 답변도 문제로 부상했다. 사용자가 챗GPT에게 인종, 성별, 종교 등 민감하고 비도덕적인 질문을 하면, 챗GPT는 이를 필터링하지 못하고 비윤리적인 답변을 하는 사례가 등장했다. 이로 인해 챗GPT도 2021년 혐오 발언과 차별 등으로 인해 출시 21일만에 사라진 AI 챗봇 ‘이루다’의 행보를 걷는 것은 아닌지에 대한 우려가 등장하기도 했다. 이와 관련 당시 오픈AI의 샘 알트만(Sam Altman) CEO는 “챗GPT 기능이 상당히 제한된 상태”라며 “중대한 질문에 대한 답변을 챗GPT에 의지하는 것은 실수”라고 당부하기도 했다.
▲대규모 언어모델 등 생성형 AI 기술의 대표적인 보안 위협[자료=국가정보원]
생성형 AI, 사이버 보안 위협에서는 ‘양날의 검’
생성형 AI가 인류에게 남긴 과제는 크게 △생성형 AI의 보안 위협 △생성형 AI의 환각 현상(할루시네이션)△LLM 개발·운영에 필요한 인프라 문제 시급 △생성형 AI의 저작권 문제 등이다. 그 가운데 생성형 AI의 보안 위협에 대해 다뤄본다.
생성형 AI는 사이버 보안 분야에서는 ‘양날의 검’으로 불린다. 생성형 AI를 활용해 보안업무를 고도화시킬 수 있는 반면, 사이버 공격자들은 생성형 AI를 △피싱 메일 생성 △악성코드 생성 △소스코드 내 취약점 식별 등에 활용하고 있다. 특히 악의적인 학습데이터 주입으로 결과물에 영향을 주는 데이터 오염 공격을 통해 생성형 AI 자체를 겨냥할 수 있는 만큼, 보안 문제 역시 해결해야 할 과제 중 하나다.
국가정보원은 생성형 AI 기술의 대표적인 보안 위협으로 △잘못된 정보 △AI 모델 악용 △유사 AI 모델 서비스 빙자 △데이터 유출 △플러그인 취약점 △확장 프로그램 취약점 △API 취약점 등을 지적했다.
먼저 ‘잘못된 정보’에서는 편향, 최신 데이터 학습 부족 및 환각 현상으로 인해 사회적 혼란을 조장하고, 고위험 의사 결정, 잘못된 의사 결정을 유도할 수 있다고 분석했다.
이어 ‘AI 모델 악용’에서는 적대적 시스템 메시지를 통해 피싱 이메일 및 인물을 도용하거나 사이버 보안 위협 코드를 작성할 수 있다. 이어 대화형 서비스를 악용한 사이버 범죄 커뮤니티 활성화, 사회 공학적 영향 및 가짜 뉴스를 생성하기도 한다.
‘유사 AI 모델 서비스 빙자’ 위협에서는 유사 악성 서비스 접근을 유도해 스쿼팅 URL 및 확장 프로그램을 만들거나 가짜 애플리케이션을 생성할 수도 있다.
‘데이터 유출’ 위협은 데이터 합성 과정 및 과도한 훈련 데이터 암기 문제, 대화 과정에서 개인·민감정보를 작성하는데서 따르는 문제다. 이에 대한 보안 위협은 훈련 데이터 유출, 데이터 불법 처리 우려, 기밀 유출, 대화 기록 유출, 데이터베이스 해킹 및 회원 추론 공격 등이 가능하다.
‘플러그인 취약점’은 AI 모델의 적용 범위와 확장, 안정성 확인 미흡, 해커 공격 범위의 확장 및 취약점이 있는 서비스와 연결에서 따른다. 이로 인한 보안 위협은 새로운 도메인에서의 모델 오작동, ‘에이전트’화된 AI 모델의 악용, 멀티모달 악용 등이 유발될 가능성이 있다.
다음으로 ‘확장 프로그램 취약점’은 확장 프로그램 내부 악성서비스 설치 및 서비스 제공 업체의 보안 조치 미흡에서 이뤄진다. 이에 대한 보안 위협으로는 개인정보 수집, 시스템 공격, 호스팅 서버·스토리지 시스템 위협 등이 있을 수 있다.
마지막으로 ‘API 취약점’은 미흡한 API 키 관리 및 데이터와 명령 사이의 불문명한 경계에서 발생한다. 이를 통해 API 키 탈취 및 악의적인 프롬프트 주입 등의 보안 위협이 따를 가능성이 있다.
AI발 보안 리스크 관리에 집중 필요
한국무역협회와 한국정보산업연합회가 지난해 11월에 개최한 ‘2024 디지털 이니셔티브 컨퍼런스’에서 ‘2024 디지털 비즈니스 트렌드 전망’ 보고서를 발표했다. 2024 디지털 비즈니스 트렌드 11가지는 ①비즈니스 생산성 향상을 위한 생성형 AI의 응용 확대 ②클라우드 AI 플랫폼 시장의 성장 및 확대 ③생성형 AI 기술 기반 스타트업들의 출현 ④AI가 촉발하는 정보보호·보안 위험 확대 ⑤클라우드 네이티브(Cloud Native)의 확산 지속 ⑥슈퍼 앱이 주도하는 플랫폼 비즈니스의 변화 ⑦AI 관련 반도체 생태계 활성화 ⑧협동 로봇, 서비스 로봇이 주도하는 로봇 시장의 성장 ⑨자율주행, UAM을 포함한 미래 모빌리티 시장 성숙 ⑩친환경 IT 기술 도입 및 기존 업무 친환경화 지원 통한 환경·사회·기업 지배구조(ESG) 경영 강화 ⑪Low-Code and No-Code(LCNC)를 통한 기업 디지털 혁신 가동화 등으로 선정됐다.
▲한국정보산업연합회가 발표한 ‘AI TRiSM’ 구성 요소[재구성=이글루코퍼레이션]
이 가운데 ‘AI가 촉발하는 정보보호·보안 위험 확대’는 4위를 차지했다. 생성형 AI의 발전은 보다 강화된 사이버 위협 탐지와 보호를 가능케 하지만, 동시에 사이버 공격자들의 랜섬웨어 등 악성코드 제작을 쉽게 하고, 피싱 및 딥페이크 등의 성능을 제고해 위험 수준을 높일 수 있다. 특히 올해는 미국 대선과 한국 총선이 예정돼 있어 생성형 AI발 가짜 뉴스·댓글의 위험이 크게 부각될 것으로 우려되며, AI로 유발되는 정보보호·보안 리스크 관리의 중요성이 떠오르고 있다.
가트너는 AI발 정보보호·보안 리스크 관리를 위해 AI 신뢰, 리스크, 보안관리(AI Trust, Risk and Security Management, 이하 AI TRiSM)를 제시한다. AI TRiSM은 △AI 신뢰(AI가 편견 없이 작업을 올바르게 수행하는 것) △AI 리스크(AI의 위험관리를 위해 정확하고 엄격한 거버넌스를 적용하는 것) △AI 보안 관리(무단 액세스, 침입, 조작으로부터 AI 시스템의 인프라, 데이터, 모델 등을 보호하는 것) 등이다.
[김영명 기자(boan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
김영명기자 기사보기
[2024-12-24] 
.jpg)
