.jpg)
개인부터 회사, 공공기관까지 업무 현장에서의 AI 활용 확대에 따른 보안체계 마련 필요
국가정보원 발표 ‘챗GPT 등 생성형 AI 활용 보안 가이드라인’ 주요 내용 살펴보니
[보안뉴스 이소미 기자] 바야흐로 AI(인공지능) 시대를 넘어 AGI(범용인공지능) 시대가 도래했다. 올해 전 산업계의 핫 키워드로 떠오른 ‘챗GPT’ 등 생성형 AI 때문이다. 그러나 빛이 있으면 그림자도 있는 법. AI에 의한 사이버 공격 피해도 점차 커지고 있다.
이에 세계 각국은 챗GPT 같은 생성형 AI로 인해 발생 가능한 부작용을 사전에 차단하고자 각종 대처방안 마련에 나섰다. 미국과 유럽연합은 정부 차원에서 ‘AI 행동강령’ 제작에 착수했고, 이탈리아 정부는 ‘정보보호’ 명목으로 챗GPT 접속을 차단했다가 운영사의 보안조치 시행을 확인한 뒤 접속을 재개하기도 했다. 국내외 민간 기업들도 사내 보안정책을 강화하는 추세다.
이러한 가운데 국가정보원(이하 국정원)은 공공기관을 포함한 여러 기관에서 해당 기술의 안전한 활용을 위한 ‘챗GPT 등 생성형 AI 기술 활용 보안 가이드라인’을 마련했다. 이에 본지는 공식 가이드라인을 토대로 챗GPT와 같은 생성형 AI 모델 활용 시 주의해야 할 대표적인 보안 위협에 대해 알아봤다.
학습데이터 한계 또는 악의적 학습에 의한 잘못된 ‘가짜’ 정보 제공
생성형 AI 모델은 사용자의 입력 데이터에 따른 방대한 학습력을 토대로 내부 서버를 통해 수집·분석·도출 과정을 거쳐 사용자에게 최종적으로 답변을 전달한다. 하지만, 모든 학습 데이터는 결국 사람에 의해 형성되는 정보로 오남용되면 사회적 문제가 야기될 가능성도 있다.
학습 시 편향된 정보나 최신 데이터 학습 부족으로 인한 환각 현상이 발현돼 잘못된 의사 결정이나 고위험 의사 결정을 유도할 수 있다. AI 모델은 기본적으로 새로운 콘텐츠 생성 능력을 사용자 답변에 활용한다. 하지만 ‘답변’으로 제공된다고 해서 모두 ‘정답’이 아닌 경우가 있다. 이렇게 사용자가 답변을 무조건적으로 정확한 정보라고 받아들이는 것을 ‘환각 현상(Hallucination)’이라고 부른다.
이러한 챗GPT의 한계점으로 생성된 잘못된 결과물은 사회적 혼란을 조장하거나 해커에 의해 악용될 위험성을 갖고 있다. 실제로 대중을 속이는 가짜 뉴스로 인해 주식시장 지수에 지대한 영향을 미친 사례도 있다. 지난해 5월 ‘펜타곤 폭발 사건’은 가짜 뉴스로 밝혀졌지만, 당시 S&P 지수가 30포인트 폭락하기도 했다.
따라서 생성형 AI가 정치적 의사 결정 또는 법률·건강 관련 조언을 거짓으로 제공하는 경우 AI 서비스 활용을 제한하는 이용 정책을 수립·안내하고 있다. ‘지능정보화 기본법 시행령’ 제16조 2항에서는 국민의 생명 또는 신체안전 등에 밀접한 지능정보기술을 이용하는 사람의 생명·신체를 보호하는데 현저한 지장을 줄 우려가 있는 기술‘로 정의하고 있어 LLM 등 생성형 AI 사용에 충분한 주의가 필요하다.
챗GPT의 두 얼굴, 누가 칼자루를 쥐느냐에 달렸다
생성형 AI 기술의 양면성은 기술 개발자 및 보안 담당자들에게 편의성·정확성을 제공하지만, 공격자인 해커들에게는 악용할 기회도 함께 제공하게 된다. 특히, 생성형 AI가 갖는 유연성은 악의적인 시스템 메시지를 통해 유해 콘텐츠를 생산하는데 악용될 수 있다. 따라서 사용자 요청에 대한 적절한 제약 조건이 없다면 심각한 문제를 야기할 수 있다.
챗GPT가 갖는 장점 중 하나는 자연어 처리 즉 사람의 언어를 자연스럽게 표현할 수 있다는 점이다. 이처럼 AI 모델은 정교한 텍스트 스타일을 생산해낼 수 있다. 이를 악용해 피싱 이메일, 말투 도용은 물론 AI 보이스피싱 피해를 입은 사례들이 지속적으로 증가하고 있다.
또한, 기본적인 AI 모델의 능력으로 소프트웨어 코드 생성이 있는데 해커들이 악용할 경우 악성코드 작성에 이용할 수 있다. 특히, 에이전트화된 AI 모델은 특정 업무를 지원하는 신뢰성 높은 시스템으로 활용되는데, 반대로 해커는 이 점을 악용해 부정확하거나 위험한 정보를 생성하거나 악성코드를 전파하는 등 보안에 심각한 위협을 가할 수 있다.
해커들은 보통 ‘모방’과 ‘도용’을 핵심으로 한다. 이 때문에 정상적인 AI 모델 서비스를 가장한 악성 AI 서비스 URL을 제공해 악성코드를 내포한 악성 서비스를 퍼뜨릴 수 있다. 이들은 얼마든지 스쿼팅 URL 및 확장 프로그램이나 가짜 애플리케이션을 형성해 개인정보 도용 및 금융정보·민감정보, 사내 기밀까지 유출될 수 있다.
사용자의 무분별한 데이터 입력은 해커들의 ‘먹잇감’
생성형 AI 모델의 답변 신뢰도 기준은 ‘데이터 입력량’과 비례한다. 따라서 과도하게 학습된 데이터를 더욱 신뢰해 내부 정보를 유출할 수 있다. 사용자가 내부 업무정보나 개인정보를 입력할 수도 있고 AI 모델의 훈련 데이터로 사용할 수도 있기 때문에 해당 정보가 노출되지 않도록 입력하지 않는 것이 최선이다. 혹여 사용자가 민감정보와 개인정보 비식별 처리를 진행했더라도 AI 모델은 외부 정보와의 결합을 통해 비식별화된 정보까지 추출할 가능성이 있다.
생성형 AI의 정보량이 아무리 방대하다지만 사람이 아니기에 사람과 같은 사리 분별은 안 된다는 것이다. 해당 모델 이용 시 기본적으로 늘 염두에 두어야 하는 사항은 사용자가 입력하는 모든 데이터가 서비스 제공자에게 남는다는 사실이다. 최악의 경우 해커가 서비스 제공자의 데이터베이스를 해킹하거나 회원추론(membership inference) 공격을 수행해 기밀성(confidentiality)을 침해할 가능성도 있다.
해커는 늘 ‘빈틈’을 노린다, 생성형 AI가 가지는 각종 취약점은?
보안은 ‘창과 방패’의 관계다. 해커들은 늘 허점을 노리고 각종 시스템·소프트웨어·하위버전 등의 취약점을 노린다. AI 모델이 갖는 이점 중 하나는 활용 및 적용 범위의 ‘확장성’이다. 하지만 이러한 확장성은 동시에 새로운 취약점을 초래해 보안 위협이 증가할 수밖에 없다.
생성형 AI 모델의 플러그인 기능은 해커에 의해 새로운 공격 도구로 악용될 수 있다. AI가 생성한 다양한 콘텐츠 및 정보를 통해 사기·도용·피싱·개인정보 유출·악성코드 제작 등의 공격 행위가 보다 고도화될 수 있다.
또한, 새로운 확장프로그램이 해커들의 공격 루트가 될 수 있다. 이는 외부 프로그램에서 생성형 AI의 기능을 사용할 수 있도록 제공하는 서비스로 본래 특정 요구 사항에 맞는 기능 추가나 사용자에게 높은 활용성과 편의성 제공을 위해 개발된 것이다. 하지만, 서비스 제공자가 이를 직접 관리하지 않는 악용사례에 유의해야 한다. 예를 들어, 백도어(backdoor)를 설치하거나 코드를 변조해 원 기능 외에 개인정보 수집, 시스템 취약점 공격 등의 악용 행위를 수행할 수도 있다. 뿐만 아니라 시스템 공격에도 이용될 수 있어 랜섬웨어 공격이나 좀비 PC로 만들어 DDos 공격을 가할 수 있다.
끝으로 취약점이 노출되는 원인 중 하나로 ‘미흡한 API 키 관리’가 있는데, 이는 데이터 및 시스템 보안까지 위협할 수 있다. 만약 API 키가 보호되지 않고 노출된다면, 민감 정보 접근이나 인증·권한 부여 프로세스 취약점을 뚫고 비인가된 작업 수행이나 엑세스 또는 권한 탈취 등 공격자의 시스템 침입이 이루어질 수 있다.
발생할 수 있는 모든 공격들을 사전에 숙지하고 예방할 때에만 신기술 활용 역시 의미가 있다. 개인정보를 포함한 기관 내 민감 정보 입력은 지양해야 하고, AI 모델과 대화 중 보안 관련 질문 발생 시 답변을 자제해야 한다. 또한, △데이터 보관·삭제 정책 이해 및 준수와 보안 △올바른 서비스 플러그인과 확장 프로그램 사용 및 관리 등을 통해 생성형 AI 모델의 안전한 활용방안을 마련해 나가야 한다.
[이소미 기자(boan4@boannews.com)]
국가정보원 발표 ‘챗GPT 등 생성형 AI 활용 보안 가이드라인’ 주요 내용 살펴보니
[보안뉴스 이소미 기자] 바야흐로 AI(인공지능) 시대를 넘어 AGI(범용인공지능) 시대가 도래했다. 올해 전 산업계의 핫 키워드로 떠오른 ‘챗GPT’ 등 생성형 AI 때문이다. 그러나 빛이 있으면 그림자도 있는 법. AI에 의한 사이버 공격 피해도 점차 커지고 있다.
[이미지=gettyimagesbank]
이에 세계 각국은 챗GPT 같은 생성형 AI로 인해 발생 가능한 부작용을 사전에 차단하고자 각종 대처방안 마련에 나섰다. 미국과 유럽연합은 정부 차원에서 ‘AI 행동강령’ 제작에 착수했고, 이탈리아 정부는 ‘정보보호’ 명목으로 챗GPT 접속을 차단했다가 운영사의 보안조치 시행을 확인한 뒤 접속을 재개하기도 했다. 국내외 민간 기업들도 사내 보안정책을 강화하는 추세다.
이러한 가운데 국가정보원(이하 국정원)은 공공기관을 포함한 여러 기관에서 해당 기술의 안전한 활용을 위한 ‘챗GPT 등 생성형 AI 기술 활용 보안 가이드라인’을 마련했다. 이에 본지는 공식 가이드라인을 토대로 챗GPT와 같은 생성형 AI 모델 활용 시 주의해야 할 대표적인 보안 위협에 대해 알아봤다.
학습데이터 한계 또는 악의적 학습에 의한 잘못된 ‘가짜’ 정보 제공
생성형 AI 모델은 사용자의 입력 데이터에 따른 방대한 학습력을 토대로 내부 서버를 통해 수집·분석·도출 과정을 거쳐 사용자에게 최종적으로 답변을 전달한다. 하지만, 모든 학습 데이터는 결국 사람에 의해 형성되는 정보로 오남용되면 사회적 문제가 야기될 가능성도 있다.
학습 시 편향된 정보나 최신 데이터 학습 부족으로 인한 환각 현상이 발현돼 잘못된 의사 결정이나 고위험 의사 결정을 유도할 수 있다. AI 모델은 기본적으로 새로운 콘텐츠 생성 능력을 사용자 답변에 활용한다. 하지만 ‘답변’으로 제공된다고 해서 모두 ‘정답’이 아닌 경우가 있다. 이렇게 사용자가 답변을 무조건적으로 정확한 정보라고 받아들이는 것을 ‘환각 현상(Hallucination)’이라고 부른다.
이러한 챗GPT의 한계점으로 생성된 잘못된 결과물은 사회적 혼란을 조장하거나 해커에 의해 악용될 위험성을 갖고 있다. 실제로 대중을 속이는 가짜 뉴스로 인해 주식시장 지수에 지대한 영향을 미친 사례도 있다. 지난해 5월 ‘펜타곤 폭발 사건’은 가짜 뉴스로 밝혀졌지만, 당시 S&P 지수가 30포인트 폭락하기도 했다.
따라서 생성형 AI가 정치적 의사 결정 또는 법률·건강 관련 조언을 거짓으로 제공하는 경우 AI 서비스 활용을 제한하는 이용 정책을 수립·안내하고 있다. ‘지능정보화 기본법 시행령’ 제16조 2항에서는 국민의 생명 또는 신체안전 등에 밀접한 지능정보기술을 이용하는 사람의 생명·신체를 보호하는데 현저한 지장을 줄 우려가 있는 기술‘로 정의하고 있어 LLM 등 생성형 AI 사용에 충분한 주의가 필요하다.
▲챗GPT 등 생성형 AI 활용 보안 가이드라인[이미지=국가정보원]
챗GPT의 두 얼굴, 누가 칼자루를 쥐느냐에 달렸다
생성형 AI 기술의 양면성은 기술 개발자 및 보안 담당자들에게 편의성·정확성을 제공하지만, 공격자인 해커들에게는 악용할 기회도 함께 제공하게 된다. 특히, 생성형 AI가 갖는 유연성은 악의적인 시스템 메시지를 통해 유해 콘텐츠를 생산하는데 악용될 수 있다. 따라서 사용자 요청에 대한 적절한 제약 조건이 없다면 심각한 문제를 야기할 수 있다.
챗GPT가 갖는 장점 중 하나는 자연어 처리 즉 사람의 언어를 자연스럽게 표현할 수 있다는 점이다. 이처럼 AI 모델은 정교한 텍스트 스타일을 생산해낼 수 있다. 이를 악용해 피싱 이메일, 말투 도용은 물론 AI 보이스피싱 피해를 입은 사례들이 지속적으로 증가하고 있다.
또한, 기본적인 AI 모델의 능력으로 소프트웨어 코드 생성이 있는데 해커들이 악용할 경우 악성코드 작성에 이용할 수 있다. 특히, 에이전트화된 AI 모델은 특정 업무를 지원하는 신뢰성 높은 시스템으로 활용되는데, 반대로 해커는 이 점을 악용해 부정확하거나 위험한 정보를 생성하거나 악성코드를 전파하는 등 보안에 심각한 위협을 가할 수 있다.
해커들은 보통 ‘모방’과 ‘도용’을 핵심으로 한다. 이 때문에 정상적인 AI 모델 서비스를 가장한 악성 AI 서비스 URL을 제공해 악성코드를 내포한 악성 서비스를 퍼뜨릴 수 있다. 이들은 얼마든지 스쿼팅 URL 및 확장 프로그램이나 가짜 애플리케이션을 형성해 개인정보 도용 및 금융정보·민감정보, 사내 기밀까지 유출될 수 있다.
사용자의 무분별한 데이터 입력은 해커들의 ‘먹잇감’
생성형 AI 모델의 답변 신뢰도 기준은 ‘데이터 입력량’과 비례한다. 따라서 과도하게 학습된 데이터를 더욱 신뢰해 내부 정보를 유출할 수 있다. 사용자가 내부 업무정보나 개인정보를 입력할 수도 있고 AI 모델의 훈련 데이터로 사용할 수도 있기 때문에 해당 정보가 노출되지 않도록 입력하지 않는 것이 최선이다. 혹여 사용자가 민감정보와 개인정보 비식별 처리를 진행했더라도 AI 모델은 외부 정보와의 결합을 통해 비식별화된 정보까지 추출할 가능성이 있다.
생성형 AI의 정보량이 아무리 방대하다지만 사람이 아니기에 사람과 같은 사리 분별은 안 된다는 것이다. 해당 모델 이용 시 기본적으로 늘 염두에 두어야 하는 사항은 사용자가 입력하는 모든 데이터가 서비스 제공자에게 남는다는 사실이다. 최악의 경우 해커가 서비스 제공자의 데이터베이스를 해킹하거나 회원추론(membership inference) 공격을 수행해 기밀성(confidentiality)을 침해할 가능성도 있다.
▲챗GPT 등 생성형 AI 활용 보안 가이드라인[이미지=국가정보원]
해커는 늘 ‘빈틈’을 노린다, 생성형 AI가 가지는 각종 취약점은?
보안은 ‘창과 방패’의 관계다. 해커들은 늘 허점을 노리고 각종 시스템·소프트웨어·하위버전 등의 취약점을 노린다. AI 모델이 갖는 이점 중 하나는 활용 및 적용 범위의 ‘확장성’이다. 하지만 이러한 확장성은 동시에 새로운 취약점을 초래해 보안 위협이 증가할 수밖에 없다.
생성형 AI 모델의 플러그인 기능은 해커에 의해 새로운 공격 도구로 악용될 수 있다. AI가 생성한 다양한 콘텐츠 및 정보를 통해 사기·도용·피싱·개인정보 유출·악성코드 제작 등의 공격 행위가 보다 고도화될 수 있다.
또한, 새로운 확장프로그램이 해커들의 공격 루트가 될 수 있다. 이는 외부 프로그램에서 생성형 AI의 기능을 사용할 수 있도록 제공하는 서비스로 본래 특정 요구 사항에 맞는 기능 추가나 사용자에게 높은 활용성과 편의성 제공을 위해 개발된 것이다. 하지만, 서비스 제공자가 이를 직접 관리하지 않는 악용사례에 유의해야 한다. 예를 들어, 백도어(backdoor)를 설치하거나 코드를 변조해 원 기능 외에 개인정보 수집, 시스템 취약점 공격 등의 악용 행위를 수행할 수도 있다. 뿐만 아니라 시스템 공격에도 이용될 수 있어 랜섬웨어 공격이나 좀비 PC로 만들어 DDos 공격을 가할 수 있다.
끝으로 취약점이 노출되는 원인 중 하나로 ‘미흡한 API 키 관리’가 있는데, 이는 데이터 및 시스템 보안까지 위협할 수 있다. 만약 API 키가 보호되지 않고 노출된다면, 민감 정보 접근이나 인증·권한 부여 프로세스 취약점을 뚫고 비인가된 작업 수행이나 엑세스 또는 권한 탈취 등 공격자의 시스템 침입이 이루어질 수 있다.
발생할 수 있는 모든 공격들을 사전에 숙지하고 예방할 때에만 신기술 활용 역시 의미가 있다. 개인정보를 포함한 기관 내 민감 정보 입력은 지양해야 하고, AI 모델과 대화 중 보안 관련 질문 발생 시 답변을 자제해야 한다. 또한, △데이터 보관·삭제 정책 이해 및 준수와 보안 △올바른 서비스 플러그인과 확장 프로그램 사용 및 관리 등을 통해 생성형 AI 모델의 안전한 활용방안을 마련해 나가야 한다.
[이소미 기자(boan4@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
이소미기자 기사보기
[2024-11-22] .jpg)
.jpg)
.jpg)
.jpg)
.jpg)
