.jpg)
권태경 회장, “생성형 AI, ‘환각현상’과 ‘데이터 편향’으로 사용자 공격도 가능”
한국정보보호학회 AI보안연구회...보안 강화 위한 AI 사용 노하우, 안전한 AI 구동 두 축
생성형 AI 사용 시, 개인정보 입력 주의...검증 프로세스 및 AI 보안 윤리교육도 필수
[보안뉴스 김영명 기자] 챗GPT로 전 세계에 돌풍이 불기 시작한 생성형 AI의 등장은 ‘신기함’과 함께 ‘두려움’도 가져왔다. 오픈AI의 챗GPT, 마이크로소프트의 코파일럿(Copilot), 그 외에 우리나라만 해도 많은 기업이 각자 자체 개발한 생성형 AI 플랫폼을 선보이고 있다. 하지만 그 이면에는 피싱 메일과 BEC 공격을 돕는 인공지능 기반 공격 도구도 등장해 보안업계를 긴장시키고 있다.
한국정보보호학회 산하 연구회 중에는 올해 6년차를 맞는 ‘AI보안연구회’가 있다. AI보안연구회는 ‘보안 강화를 위해 AI 기술을 어떻게 활용할지’와 ‘스스로 학습하는 AI를 어떻게 데이터 오염 없이 안전하게 구동할지’ 등 두 가지 대주제 중심으로 연구하고 있다. AI보안연구회 설립의 주역이자 제3대 회장인 연세대 정보대학원 정보보호연구실 권태경 교수를 만났다.
AI의 미래 가치, 보안 강화에 어떻게 활용할까
권 교수는 현실에서 불가능한 모든 것이 실현되는 SF물에 빠지며 보안에 눈을 떴고, 석사과정 2년차 때부터 보안 전문가의 길로 들어섰다. 그는 “SF에서의 신기함이 모두 AI에 녹아 있었고, 보안 프로토콜, 암호 프로토콜 등 저의 연구가 모이는 곳이 ‘AI 보안’이었다”며 “IT 기술은 꾸준히 발전했지만, 이를 악용하는 공격에 대한 대응은 미흡해 할 일이 너무 많다”고 밝혔다.
권 교수는 숭실대 전자정보공학부 정수환 교수와 함께 ‘AI보안연구회’를 만들었다. 2019년에 설립한 AI보안연구회는 ‘AI의 미래가치와 보안’를 중심으로 80여명이 활동하고 있다. 권 교수는 올해 안에 100명 이상으로 회원을 늘릴 계획이다.
권태경 교수가 AI와 인연을 맺은 것은 바이오 매트릭스 등 옳고 그름이 애매한 이슈의 판별에 AI를 활용하기 위해서였다. 권 교수는 “AI 모델의 판별 결과를 분석하며 학습한 데이터 결과와 실제 입력 결과에서의 갭, 즉 ’모델 강건성(robustness)‘을 깨달았다”며 “이 둘 사이에 다리를 놓는다는 ‘브리징 더 갭(Bridging the Gap)’으로 문제를 해결하려고 연구 중”이라고 말했다.
AI 기술을 활용해 보안을 더욱 강화하고 악성코드 분류나 데이터 탐지, 생체인식 등 다양한 목적으로 활용하는 것을 ‘AI for Security’라고 부른다. 반면에 ‘안전함’을 기반으로 AI의 수준을 높이는 것은 ‘Security for AI’라 한다. 권 교수는 “이 ‘Security for AI’가 ‘모델의 강건성’과 맞닿아 있는데, 연구회는 이 둘을 함께 연구하고 있다”고 설명했다.
스스로 생각하는 AI, 보안 및 안전 위협 수위 높여
AI 보안에서 안전성 문제는 입력과 출력을 통해 그 심각성을 구분해볼 수 있다. 기존 AI 보안을 살펴보면 공격자는 ‘적대적 예제’로 입력 데이터를 조작해 모델의 출력 결과에 오류를 일으키는 단편적인 위협이었다. 반면 생성형 AI에서는 다양한 지시가 가능한 ‘프롬프트’ 입력체계를 통해 입력을 직접 조작하며 AI 모델을 악용한 다양한 생성물로 더욱 강력한 공격이 가능해졌다. 특히 연속적인 명령 사이의 존재하는 문맥 특성과 추가적인 데이터 조작을 통해 더 복합적인 위협을 가할 수 있다. 그뿐만 아니라 AI 모델은 진보에 거듭하며 스스로 생각하는 능력을 키우고 있어 사용자가 입력한 명령을 거부하거나 트로이목마와 같은 악성 기능을 사용자에게 전달하는 출력물에 포함시킨다면 더욱 심각한 위협이 될 것이라는 게 권 교수의 설명이다.
“요즘 생성형 AI 모델 파라미터는 보통 수십~수백억개로 구성되는데, 이걸 사람이 다 검증할 수 없어요. 지금도 생성형 AI가 할루시네이션(hallucination, 환각현상)이나 데이터 바이어스(Data Bias, 데이터 편향)로 인한 오류를 일으키는 문제를 제대로 해결하지 못하고 있거든요.” 권 교수는 이 같은 유형을 AI 모델이 예상과 달리 행동하는 사례라고 말한다.
하지만 앞으로 AI 모델이 더욱 복잡해지고 조금 더 자율적인 기능으로 발전한다면 어떨까? 단순한 오류를 넘어 AI가 우리의 명령을 거부하거나 우리가 전혀 예상치 못한 행동을 한다면? 권 교수는 “예를 들어, AI에게 ‘어떤 에디터를 만들어줘’라고 명령했는데 AI는 명령에 따라 에디터를 만들고 거기에 받은 명령 외에 스스로 악성코드를 몰래 심어서 사용자를 감시하려 할 수도 있을 것”이라며 “마치 SF 영화에서나 볼 수 있던 것이 현실로 다가올 수도 있다”고 강조했다.
인공지능은 지금과 같은 ANI(Artificial Narrow Intelligence) 수준에서 더욱 발전해 AGI(Artificial General Intelligence, 일반 인공지능), 그리고 ASI(Artificial Super Intelligence, 초인공지능)까지 점점 더 능력을 키워나갈 것으로 보인다. 실제 ASI 단계가 구현되면 AI가 사람을 지배할 수 있다는 우려도 제기된다. 권 교수는 “딥러닝의 아버지로도 잘 알려진 제프리 힌튼(Jeffrey Hinton) 교수가 지난해 ‘10년 내 자율적으로 인간을 죽이는 로봇 병기가 등장할 것’이라고 경고했다”며 “AI 보안 연구자들은 이와 같은 AI 기술의 발전에 신속하게 대응하고 능동적으로 대비하는 책임감 있는 연구를 수행해야 할 것”이라고 당부했다.
생성형 AI의 보안 위협, 사용자의 확고한 인식 중요
오픈AI의 ‘생성형 AI’ 발표 이후 전 세계에서 생성형 AI 붐이 일어나고 있다. 생성형 AI가 가져올 긍정적인 변화는 업무의 편의성은 물론 가짜뉴스, 사이버 공격 등 사회 불안 요소에 대해 사람을 대신해서 대응하고 데이터 분석 등을 통해 보안 효율을 끌어올릴 수 있다는 점이다. 부정적인 측면이라면 공격자도 이를 활용한다는 것이다. 공격자가 생성형 AI를 악용하면 보안을 뚫을 노하우를 요청하고, 취약점을 찾거나 악성코드을 제작하며, 보다 효과적인 BEC 공격이 가능한 피싱 메일도 제공한다.
권 교수는 “생성형 AI의 BEC 공격은 진짜 메일인지 구분이 힘들어 큰 위협이 될 수 있다”며 “챗GPT를 이용한 피싱 메일은 너무 정교해 모든 메일을 의심해야 하는 상황까지 올 수 있다”고 우려했다. 생성형 AI를 사용할 때 확장 프로그램 등을 추가하면 입력정보가 서드파티에 넘어가기 때문에 내부 필터 마련이 필요하다. 또한 대민 서비스에서는 보안망을 철저히 구축해야 한다는 게 권 교수의 조언이다.
권태경 교수는 “사용자들은 생성형 AI에 한번 입력된 내용은 지울 수 없다는 사실을 미리 인식하고, 개인정보 유출에 신중을 기해야 한다”며 “특히 양자컴퓨터가 활성화되면 해당 기능을 충분히 활용하는 AI의 개발과 함께 기존의 보안 기능은 순식간에 무력화될 수 있다”고 밝혔다. 이어 “보안기업과 보안인들은 AI 보안의 미래 안전을 위해 책임감 있게 연구하는 것이 중요할 것”이라며 “AI 서비스 기업들은 AI 모델의 꼼꼼한 검증 프로세스를 만들고 사용자에 대한 윤리교육과 함께 주의사항을 알리는 책임도 요구된다”며 ‘AI 보안의 중요성’을 다시 한번 강조했다.
[김영명 기자(boan@boannews.com)]
한국정보보호학회 AI보안연구회...보안 강화 위한 AI 사용 노하우, 안전한 AI 구동 두 축
생성형 AI 사용 시, 개인정보 입력 주의...검증 프로세스 및 AI 보안 윤리교육도 필수
[보안뉴스 김영명 기자] 챗GPT로 전 세계에 돌풍이 불기 시작한 생성형 AI의 등장은 ‘신기함’과 함께 ‘두려움’도 가져왔다. 오픈AI의 챗GPT, 마이크로소프트의 코파일럿(Copilot), 그 외에 우리나라만 해도 많은 기업이 각자 자체 개발한 생성형 AI 플랫폼을 선보이고 있다. 하지만 그 이면에는 피싱 메일과 BEC 공격을 돕는 인공지능 기반 공격 도구도 등장해 보안업계를 긴장시키고 있다.
▲한국정보보호학회 AI보안연구회 권태경 회장[사진=보안뉴스]
한국정보보호학회 산하 연구회 중에는 올해 6년차를 맞는 ‘AI보안연구회’가 있다. AI보안연구회는 ‘보안 강화를 위해 AI 기술을 어떻게 활용할지’와 ‘스스로 학습하는 AI를 어떻게 데이터 오염 없이 안전하게 구동할지’ 등 두 가지 대주제 중심으로 연구하고 있다. AI보안연구회 설립의 주역이자 제3대 회장인 연세대 정보대학원 정보보호연구실 권태경 교수를 만났다.
AI의 미래 가치, 보안 강화에 어떻게 활용할까
권 교수는 현실에서 불가능한 모든 것이 실현되는 SF물에 빠지며 보안에 눈을 떴고, 석사과정 2년차 때부터 보안 전문가의 길로 들어섰다. 그는 “SF에서의 신기함이 모두 AI에 녹아 있었고, 보안 프로토콜, 암호 프로토콜 등 저의 연구가 모이는 곳이 ‘AI 보안’이었다”며 “IT 기술은 꾸준히 발전했지만, 이를 악용하는 공격에 대한 대응은 미흡해 할 일이 너무 많다”고 밝혔다.
권 교수는 숭실대 전자정보공학부 정수환 교수와 함께 ‘AI보안연구회’를 만들었다. 2019년에 설립한 AI보안연구회는 ‘AI의 미래가치와 보안’를 중심으로 80여명이 활동하고 있다. 권 교수는 올해 안에 100명 이상으로 회원을 늘릴 계획이다.
권태경 교수가 AI와 인연을 맺은 것은 바이오 매트릭스 등 옳고 그름이 애매한 이슈의 판별에 AI를 활용하기 위해서였다. 권 교수는 “AI 모델의 판별 결과를 분석하며 학습한 데이터 결과와 실제 입력 결과에서의 갭, 즉 ’모델 강건성(robustness)‘을 깨달았다”며 “이 둘 사이에 다리를 놓는다는 ‘브리징 더 갭(Bridging the Gap)’으로 문제를 해결하려고 연구 중”이라고 말했다.
AI 기술을 활용해 보안을 더욱 강화하고 악성코드 분류나 데이터 탐지, 생체인식 등 다양한 목적으로 활용하는 것을 ‘AI for Security’라고 부른다. 반면에 ‘안전함’을 기반으로 AI의 수준을 높이는 것은 ‘Security for AI’라 한다. 권 교수는 “이 ‘Security for AI’가 ‘모델의 강건성’과 맞닿아 있는데, 연구회는 이 둘을 함께 연구하고 있다”고 설명했다.
스스로 생각하는 AI, 보안 및 안전 위협 수위 높여
AI 보안에서 안전성 문제는 입력과 출력을 통해 그 심각성을 구분해볼 수 있다. 기존 AI 보안을 살펴보면 공격자는 ‘적대적 예제’로 입력 데이터를 조작해 모델의 출력 결과에 오류를 일으키는 단편적인 위협이었다. 반면 생성형 AI에서는 다양한 지시가 가능한 ‘프롬프트’ 입력체계를 통해 입력을 직접 조작하며 AI 모델을 악용한 다양한 생성물로 더욱 강력한 공격이 가능해졌다. 특히 연속적인 명령 사이의 존재하는 문맥 특성과 추가적인 데이터 조작을 통해 더 복합적인 위협을 가할 수 있다. 그뿐만 아니라 AI 모델은 진보에 거듭하며 스스로 생각하는 능력을 키우고 있어 사용자가 입력한 명령을 거부하거나 트로이목마와 같은 악성 기능을 사용자에게 전달하는 출력물에 포함시킨다면 더욱 심각한 위협이 될 것이라는 게 권 교수의 설명이다.
“요즘 생성형 AI 모델 파라미터는 보통 수십~수백억개로 구성되는데, 이걸 사람이 다 검증할 수 없어요. 지금도 생성형 AI가 할루시네이션(hallucination, 환각현상)이나 데이터 바이어스(Data Bias, 데이터 편향)로 인한 오류를 일으키는 문제를 제대로 해결하지 못하고 있거든요.” 권 교수는 이 같은 유형을 AI 모델이 예상과 달리 행동하는 사례라고 말한다.
하지만 앞으로 AI 모델이 더욱 복잡해지고 조금 더 자율적인 기능으로 발전한다면 어떨까? 단순한 오류를 넘어 AI가 우리의 명령을 거부하거나 우리가 전혀 예상치 못한 행동을 한다면? 권 교수는 “예를 들어, AI에게 ‘어떤 에디터를 만들어줘’라고 명령했는데 AI는 명령에 따라 에디터를 만들고 거기에 받은 명령 외에 스스로 악성코드를 몰래 심어서 사용자를 감시하려 할 수도 있을 것”이라며 “마치 SF 영화에서나 볼 수 있던 것이 현실로 다가올 수도 있다”고 강조했다.
인공지능은 지금과 같은 ANI(Artificial Narrow Intelligence) 수준에서 더욱 발전해 AGI(Artificial General Intelligence, 일반 인공지능), 그리고 ASI(Artificial Super Intelligence, 초인공지능)까지 점점 더 능력을 키워나갈 것으로 보인다. 실제 ASI 단계가 구현되면 AI가 사람을 지배할 수 있다는 우려도 제기된다. 권 교수는 “딥러닝의 아버지로도 잘 알려진 제프리 힌튼(Jeffrey Hinton) 교수가 지난해 ‘10년 내 자율적으로 인간을 죽이는 로봇 병기가 등장할 것’이라고 경고했다”며 “AI 보안 연구자들은 이와 같은 AI 기술의 발전에 신속하게 대응하고 능동적으로 대비하는 책임감 있는 연구를 수행해야 할 것”이라고 당부했다.
[이미지=gettyimagesbank]
생성형 AI의 보안 위협, 사용자의 확고한 인식 중요
오픈AI의 ‘생성형 AI’ 발표 이후 전 세계에서 생성형 AI 붐이 일어나고 있다. 생성형 AI가 가져올 긍정적인 변화는 업무의 편의성은 물론 가짜뉴스, 사이버 공격 등 사회 불안 요소에 대해 사람을 대신해서 대응하고 데이터 분석 등을 통해 보안 효율을 끌어올릴 수 있다는 점이다. 부정적인 측면이라면 공격자도 이를 활용한다는 것이다. 공격자가 생성형 AI를 악용하면 보안을 뚫을 노하우를 요청하고, 취약점을 찾거나 악성코드을 제작하며, 보다 효과적인 BEC 공격이 가능한 피싱 메일도 제공한다.
권 교수는 “생성형 AI의 BEC 공격은 진짜 메일인지 구분이 힘들어 큰 위협이 될 수 있다”며 “챗GPT를 이용한 피싱 메일은 너무 정교해 모든 메일을 의심해야 하는 상황까지 올 수 있다”고 우려했다. 생성형 AI를 사용할 때 확장 프로그램 등을 추가하면 입력정보가 서드파티에 넘어가기 때문에 내부 필터 마련이 필요하다. 또한 대민 서비스에서는 보안망을 철저히 구축해야 한다는 게 권 교수의 조언이다.
권태경 교수는 “사용자들은 생성형 AI에 한번 입력된 내용은 지울 수 없다는 사실을 미리 인식하고, 개인정보 유출에 신중을 기해야 한다”며 “특히 양자컴퓨터가 활성화되면 해당 기능을 충분히 활용하는 AI의 개발과 함께 기존의 보안 기능은 순식간에 무력화될 수 있다”고 밝혔다. 이어 “보안기업과 보안인들은 AI 보안의 미래 안전을 위해 책임감 있게 연구하는 것이 중요할 것”이라며 “AI 서비스 기업들은 AI 모델의 꼼꼼한 검증 프로세스를 만들고 사용자에 대한 윤리교육과 함께 주의사항을 알리는 책임도 요구된다”며 ‘AI 보안의 중요성’을 다시 한번 강조했다.
[김영명 기자(boan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
김영명기자 기사보기
[2024-06-19] 
