인공지능이 매우 강력한 기술이긴 하지만 모든 면에서 만능이 아님이 자꾸만 입증되고 있다. 전문가들은 이렇게 한계가 드러나는 게 좋은 소식이라고 한다.
[보안뉴스 문정후 기자] 인공지능과 머신러닝 시스템 중 실제 데이터를 통해 훈련이 되도록 설계된 알고리즘들이 사이버 공격에 농락당하는 사례가 점점 늘어나고 있다. 최근 열린 머신러닝 보안 경연 대회인 MLSEC 2022에서 참가자들은 유명 인사들의 사진을 학습하는 머신러닝 알고리즘을 감염시킴으로써 사진 속 인물을 다른 사람으로 인식하도록 만드는 데 성공했다. 대부분 두 사진을 합치거나 원래 이미지 안에 작은 그림을 하나 삽입하는 것만으로 학습 과정을 망가트릴 수 있었다고 한다.
또, MIT와 캘리포니아대학, FAR AI의 연구원들은 최첨단 바둑 인공지능을 간단하게 격파하는 방법을 발견하기도 했다. 게임이 종료됐다고 기계를 속이는 방법으로, 더 이상 인간이 기계를 이길 수 없다고 하는 바둑에서 간단히 성과를 거둔 것이다. 물론 순수 바둑으로 정당하게 이긴 건 아니지만, 사람이 아니라 기계이기 때문에 생기는 허점을 노린 것이라고는 볼 수 있다.
이렇게 인공지능의 학습 과정 자체에 개입하여 인공지능이 엉뚱한 결과를 내도록 만드는 식의 공격은 인공지능 기술이 가진 한계를 명확히 드러낸다. “인공지능은 학습의 과정을 거쳐야 하며, 학습은 각종 데이터를 주입함으로써 이뤄지는데, 그 데이터를 살짝 오염시키기만 하면 인공지능이 이상하게 작동하도록 강제할 수 있다는 것이죠.” 캘리포니아대학에서 인공지능 분야 박사 과정을 밟고 있는 아담 글리브(Adam Gleave)의 설명이다.
결국 실제 상황과 현장에서 나오는 데이터를 학습해 실제로 일어날 수 있는 일에 대처하려고 만들어 둔 발명품이, 실제 데이터에 섞인 작은 비정상적인 패턴 하나 때문에 엇나간 결과물을 낼 수 있다는 것은 우리가 가진 기술력에 대한 근본적인 의문을 제기하게 만든다. “세상의 모든 머신러닝 시스템은 취약할 수밖에 없습니다. 인공지능에 지나치게 의존해서는 안 된다는 뜻이 됩니다. 어떤 코드도, 어떤 스크립트도, 어떤 기술도 완벽히 의존할 수 있는 건 없습니다. 공략할 방법이 분명히 생겨나니까요. 인공지능 코드도 충분히 쉽게 공략할 수 있다는 연구 결과는 신기술에 대한 경계심을 심어주는 것이라 굉장히 유익하다고 생각합니다.”
글리브의 말대로 다른 여러 신기술들에도 이런 교훈은 적용이 된다. “예를 들어 자율 주행 기술은 현재 상태에서도 충분히 도로를 주행할 수 있습니다. 주행 시간 동안 도로에서 일반적인 상황만 연출된다는 보장만 있다면 말이죠. 다시 말해 일반적이지 않은 일이 벌어질 경우 자율 주행 기술은 전혀 엉뚱한, 그러므로 재앙적인 결과를 낼 수 있습니다.” 머신러닝 전문가 개리 맥그로(Gary McGraw)의 설명이다.
유연성 부족, 맥락 부족
“머신러닝이라는 기술의 한계는 유연성이 부족하다는 데 있습니다. 예상치 못한 상황에서 안정적인 대처를 하는 부분에서 부족함을 드러낸다는 것이죠. 그러니 수많은 정상적인 학습용 데이터에 자그마한 비정상 요소가 섞였을 뿐인데도 어쩔 줄을 모르고 이상한 결과물을 내는 겁니다. 그냥 이상한 정도가 아니라 완전히 틀린 결과가 나오죠.” 맥그로가 말한다.
그러면서 그는 “이 지점 때문에 인공지능이 일반인들 사이에서 보편화 되지 않는 것”이라고 지적한다. “전문가들은 인공지능이 뭘 좋아하는지, 어떻게 해야 정상적으로 작동하는지 잘 알아요. 그러니 저절로 그런 데이터만 주입하고, 인공지능이 고장나지 않는 선 안에서 움직이죠. 하지만 일반인들은 그렇지 않아요. 인공지능이 신기하니까 별별 이상한 데이터를 다 주입합니다. 인공지능 스피커를 집에 처음 들였을 때 일반 사용자들은 전문가들이 상상하지도 못한 질문을 하고, 오류 섞인 답을 받죠. 그리고 실망하고요. 유연성을 더하는 것이 인공지능이 다음 단계로 넘어가기 위해 극복해야 할 과제입니다.”
현재는 인공지능 개발자들도 오염된 데이터나 비정상적인 데이터를 주입해보는 식의 ‘레드팀’ 실험을 하지 않는 편이다. 인공지능이 정상적으로 작동하도록 만드는 데에 주력하지, 비정상적인 상황을 견디는 데에 힘을 주지 않기 때문이다. 그래서 마이터(MITRE)나 마이크로소프트 등은 악성 행위로부터 인공지능이 견디게 하는 기술을 개발하는 것에 더 많은 투자를 해야 한다고 주장하고 있다. 지금은 기능적인 개발에만 지나치게 많은 자원이 투자되고 있다는 것이다.
유연성을 부족하게 하는 또 다른 요인 중 하나는 ‘맥락 부족’이다. 인공지능이라고 해서 주어진 문제의 맥락과 주변 상황까지 자동으로 파악하는 건 아니라는 것을 보다 많은 사람들이 인지할 필요가 있다고 전문가들은 지적한다. “그림을 그리는 인공지능인 달리(DALL-e)나 산문을 쓰는 인공지능인 GPT-3의 경우, 방대한 양의 데이터셋을 학습했고, 그 결과 꽤나 놀라운 결과물을 냅니다. 하지만 이들이 흡수하는 데이터와 산출하는 결과물들은 각자의 세계에 국한된 것이죠. 맥락에 대해서는 아무 것도 인지하지 못합니다. 그렇기 때문에 그림을 그리고 글을 쓰는 것 외에는 다른 기능을 발휘하지 못하죠.” SANS 인스티튜트(SANS Institute)의 데이비드 호엘저(David Hoelzer)의 설명이다.
“맥락이 없으니 상황에 따라 적절한 대처를 할 수가 없다고도 볼 수 있습니다. 주변 상황에 상관 없이 문제에 대한 답만 산출하니 많은 경우 그 답이 사용자가 보기에 만족스럽지 않은 것이죠. 비정상적인 상황에서 알맞은 대처를 하려면 여러 가지 주변 상황과 맥락까지도 파악할 수 있어야 합니다.”
인공지능 속이기, 참 쉽죠?
인공지능 보안 전문 업체인 어드버사에이아이(Adversa.ai)의 기술 담당자 유진 닐루(Eugene Neelou)는 “이미지 인식 인공지능의 훈련 과정을 망가트리는 방법은 크게 세 가지가 있다”고 말한다. “학습해야 할 주 이미지에 작은 이미지를 하나 삽입하는 것, 두 이미지를 합성하는 것, 의도적으로 노이즈를 추가해 인공지능의 학습 방향을 왜곡하는 것이 바로 그것입니다. 앞에 두 개는 사실 인간이 데이터를 꼼꼼하게 검수하면 걸러낼 수 있습니다. 하지만 세 번째 방법은 알아채기가 힘듭니다. 셋 모두 실행이 전혀 어렵지 않고요.”
그렇다고 기존의 보안 방법론들을 동원해 학습 데이터에 노이즈가 섞여드는 것을 막는 것도 쉽지 않다고 닐루는 설명한다. “일반적인 보안 방법론을 통해서는 이런 취약한 부분을 보완할 수 없습니다. 인공지능 보호는 정보 보안 내에서도 독립적이고 고유한 분야로서 연구되어야 합니다. 특히 미션크리티컬한 인공지능 애플리케이션들(사기 방지, 스팸 필터, 자율 운전 등)을 보호하는 데 있어 기존 애플리케이션 보안 방법론만 고집하는 건 위험할 수 있습니다.”
하지만 기본적인 보안 실천 사항이 전혀 도움이 되지 않는 건 아니다. 글리브는 “기본 보안 실천 사항인 ‘최소한의 권리 부여’와 ‘망분리’를 제대로 실천하면 누군가 인공지능에 엉뚱한 학습 데이터를 주입하는 걸 막을 수 있다”고 말한다. “학습 데이터를 아무나 다 제공할 수 있게 하는 순간 위험성은 높아집니다. 반드시 담당자들만이 데이터를 넣을 수 있게 하고, 또 학습 중인 인공지능 알고리즘은 분리된 망에서 작동하도록 하는 게 더 안전합니다.”
기존의 보안 점검 방법론인 레드팀 훈련도 인공지능 알고리즘을 더 튼튼하게 만드는 데 기여할 수 있다고 글리브는 강조한다. “저 같으면 ‘각종 모의 해킹 실험을 거쳤다’고 홍보하는 알고리즘 모델에 더 높은 점수를 줄 것 같습니다. 그것도 인공지능 개발 팀과 전혀 다른 전문가 팀에서 했다면 더욱 신뢰할 수 있게 되겠죠. 이제는 ‘이런 저런 기능을 가진 인공지능’보다 ‘강화 실험을 여러 번 거친 인공지능’을 시장에서 보고 싶습니다.”
글 : 로버트 리모스(Robert Lemos), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
[보안뉴스 문정후 기자] 인공지능과 머신러닝 시스템 중 실제 데이터를 통해 훈련이 되도록 설계된 알고리즘들이 사이버 공격에 농락당하는 사례가 점점 늘어나고 있다. 최근 열린 머신러닝 보안 경연 대회인 MLSEC 2022에서 참가자들은 유명 인사들의 사진을 학습하는 머신러닝 알고리즘을 감염시킴으로써 사진 속 인물을 다른 사람으로 인식하도록 만드는 데 성공했다. 대부분 두 사진을 합치거나 원래 이미지 안에 작은 그림을 하나 삽입하는 것만으로 학습 과정을 망가트릴 수 있었다고 한다.
[이미지 = utoimage]
또, MIT와 캘리포니아대학, FAR AI의 연구원들은 최첨단 바둑 인공지능을 간단하게 격파하는 방법을 발견하기도 했다. 게임이 종료됐다고 기계를 속이는 방법으로, 더 이상 인간이 기계를 이길 수 없다고 하는 바둑에서 간단히 성과를 거둔 것이다. 물론 순수 바둑으로 정당하게 이긴 건 아니지만, 사람이 아니라 기계이기 때문에 생기는 허점을 노린 것이라고는 볼 수 있다.
이렇게 인공지능의 학습 과정 자체에 개입하여 인공지능이 엉뚱한 결과를 내도록 만드는 식의 공격은 인공지능 기술이 가진 한계를 명확히 드러낸다. “인공지능은 학습의 과정을 거쳐야 하며, 학습은 각종 데이터를 주입함으로써 이뤄지는데, 그 데이터를 살짝 오염시키기만 하면 인공지능이 이상하게 작동하도록 강제할 수 있다는 것이죠.” 캘리포니아대학에서 인공지능 분야 박사 과정을 밟고 있는 아담 글리브(Adam Gleave)의 설명이다.
결국 실제 상황과 현장에서 나오는 데이터를 학습해 실제로 일어날 수 있는 일에 대처하려고 만들어 둔 발명품이, 실제 데이터에 섞인 작은 비정상적인 패턴 하나 때문에 엇나간 결과물을 낼 수 있다는 것은 우리가 가진 기술력에 대한 근본적인 의문을 제기하게 만든다. “세상의 모든 머신러닝 시스템은 취약할 수밖에 없습니다. 인공지능에 지나치게 의존해서는 안 된다는 뜻이 됩니다. 어떤 코드도, 어떤 스크립트도, 어떤 기술도 완벽히 의존할 수 있는 건 없습니다. 공략할 방법이 분명히 생겨나니까요. 인공지능 코드도 충분히 쉽게 공략할 수 있다는 연구 결과는 신기술에 대한 경계심을 심어주는 것이라 굉장히 유익하다고 생각합니다.”
글리브의 말대로 다른 여러 신기술들에도 이런 교훈은 적용이 된다. “예를 들어 자율 주행 기술은 현재 상태에서도 충분히 도로를 주행할 수 있습니다. 주행 시간 동안 도로에서 일반적인 상황만 연출된다는 보장만 있다면 말이죠. 다시 말해 일반적이지 않은 일이 벌어질 경우 자율 주행 기술은 전혀 엉뚱한, 그러므로 재앙적인 결과를 낼 수 있습니다.” 머신러닝 전문가 개리 맥그로(Gary McGraw)의 설명이다.
유연성 부족, 맥락 부족
“머신러닝이라는 기술의 한계는 유연성이 부족하다는 데 있습니다. 예상치 못한 상황에서 안정적인 대처를 하는 부분에서 부족함을 드러낸다는 것이죠. 그러니 수많은 정상적인 학습용 데이터에 자그마한 비정상 요소가 섞였을 뿐인데도 어쩔 줄을 모르고 이상한 결과물을 내는 겁니다. 그냥 이상한 정도가 아니라 완전히 틀린 결과가 나오죠.” 맥그로가 말한다.
그러면서 그는 “이 지점 때문에 인공지능이 일반인들 사이에서 보편화 되지 않는 것”이라고 지적한다. “전문가들은 인공지능이 뭘 좋아하는지, 어떻게 해야 정상적으로 작동하는지 잘 알아요. 그러니 저절로 그런 데이터만 주입하고, 인공지능이 고장나지 않는 선 안에서 움직이죠. 하지만 일반인들은 그렇지 않아요. 인공지능이 신기하니까 별별 이상한 데이터를 다 주입합니다. 인공지능 스피커를 집에 처음 들였을 때 일반 사용자들은 전문가들이 상상하지도 못한 질문을 하고, 오류 섞인 답을 받죠. 그리고 실망하고요. 유연성을 더하는 것이 인공지능이 다음 단계로 넘어가기 위해 극복해야 할 과제입니다.”
현재는 인공지능 개발자들도 오염된 데이터나 비정상적인 데이터를 주입해보는 식의 ‘레드팀’ 실험을 하지 않는 편이다. 인공지능이 정상적으로 작동하도록 만드는 데에 주력하지, 비정상적인 상황을 견디는 데에 힘을 주지 않기 때문이다. 그래서 마이터(MITRE)나 마이크로소프트 등은 악성 행위로부터 인공지능이 견디게 하는 기술을 개발하는 것에 더 많은 투자를 해야 한다고 주장하고 있다. 지금은 기능적인 개발에만 지나치게 많은 자원이 투자되고 있다는 것이다.
유연성을 부족하게 하는 또 다른 요인 중 하나는 ‘맥락 부족’이다. 인공지능이라고 해서 주어진 문제의 맥락과 주변 상황까지 자동으로 파악하는 건 아니라는 것을 보다 많은 사람들이 인지할 필요가 있다고 전문가들은 지적한다. “그림을 그리는 인공지능인 달리(DALL-e)나 산문을 쓰는 인공지능인 GPT-3의 경우, 방대한 양의 데이터셋을 학습했고, 그 결과 꽤나 놀라운 결과물을 냅니다. 하지만 이들이 흡수하는 데이터와 산출하는 결과물들은 각자의 세계에 국한된 것이죠. 맥락에 대해서는 아무 것도 인지하지 못합니다. 그렇기 때문에 그림을 그리고 글을 쓰는 것 외에는 다른 기능을 발휘하지 못하죠.” SANS 인스티튜트(SANS Institute)의 데이비드 호엘저(David Hoelzer)의 설명이다.
“맥락이 없으니 상황에 따라 적절한 대처를 할 수가 없다고도 볼 수 있습니다. 주변 상황에 상관 없이 문제에 대한 답만 산출하니 많은 경우 그 답이 사용자가 보기에 만족스럽지 않은 것이죠. 비정상적인 상황에서 알맞은 대처를 하려면 여러 가지 주변 상황과 맥락까지도 파악할 수 있어야 합니다.”
인공지능 속이기, 참 쉽죠?
인공지능 보안 전문 업체인 어드버사에이아이(Adversa.ai)의 기술 담당자 유진 닐루(Eugene Neelou)는 “이미지 인식 인공지능의 훈련 과정을 망가트리는 방법은 크게 세 가지가 있다”고 말한다. “학습해야 할 주 이미지에 작은 이미지를 하나 삽입하는 것, 두 이미지를 합성하는 것, 의도적으로 노이즈를 추가해 인공지능의 학습 방향을 왜곡하는 것이 바로 그것입니다. 앞에 두 개는 사실 인간이 데이터를 꼼꼼하게 검수하면 걸러낼 수 있습니다. 하지만 세 번째 방법은 알아채기가 힘듭니다. 셋 모두 실행이 전혀 어렵지 않고요.”
그렇다고 기존의 보안 방법론들을 동원해 학습 데이터에 노이즈가 섞여드는 것을 막는 것도 쉽지 않다고 닐루는 설명한다. “일반적인 보안 방법론을 통해서는 이런 취약한 부분을 보완할 수 없습니다. 인공지능 보호는 정보 보안 내에서도 독립적이고 고유한 분야로서 연구되어야 합니다. 특히 미션크리티컬한 인공지능 애플리케이션들(사기 방지, 스팸 필터, 자율 운전 등)을 보호하는 데 있어 기존 애플리케이션 보안 방법론만 고집하는 건 위험할 수 있습니다.”
하지만 기본적인 보안 실천 사항이 전혀 도움이 되지 않는 건 아니다. 글리브는 “기본 보안 실천 사항인 ‘최소한의 권리 부여’와 ‘망분리’를 제대로 실천하면 누군가 인공지능에 엉뚱한 학습 데이터를 주입하는 걸 막을 수 있다”고 말한다. “학습 데이터를 아무나 다 제공할 수 있게 하는 순간 위험성은 높아집니다. 반드시 담당자들만이 데이터를 넣을 수 있게 하고, 또 학습 중인 인공지능 알고리즘은 분리된 망에서 작동하도록 하는 게 더 안전합니다.”
기존의 보안 점검 방법론인 레드팀 훈련도 인공지능 알고리즘을 더 튼튼하게 만드는 데 기여할 수 있다고 글리브는 강조한다. “저 같으면 ‘각종 모의 해킹 실험을 거쳤다’고 홍보하는 알고리즘 모델에 더 높은 점수를 줄 것 같습니다. 그것도 인공지능 개발 팀과 전혀 다른 전문가 팀에서 했다면 더욱 신뢰할 수 있게 되겠죠. 이제는 ‘이런 저런 기능을 가진 인공지능’보다 ‘강화 실험을 여러 번 거친 인공지능’을 시장에서 보고 싶습니다.”
글 : 로버트 리모스(Robert Lemos), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2025-02-15] 
.jpg)
.jpg)
.jpg)
