인공지능에 대한 다양한 전망들이 나오고 있고, 각종 실패와 성공 사례들도 연일 소개되는 중이다. 보안 업계는 당연히 인공지능이 가진 리스크에 대해 경고하고 있는데, 정말 인공지능은 위험한 기술로 변할까?
[보안뉴스 문가용 기자] 인공지능이 기술 분야를 뒤집어 엎고 있다. 여기에는 긍정적인 의미와 부정적인 의미 모두가 포함되어 있다. 하지만 보안 분야의 전문가들은 인공지능의 발전에 그리 반가운 마음만 있는 건 아니다. 인공지능의 발전에 따라 사이버 공격의 수위와 빈도가 이전과 차원이 다르게 변할 수 있기 때문이다. 돈을 노리는 공격이든 정치적 메시지를 전파하기 위한 공격이든 마찬가지다.
보안 컨설팅 업체 ISG의 파트너인 더그 세일러스(Doug Saylors)는 “인공지능에 의한 새로운 위협은, 지금 우리가 겪고 있는 각종 사이버 위협이 고도로 진화한 형태일 것”이라고 보고 있다. “지난 3~5년 사이에 국가의 지원을 받는 APT 조직들의 활동이 크게 증가했지요. 그러면서 기타 다른 해킹 조직들의 실력이 상향 평준화 되었습니다. 그것과 비슷한 일이 인공지능 때문에 한 차례 더 일어날 것이라고 보고 있습니다.”
분석학술기관(The Institute of Analytics)의 교육 총괄인 클레어 월시(Clare Walsh)는 “인간이 통제할 수 없는 자율 공격형 기계가 등장하려면 아직 한참 더 있어야 한다”며 “공상 과학의 영역에 더 가깝다고 본다”고 설명한다. “아직은 기계 혼자서 인간을 위협할 수 없습니다. 기계를 조정하는 인간이 어떤 의도를 가지고 있느냐가 더 중요하죠. 지금 이 시간에도 기계를 가지고 악의를 구현할 방법을 찾는 사람들이 많이 있고, 그들이 존재하기에 기계가 우리의 위협이 될 수 있는 겁니다.”
스스로 창의력을 발휘해 인간을 공격하는 기계가 등장한다면, 아마 그 형태는 매우 다양할 것이라고 전문가들은 보고 있다. “하지만 일부 기계는 결정을 담당하고, 또 다른 기계는 그걸 실행하는 형태의 분업이 이뤄지지 않을까 합니다. 혹은 그 누구도 확인하지 않은 채 방치해 둬서 결국 나쁜 쪽으로 변질되는 기계들도 상당히 나올 거라고 봅니다.” 월시의 설명이다. “하지만 이런 상상도 아직은 공상 과학에 더 가깝죠. 분명한 건 심각한 피해가 발생할 때까지 우리는 인공지능으로 인한 위험이 다가오고 있다는 걸 모를 거라는 겁니다. 지금도 우리는 그러니까요.”
사이버 보안 습관과 문화의 강화
IT 관리 서비스인 TSG의 사이버 보안 전문가 클레어 반덴브로엑(Claire Vandenbroecke)은 “인공지능이 타락하는 것, 그래서 스스로 인간을 공격하게 되는 것을 두려워할 때가 아니”라고 강조한다. “지금 우리가 걱정해야 할 건 인공지능이라는 뛰어난 기술을 가지면 안 될 사람이 갖게 되는 것입니다. 어느 순간 분명 이뤄질 일이기도 하지요.”
그러므로 인공지능이라는 기술 그 자체에 집중하는 게 아니라 강력한 정보 보안 및 프라이버시 존중 문화를 구축하여 모두가 일상 생활과 업무 가운데 자연스럽게 안전한 선 안에서 활동할 수 있도록 하는 게 급선무라고 반덴브로엑은 강조한다. “가장 윗선에서부터 변화를 스스로 받아들여야 합니다. 직원들에게 아무리 말로 강조해봤자 소용이 없습니다. 그렇게 모두가 보안을 습관화 한다면 인공지능을 개발하고 활용하고 적용하는 사람들이 자동으로 인공지능을 안전하게 훈련시키게 될 겁니다. 엉뚱한 자가 인공지능에 손을 뻗칠 확률이 낮아지죠.”
공격 전략
세일러스는 “인간을 공격하는 인공지능이라는 개념은, 현재로서는 스스로 취약점을 재빨리 찾아내고 익스플로잇을 순식간에 개발하도록 훈련된 알고리즘에서 출발한다”고 설명한다. “이런 행위에 특화된 인공지능 알고리즘은 각종 공격 코드를 만드는 것에 그치지 않고 리포지터리 등으로 퍼트리기도 하면서 공격 효율을 극대화시키려 할 것이고, 심지어 피해자의 네트워크나 시스템에 구축된 인공지능 기술 자체를 해킹하는 데에 이를 것입니다.”
세일러스는 인공지능을 해킹하는 인공지능은 현재로서 상상하기 힘든 극단적 사례이긴 하지만 공격자들 입장에서 반드시 훔쳐야 할 것을 가지고 있는 기업이나 기관이라면 충분히 걱정해볼 만한 일이라고 짚었다. “결국 공격자들에게 중요한 건 ‘어떻게 할까’가 아니고 ‘무엇을 할까’라는 겁니다. 그들은 원하는 게 있으면 어떻게 해서라도 반드시 해냅니다.”
그런 극단적 사례를 빼고, ‘취약점을 자동으로 찾아내 익스플로잇 하는 인공지능’ 정도는 이미 세상에 나와 있다. 챗GPT나 그와 유사한 기술들은 여러 실험을 통해 해킹 도구를 만들어내는 실험은 이미 수차례 진행된 바 있고 성공 사례도 존재한다. “그렇다고 대형 언어 모델이 반드시 악용될 거라고 말하는 건 아닙니다. 공격이 편리해지는 계기가 될 수 있다는 것이고, 그러므로 인공지능을 개발할 때 그런 점을 염두에 두어야 한다는 겁니다.”
그러면서 월시는 법조계가 인공지능과 관련된 실험 상황들을 유심히 지켜봐야 한다고 강조한다. “인공지능이 실험실에서 실험적으로 만든 코드들이 실제 세상에서 기능을 발휘하기 위해 출시될 때, 그 누구보다 법조계가 나서서 안전과 보안 관련 실험을 진행하고 평가해야 할 것입니다. 사회에 모습을 드러내도 되는지 안 되는지를 법조계가 평가하고 기준을 수립해야 하지요. 그러므로 개발자들은 개발 현황과 진행 상황에 대해 투명할 수 있어야 하고, 인공지능의 훈련에 동원되는 데이터 역시 투명하게 공개해야 합니다.”
준비와 훈련
그 다음으로 세일러스는 개발자들을 대상으로 한 교육이 지금부터 진행되어야 한다는 의견을 피력한다. “인공지능 기술을 조직 차원에서 승인한다는 게 무슨 뜻인지 개발자들부터 완전히 이해하고 넘어가야 합니다. 각종 업무를 단순히 빠르게 처리하게 되었다고 해서 인공지능을 다룰 줄 안다고 할 수 없습니다. 인공지능을 안전하게 사용하면서 보안 점검도 단계별로 할 수 있어야 인공지능을 다룬다고 말할 정도가 됩니다. 회사는 인공지능의 혜택과 위험성 모두를 고려한다는 걸 개발자들이 먼저 익혀야 합니다.”
인공지능이 개발한 코드 역시 인간이 만든 코드처럼 여러 가지 실험과 평가를 거쳐야 한다고 세일러스는 강조한다. 정적 분석과 동적 분석 모두 여기에 포함된다. “인공지능이 빚어낸 코드라고 해서 완전하다거나 취약점이 전무하다거나 하지 않습니다. 오히려 사람이 만든 것보다 지금 당장은 인공지능이 만든 코드가 더 취약해요. 어쩌면 그 취약점 투성이의 코드를 마구 퍼트리는 게 악성 인공지능의 시초가 될 수도 있겠습니다. 결국 사람의 개입이 없다면 아직까지 인공지능이 끼칠 수 있는 피해에는 한계가 분명히 존재합니다.”
글 : 존 에드워즈(John Edwards), IT 칼럼니스트
[국제부 문가용 기자(globoan@boannews.com)]
[보안뉴스 문가용 기자] 인공지능이 기술 분야를 뒤집어 엎고 있다. 여기에는 긍정적인 의미와 부정적인 의미 모두가 포함되어 있다. 하지만 보안 분야의 전문가들은 인공지능의 발전에 그리 반가운 마음만 있는 건 아니다. 인공지능의 발전에 따라 사이버 공격의 수위와 빈도가 이전과 차원이 다르게 변할 수 있기 때문이다. 돈을 노리는 공격이든 정치적 메시지를 전파하기 위한 공격이든 마찬가지다.
[이미지 = gettyimagesbank]
보안 컨설팅 업체 ISG의 파트너인 더그 세일러스(Doug Saylors)는 “인공지능에 의한 새로운 위협은, 지금 우리가 겪고 있는 각종 사이버 위협이 고도로 진화한 형태일 것”이라고 보고 있다. “지난 3~5년 사이에 국가의 지원을 받는 APT 조직들의 활동이 크게 증가했지요. 그러면서 기타 다른 해킹 조직들의 실력이 상향 평준화 되었습니다. 그것과 비슷한 일이 인공지능 때문에 한 차례 더 일어날 것이라고 보고 있습니다.”
분석학술기관(The Institute of Analytics)의 교육 총괄인 클레어 월시(Clare Walsh)는 “인간이 통제할 수 없는 자율 공격형 기계가 등장하려면 아직 한참 더 있어야 한다”며 “공상 과학의 영역에 더 가깝다고 본다”고 설명한다. “아직은 기계 혼자서 인간을 위협할 수 없습니다. 기계를 조정하는 인간이 어떤 의도를 가지고 있느냐가 더 중요하죠. 지금 이 시간에도 기계를 가지고 악의를 구현할 방법을 찾는 사람들이 많이 있고, 그들이 존재하기에 기계가 우리의 위협이 될 수 있는 겁니다.”
스스로 창의력을 발휘해 인간을 공격하는 기계가 등장한다면, 아마 그 형태는 매우 다양할 것이라고 전문가들은 보고 있다. “하지만 일부 기계는 결정을 담당하고, 또 다른 기계는 그걸 실행하는 형태의 분업이 이뤄지지 않을까 합니다. 혹은 그 누구도 확인하지 않은 채 방치해 둬서 결국 나쁜 쪽으로 변질되는 기계들도 상당히 나올 거라고 봅니다.” 월시의 설명이다. “하지만 이런 상상도 아직은 공상 과학에 더 가깝죠. 분명한 건 심각한 피해가 발생할 때까지 우리는 인공지능으로 인한 위험이 다가오고 있다는 걸 모를 거라는 겁니다. 지금도 우리는 그러니까요.”
사이버 보안 습관과 문화의 강화
IT 관리 서비스인 TSG의 사이버 보안 전문가 클레어 반덴브로엑(Claire Vandenbroecke)은 “인공지능이 타락하는 것, 그래서 스스로 인간을 공격하게 되는 것을 두려워할 때가 아니”라고 강조한다. “지금 우리가 걱정해야 할 건 인공지능이라는 뛰어난 기술을 가지면 안 될 사람이 갖게 되는 것입니다. 어느 순간 분명 이뤄질 일이기도 하지요.”
그러므로 인공지능이라는 기술 그 자체에 집중하는 게 아니라 강력한 정보 보안 및 프라이버시 존중 문화를 구축하여 모두가 일상 생활과 업무 가운데 자연스럽게 안전한 선 안에서 활동할 수 있도록 하는 게 급선무라고 반덴브로엑은 강조한다. “가장 윗선에서부터 변화를 스스로 받아들여야 합니다. 직원들에게 아무리 말로 강조해봤자 소용이 없습니다. 그렇게 모두가 보안을 습관화 한다면 인공지능을 개발하고 활용하고 적용하는 사람들이 자동으로 인공지능을 안전하게 훈련시키게 될 겁니다. 엉뚱한 자가 인공지능에 손을 뻗칠 확률이 낮아지죠.”
공격 전략
세일러스는 “인간을 공격하는 인공지능이라는 개념은, 현재로서는 스스로 취약점을 재빨리 찾아내고 익스플로잇을 순식간에 개발하도록 훈련된 알고리즘에서 출발한다”고 설명한다. “이런 행위에 특화된 인공지능 알고리즘은 각종 공격 코드를 만드는 것에 그치지 않고 리포지터리 등으로 퍼트리기도 하면서 공격 효율을 극대화시키려 할 것이고, 심지어 피해자의 네트워크나 시스템에 구축된 인공지능 기술 자체를 해킹하는 데에 이를 것입니다.”
세일러스는 인공지능을 해킹하는 인공지능은 현재로서 상상하기 힘든 극단적 사례이긴 하지만 공격자들 입장에서 반드시 훔쳐야 할 것을 가지고 있는 기업이나 기관이라면 충분히 걱정해볼 만한 일이라고 짚었다. “결국 공격자들에게 중요한 건 ‘어떻게 할까’가 아니고 ‘무엇을 할까’라는 겁니다. 그들은 원하는 게 있으면 어떻게 해서라도 반드시 해냅니다.”
그런 극단적 사례를 빼고, ‘취약점을 자동으로 찾아내 익스플로잇 하는 인공지능’ 정도는 이미 세상에 나와 있다. 챗GPT나 그와 유사한 기술들은 여러 실험을 통해 해킹 도구를 만들어내는 실험은 이미 수차례 진행된 바 있고 성공 사례도 존재한다. “그렇다고 대형 언어 모델이 반드시 악용될 거라고 말하는 건 아닙니다. 공격이 편리해지는 계기가 될 수 있다는 것이고, 그러므로 인공지능을 개발할 때 그런 점을 염두에 두어야 한다는 겁니다.”
그러면서 월시는 법조계가 인공지능과 관련된 실험 상황들을 유심히 지켜봐야 한다고 강조한다. “인공지능이 실험실에서 실험적으로 만든 코드들이 실제 세상에서 기능을 발휘하기 위해 출시될 때, 그 누구보다 법조계가 나서서 안전과 보안 관련 실험을 진행하고 평가해야 할 것입니다. 사회에 모습을 드러내도 되는지 안 되는지를 법조계가 평가하고 기준을 수립해야 하지요. 그러므로 개발자들은 개발 현황과 진행 상황에 대해 투명할 수 있어야 하고, 인공지능의 훈련에 동원되는 데이터 역시 투명하게 공개해야 합니다.”
준비와 훈련
그 다음으로 세일러스는 개발자들을 대상으로 한 교육이 지금부터 진행되어야 한다는 의견을 피력한다. “인공지능 기술을 조직 차원에서 승인한다는 게 무슨 뜻인지 개발자들부터 완전히 이해하고 넘어가야 합니다. 각종 업무를 단순히 빠르게 처리하게 되었다고 해서 인공지능을 다룰 줄 안다고 할 수 없습니다. 인공지능을 안전하게 사용하면서 보안 점검도 단계별로 할 수 있어야 인공지능을 다룬다고 말할 정도가 됩니다. 회사는 인공지능의 혜택과 위험성 모두를 고려한다는 걸 개발자들이 먼저 익혀야 합니다.”
인공지능이 개발한 코드 역시 인간이 만든 코드처럼 여러 가지 실험과 평가를 거쳐야 한다고 세일러스는 강조한다. 정적 분석과 동적 분석 모두 여기에 포함된다. “인공지능이 빚어낸 코드라고 해서 완전하다거나 취약점이 전무하다거나 하지 않습니다. 오히려 사람이 만든 것보다 지금 당장은 인공지능이 만든 코드가 더 취약해요. 어쩌면 그 취약점 투성이의 코드를 마구 퍼트리는 게 악성 인공지능의 시초가 될 수도 있겠습니다. 결국 사람의 개입이 없다면 아직까지 인공지능이 끼칠 수 있는 피해에는 한계가 분명히 존재합니다.”
글 : 존 에드워즈(John Edwards), IT 칼럼니스트
[국제부 문가용 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-04-18] 
.jpg)
.jpg)
.jpg)
