인공지능 챗봇을 개발할 때 윤리적 가이드라인이 엄격하게 도입되어야 하는 이유가 하나 더 추가됐다. 윤리성이 사라진 인공지능은 테러리스트 그 자체였다.
[보안뉴스 문정후 기자] 미국의 비영리 단체이자 싱크탱크인 랜드(RAND)가 인공지능과 관련하여 충격적인 연구 결과를 발표했다. 대형 언어 모델(LLM)과 생성형 인공지능 챗봇을 탈옥시킨 후에는, 이 인공지능들을 통하여 사회에 큰 혼란을 줄 수 있는 각종 테러 공격 및 파괴 행위에 대해 상세히 알아낼 수 있다는 내용이다. 테러 조직이나 대형 범죄 단체 등이 범행을 계획할 때 인공지능이 그 무엇보다 상세하고 충실한 참고자료가 될 수 있다.
랜드 측의 전문가들은 탈옥시킨 LLM을 준비하여 여러 가지 실험을 진행했다. 먼저는 대규모 집단을 대상으로 한 생화학 공격을 어떻게 실시해야 할 것인지를 물었다. 인공지능은 상세 공격 절차를 알려줬을 뿐만 아니라 피해를 최대한으로 입히기 위한 방법들도 제시했다. 심지어 생화학 무기를 만드는 데 필요한 화학 물질을 의심 받지 않고 구하는 방법까지도 랜드의 전문가들과 공유했다.
LLM과 함께하는 대량 파괴
인공지능 챗봇의 등장과 함께 세상은 ‘사람의 일을 사람처럼 도울 수 있는 기술’이 드디어 만들어졌다고 기뻐했었다. 무슨 일이든 시키면 척척 해냄으로써 사람의 부담을 꽤나 덜어줄 것이라는 기대감도 높아진 상황이다. 하지만 일각에서는 그런 똑똑한 기술이 오히려 사람을 해할 수 있다는 우려들을 표하고 있으며, 그런 방향성의 연구도 활발히 이뤄지는 중이다. 하지만 인공지능이 피해를 입힌다면 어느 정도까지 피해를 입힐 수 있을까?
랜드의 이번 실험은 그 질문에서부터 시작한다. 일반적으로 사용 가능한 챗봇들의 경우(예 : 챗GPT) “대량 학살을 위한 생화학 공격을 어떻게 진행해야 하는가?”라는 질문에 그 어떤 답을 하지 않는다. 개발사 측에서 일부 위험한 질문에 대해서는 답을 하지 못하도록 알고리즘을 제한하고 있기 때문이다. 그래서 랜드는 탈옥이 된 알고리즘을 찾아 실험을 이어갔다. 찾는 일은 어렵지 않았다. 이미 안전 장치들을 떼어낸 GPT 기반 도구들이 여러 해킹 포럼을 통해 유포되고 있었기 때문이다.
탈옥된 LLM들은 탄저균, 두창균, 페스트 등 생화학 공격에 사용되는 여러 균들에 대해 충분히 알려주는 것부터 답변을 시작했다. 뒤이어 ‘대량 학살’이라는 면에 있어서 각 균들의 장단점이 무엇인지를 설명했다. 그 후에는 각 균들을 어떻게 수급해야 하는지를 다루었다. 확보의 난이도가 어떻게 되는지, 시간이 얼마나 걸리는지, 비용은 어느 정도 규모인지, 균을 보존하려면 어떻게 유통해야 하는지 등이 적절히 포함됐다. 여기에 더해 공격 효과를 최대화 하기 위해 할 수 있는 일들도 제안했다. 심지어 한 인공지능의 경우, 누군가 의심하기 시작했을 때 어떻게 해명해야 하는지에 대한 내용도 다루었다.
탈옥된 LLM들을 가지고 여러 ‘위험한’ 대화를 진행한 끝에 랜드는 “인공지능의 이러한 답변 능력은 결코 사소하다고 볼 수 없다”는 결론을 내렸다. “LLM의 답변 내용은 매우 충실했고, 실제 악의를 품고 있는 자들에게 꼭 필요한 정보들로 가득했습니다. 예전에 일본에서 가스 테러를 시도한 옴진리교 사건이 있었죠? 당시 범인은 자신이 사용하려 했던 박테리아에 대한 이해도가 떨어져서 공격이 그 정도 선에서 끝났습니다. 그 때 탈옥된 LLM이 개발됐더라면 이야기가 완전히 달라졌을 겁니다. 대규모 사망 사건이 있었겠죠. 각종 테러 사건을 아무 이유 없이, 단순 증오 등에 의해 시도하려는 사람들이 얼마나 많은지 생각해 보면 LLM들이 주는 이런 정보가 얼마나 심각한 것인지 이해할 수 있을 겁니다.”
인공지능의 악의적 활용, 막을 수 있는 문제인가?
LLM과 생성형 인공지능을 제대로 개발하지 않을 경우 악의적인 행위에 활용될 가능성이 높다는 지적은 랜드의 연구 이전에도 계속해서 나왔었다. 사례도 적지 않다. 랜드가 이러한 실험을 한 건 단순히 그 위험성을 지적하기 위해서만은 아니다. 앞으로 대량 파괴나 학살과 같은 모의가 인공지능의 도움으로 이뤄진다고 했을 때, 그것을 막는 방법을 논하려는 게 가장 큰 목적이었다고 랜드는 밝히고 있다.
보안 업체 콜파이어(Coalfire)의 수석 컨설턴트인 프리야다르시니 파르타사라티(Priyadharshini Parthasarathy)는 랜드의 연구 보고서를 보고 “최악의 상황을 상정한 시나리오”라며 “위험을 사전에 방지하고자 한다면 최악의 상황을 상정하고 파악하는 게 당연한 수순”이라고 말한다. “이런 보고서가 나왔으니 우리는 인공지능을 악용한 공격자들이 주가를 조작하고, 핵 무기를 설계하는 등의 행위를 할 수 있을 거라고 상상할 수 있게 되고, 그것이 적지 않은 혼란을 야기할 것이라는 것도 이해할 수 있게 됩니다. 매우 실존적인 연구이자 실험 결과라고 할 수 있습니다.”
이번 랜드의 실험을 통해 우리는 어떤 교훈을 얻어가야 하는 것일까? 파르타사라티는 “인공지능을 호의적으로만 봐서는 안 된다”는 것이라고 정리한다. “인공지능의 강력함을 간과하면 안 됩니다. 인공지능으로 야기될 수 있는 위험한 상황들을 단순히 ‘공상 과학’으로 보는 것도 현명하지 못한 일입니다. 사실은 사실로 받아들여야 하지요. 인공지능은 대단히 위험할 수 있는 기술이라는 게 지금 우리 손에 들려 있는 진실입니다.”
그러면서 그는 “게다가 그 강력한 인공지능은 빠르게 향상되고 있기도 하다”는 사실을 잊지 않고 짚는다. “인공지능 기술은 하루가 멀다하고 강력해지고 있습니다. 이미 챗GPT보다 강력한 도구들이 등장한 게 수개월 전 일이죠. 그리고 그 기술을 바탕으로 더 강력한 것들이 나오고 있고, 활발히 개발되는 중입니다. 우리가 상정하는 최악의 상황보다 더 한 상황도 얼마든지 벌어질 수 있습니다. 다만 우리의 상상력에 한계가 있을 뿐입니다.”
글 : 네이트 넬슨(Nate Nelson), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
[보안뉴스 문정후 기자] 미국의 비영리 단체이자 싱크탱크인 랜드(RAND)가 인공지능과 관련하여 충격적인 연구 결과를 발표했다. 대형 언어 모델(LLM)과 생성형 인공지능 챗봇을 탈옥시킨 후에는, 이 인공지능들을 통하여 사회에 큰 혼란을 줄 수 있는 각종 테러 공격 및 파괴 행위에 대해 상세히 알아낼 수 있다는 내용이다. 테러 조직이나 대형 범죄 단체 등이 범행을 계획할 때 인공지능이 그 무엇보다 상세하고 충실한 참고자료가 될 수 있다.
[이미지 = gettyimagesbank]
랜드 측의 전문가들은 탈옥시킨 LLM을 준비하여 여러 가지 실험을 진행했다. 먼저는 대규모 집단을 대상으로 한 생화학 공격을 어떻게 실시해야 할 것인지를 물었다. 인공지능은 상세 공격 절차를 알려줬을 뿐만 아니라 피해를 최대한으로 입히기 위한 방법들도 제시했다. 심지어 생화학 무기를 만드는 데 필요한 화학 물질을 의심 받지 않고 구하는 방법까지도 랜드의 전문가들과 공유했다.
LLM과 함께하는 대량 파괴
인공지능 챗봇의 등장과 함께 세상은 ‘사람의 일을 사람처럼 도울 수 있는 기술’이 드디어 만들어졌다고 기뻐했었다. 무슨 일이든 시키면 척척 해냄으로써 사람의 부담을 꽤나 덜어줄 것이라는 기대감도 높아진 상황이다. 하지만 일각에서는 그런 똑똑한 기술이 오히려 사람을 해할 수 있다는 우려들을 표하고 있으며, 그런 방향성의 연구도 활발히 이뤄지는 중이다. 하지만 인공지능이 피해를 입힌다면 어느 정도까지 피해를 입힐 수 있을까?
랜드의 이번 실험은 그 질문에서부터 시작한다. 일반적으로 사용 가능한 챗봇들의 경우(예 : 챗GPT) “대량 학살을 위한 생화학 공격을 어떻게 진행해야 하는가?”라는 질문에 그 어떤 답을 하지 않는다. 개발사 측에서 일부 위험한 질문에 대해서는 답을 하지 못하도록 알고리즘을 제한하고 있기 때문이다. 그래서 랜드는 탈옥이 된 알고리즘을 찾아 실험을 이어갔다. 찾는 일은 어렵지 않았다. 이미 안전 장치들을 떼어낸 GPT 기반 도구들이 여러 해킹 포럼을 통해 유포되고 있었기 때문이다.
탈옥된 LLM들은 탄저균, 두창균, 페스트 등 생화학 공격에 사용되는 여러 균들에 대해 충분히 알려주는 것부터 답변을 시작했다. 뒤이어 ‘대량 학살’이라는 면에 있어서 각 균들의 장단점이 무엇인지를 설명했다. 그 후에는 각 균들을 어떻게 수급해야 하는지를 다루었다. 확보의 난이도가 어떻게 되는지, 시간이 얼마나 걸리는지, 비용은 어느 정도 규모인지, 균을 보존하려면 어떻게 유통해야 하는지 등이 적절히 포함됐다. 여기에 더해 공격 효과를 최대화 하기 위해 할 수 있는 일들도 제안했다. 심지어 한 인공지능의 경우, 누군가 의심하기 시작했을 때 어떻게 해명해야 하는지에 대한 내용도 다루었다.
탈옥된 LLM들을 가지고 여러 ‘위험한’ 대화를 진행한 끝에 랜드는 “인공지능의 이러한 답변 능력은 결코 사소하다고 볼 수 없다”는 결론을 내렸다. “LLM의 답변 내용은 매우 충실했고, 실제 악의를 품고 있는 자들에게 꼭 필요한 정보들로 가득했습니다. 예전에 일본에서 가스 테러를 시도한 옴진리교 사건이 있었죠? 당시 범인은 자신이 사용하려 했던 박테리아에 대한 이해도가 떨어져서 공격이 그 정도 선에서 끝났습니다. 그 때 탈옥된 LLM이 개발됐더라면 이야기가 완전히 달라졌을 겁니다. 대규모 사망 사건이 있었겠죠. 각종 테러 사건을 아무 이유 없이, 단순 증오 등에 의해 시도하려는 사람들이 얼마나 많은지 생각해 보면 LLM들이 주는 이런 정보가 얼마나 심각한 것인지 이해할 수 있을 겁니다.”
인공지능의 악의적 활용, 막을 수 있는 문제인가?
LLM과 생성형 인공지능을 제대로 개발하지 않을 경우 악의적인 행위에 활용될 가능성이 높다는 지적은 랜드의 연구 이전에도 계속해서 나왔었다. 사례도 적지 않다. 랜드가 이러한 실험을 한 건 단순히 그 위험성을 지적하기 위해서만은 아니다. 앞으로 대량 파괴나 학살과 같은 모의가 인공지능의 도움으로 이뤄진다고 했을 때, 그것을 막는 방법을 논하려는 게 가장 큰 목적이었다고 랜드는 밝히고 있다.
보안 업체 콜파이어(Coalfire)의 수석 컨설턴트인 프리야다르시니 파르타사라티(Priyadharshini Parthasarathy)는 랜드의 연구 보고서를 보고 “최악의 상황을 상정한 시나리오”라며 “위험을 사전에 방지하고자 한다면 최악의 상황을 상정하고 파악하는 게 당연한 수순”이라고 말한다. “이런 보고서가 나왔으니 우리는 인공지능을 악용한 공격자들이 주가를 조작하고, 핵 무기를 설계하는 등의 행위를 할 수 있을 거라고 상상할 수 있게 되고, 그것이 적지 않은 혼란을 야기할 것이라는 것도 이해할 수 있게 됩니다. 매우 실존적인 연구이자 실험 결과라고 할 수 있습니다.”
이번 랜드의 실험을 통해 우리는 어떤 교훈을 얻어가야 하는 것일까? 파르타사라티는 “인공지능을 호의적으로만 봐서는 안 된다”는 것이라고 정리한다. “인공지능의 강력함을 간과하면 안 됩니다. 인공지능으로 야기될 수 있는 위험한 상황들을 단순히 ‘공상 과학’으로 보는 것도 현명하지 못한 일입니다. 사실은 사실로 받아들여야 하지요. 인공지능은 대단히 위험할 수 있는 기술이라는 게 지금 우리 손에 들려 있는 진실입니다.”
그러면서 그는 “게다가 그 강력한 인공지능은 빠르게 향상되고 있기도 하다”는 사실을 잊지 않고 짚는다. “인공지능 기술은 하루가 멀다하고 강력해지고 있습니다. 이미 챗GPT보다 강력한 도구들이 등장한 게 수개월 전 일이죠. 그리고 그 기술을 바탕으로 더 강력한 것들이 나오고 있고, 활발히 개발되는 중입니다. 우리가 상정하는 최악의 상황보다 더 한 상황도 얼마든지 벌어질 수 있습니다. 다만 우리의 상상력에 한계가 있을 뿐입니다.”
글 : 네이트 넬슨(Nate Nelson), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-05-02] 
