창의력, 집중력, 그리고 약간의 주의력만 있으면 우리는 LLM을 안전하게 사용할 수 있다. 강력한 차세대 도구로서 각광받는 LLM이지만, 안전에 대한 태도까지 자동으로 해결해주지는 않는다.
[보안뉴스=바이바브 말릭 솔루션 아키텍트, Cloudflare] 대형 언어 모델이라는 신기술을 도입하는 기업과 산업들이 빠르게 증가하는 중이다. 신기술로 무장된 스타트업들부터 역사와 전통을 자랑하는 포춘 500대 기업들까지 차별없이 이 현상을 받아들이고 있다. 대형 언어 모델을 도입해 신이 난 기업들도 있고 오히려 절망에 빠진 곳들도 있다. 필자는 두 상황 모두를 가까이서 지켜본 바 있다. 그리고 여기에 세 번째 상황이 하나 생겨나는 중이다. 대형 언어 모델(이하 LLM)을 영리하게 악용하는 방법들이 등장하고 있다는 것이다.
최근에는 고객사 한 곳이 이런 사례가 될 뻔했다. 그것도 아주 전형적인 사례 말이다. 이름을 밝힐 수는 없지만 대규모 전자상거래 플랫폼을 제공하던 업체였다. 오픈소스 플랫폼인 챗터봇(ChatterBot)을 기반으로 한 챗봇을 자사 플랫폼에 구축했다. 사업적으로 대단히 훌륭한 결정이었다. 챗봇은 빠르고 정확했으며, 심지어 개인화 된 응답을 제공하기도 했다. 고객들도 크게 만족했다. 하지만 반전이 있었다. 누군가 이 챗봇의 프롬프트를 악용하는 방법을 터득한 것이다. 프롬프트를 악용한 그는 민감한 고객 정보를 탈취하기 시작했다.
공격은 평화롭고 정상적인 대화로부터 시작했다. 챗봇을 통해 공격자는 기업과 좋은 관계를 쌓아갔다. 그런 후에는 천천히 대화의 방향을 틀었다. 아주 조금씩, 더 민감한 내용으로 대화를 이끌었다. 정교하게 프롬프트를 사용해가며 자신들이 원하는 답을 내게 했다. 챗봇은 커다란 맥락에서의 이해력을 갖추지 못한 기술이다. 사람이 교묘하게 접근했을 때 그것을 알아차리고 대응할 기술도 갖추지 못하고 있다. 그래서 속절없이 당했다. 공격자에게 고객의 이메일 주소와 전화번호, 심지어 신용카드 정보까지도 넘겼다.
다행히 이 회사의 보안 모니터링 시스템이 작동했다. 그러면서 챗봇이 이상한 결과물을 자꾸만 산출하는 걸 알게 됐다. 챗봇이 어떤 질문을 받았고 어떤 응답을 했는지 조사를 했고, 침해된 챗봇을 얼른 비활성화시켰다. 그러면서 피해가 걷잡을 수 없이 커지는 걸 막을 수 있었다. 그래서 이 사건은 대대적으로 보도되지도 않았고, 사실 그럴 만한 규모로 커지지도 않았다. 그럼에도 LLM을 구축했을 때 어떤 일이 벌어질 수 있는지를 잘 보여주는 사례로 남게 됐다.
안전한 LLM, 어떻게 갖추는가?
그렇다면 이러한 리스크들을 줄이기 위해 우리가 할 수 있는 일은 무엇인가? 위의 고객사 사례를 거치며 필자가 정리한 결론은 다음과 같다.
1. 모니터링
통합적인 실시간 모니터링은 LLM 보안에 있어 핵심 중 핵심이다. 다만 전통적인 모니터링 기술을 가지고는 위의 사례처럼 미묘하게 조금씩 LLM을 잠식해가는 접근 시도를 빠르게 알아차리기는 힘들다. 그렇기 때문에 인공지능에 기반을 둔, 인공지능 전용의 모니터링 기술을 도입해야 한다. 위의 고객사 역시 그러한 모니터링 기술을 탑재하고 있었기에 피해를 막을 수 있었다. 또한 LLM들과 관련된 모든 로그들을 저장하고, 주기적으로 검사하는 것도 필요하다.
2. 프롬프트 강화
많은 LLM 관련 취약점들은 프롬프트에서부터 비롯된다. 정확히 말하면 프롬프트 설계가 부실했을 때 LLM에서 문제들이 불거진다. 특히 자유로운 형태의 상호작용을 가능하게 하는, ‘오픈 엔드’ 방식의 LLM이 위험하다. 나중에 기술이 발전하면 어떻게 될지 모르겠지만 지금으로서는 고도로 구조화되었으며, 정해진 맥락 안에서만 기능을 발휘할 수 있는 LLM 모델을 사용하는 게 훨씬 안전하다. 쇼핑몰의 챗봇이 임의의 고객과 인생 고민 상담을 할 필요는 없다. 쇼핑몰에서는 구매와 관련된 이야기만 나눌 수 있을 정도면 충분하다.
3. 모델의 정교한 조정
구매한 상태로 곧바로 사용할 수 있는 LLM들은 보편화 된 데이터들을 가지고 훈련이 된 상태다. 곧바로 사용할 수 있기 때문에 시간을 아낀다는 측면에서는 좋지만, 훈련을 위해 어떤 데이터가 활용이 됐는지는 알 수 없다. 그렇기 때문에 편향성이나 취약점이 없을 거라고 보장할 수도 없다. 그러므로 어떤 모델을 구매했든지 구매자는 용도에 따라 추가 훈련을 감행해야 한다. 목적과 맥락에 맞는 데이터셋을 깔끔하게 정리하여 다시 훈련을 해야 LLM 모델의 성능도 좋아지고 보안성도 향상된다.
4. 접근 제어
회사에서 LLM을 도입했다고 해서 회사 내 모든 사람들이 완벽한 제어 권한을 가지고 LLM을 사용할 수 있어야 한다는 법은 없다. 어떤 소프트웨어, 어떤 플랫폼이 다 그렇듯 이 신기한 기술 역시 역할과 책임, 필요에 따라 권한을 설정한 후 사용해야 한다. 꼭 필요한 사람들은 완전한 권한을 갖게 하고, 그렇지 않으면 제한적인 권한만을 허용하는 게 중요하다. 누구라도 신기술에 대한 호기심을 마음껏 충족할 수 있게 해주면 위험이 증가한다. 해커들도 프롬프트의 악용법을 여러 가지로 자유롭게 실험하다가 익스플로잇 방법을 터득한 것이라고 할 수 있다.
5. 악용에 대비한 훈련
뭔가를 지키고 보호한다고 했을 때, 이론만으로는 부족하다. 실제 어떤 식의 공격이 있을 수 있는지, 자신이 마련한 각종 방어책이 실제 상황에서 어떻게 작동하는지 늘 실험하고 알아봐야 한다. 그리고 수정해야 한다. 현실을 반영해야 이론은 강력해진다. 보호하고 싶은 LLM이 있다면 이를 주기적으로 직접 공격해보는 절차를 밟아야 한다. 공격자라면 어떻게 했을까? 이 의문을 항상 품고 LLM을 주시할 필요가 있다.
LLM을 보호한다는 건 말처럼 쉬운 게 아니다. 또한 딱 한 번 설치로 모든 LLM을 보호할 수 있는 마법과 같은 솔루션도 존재하지 않는다. 좀 더 많은 관심과, 노력과, 발품과, 귀찮음과, 신경 씀을 요구한다. 이렇게 말하는 필자라고 해서 LLM 보호에 도가 텄다고 말할 수 있는 것도 아니다. 아직 우리 모두는 더 많이 실수하고, 더 많이 부딪혀보고, 더 많이 당해야 할 것이라고 생각한다. 다만 그 모든 과정이 그저 아픔으로 끝나는 게 아니라 안전한 LLM의 활용으로 이어진다면 대단한 의미가 될 것이다.
그런 미래로 나아가려면 먼저 LLM에 대한 우리의 기대감부터 바꾸어야 한다. 그건 이렇게 정리가 가능하다. “모든 LLM들은 보안 위험성을 가지고 있다.” LLM이라고 해서 공격이 불가능한 기술일 리 없고, LLM이라고 해서 대단히 높은 수준의 지식을 가진 사람만 공격할 수 있는 것도 아니다. 우리가 여태까지 겪어왔던 많은 보안 사고들이 똑같이 LLM 환경에서도 일어날 수 있다. 이 생각을 가지고 LLM을 바라봐야 한다. 보안의 관점에서 LLM이 다른 신기술보다 더 특별할 것은 없다.
글 : 바이바브 말릭(Vaibhav Malik), 솔루션 아키텍트, Cloudflare
[국제부 문정후 기자(globoan@boannews.com)]
[보안뉴스=바이바브 말릭 솔루션 아키텍트, Cloudflare] 대형 언어 모델이라는 신기술을 도입하는 기업과 산업들이 빠르게 증가하는 중이다. 신기술로 무장된 스타트업들부터 역사와 전통을 자랑하는 포춘 500대 기업들까지 차별없이 이 현상을 받아들이고 있다. 대형 언어 모델을 도입해 신이 난 기업들도 있고 오히려 절망에 빠진 곳들도 있다. 필자는 두 상황 모두를 가까이서 지켜본 바 있다. 그리고 여기에 세 번째 상황이 하나 생겨나는 중이다. 대형 언어 모델(이하 LLM)을 영리하게 악용하는 방법들이 등장하고 있다는 것이다.
[이미지 = gettyimagesbank]
최근에는 고객사 한 곳이 이런 사례가 될 뻔했다. 그것도 아주 전형적인 사례 말이다. 이름을 밝힐 수는 없지만 대규모 전자상거래 플랫폼을 제공하던 업체였다. 오픈소스 플랫폼인 챗터봇(ChatterBot)을 기반으로 한 챗봇을 자사 플랫폼에 구축했다. 사업적으로 대단히 훌륭한 결정이었다. 챗봇은 빠르고 정확했으며, 심지어 개인화 된 응답을 제공하기도 했다. 고객들도 크게 만족했다. 하지만 반전이 있었다. 누군가 이 챗봇의 프롬프트를 악용하는 방법을 터득한 것이다. 프롬프트를 악용한 그는 민감한 고객 정보를 탈취하기 시작했다.
공격은 평화롭고 정상적인 대화로부터 시작했다. 챗봇을 통해 공격자는 기업과 좋은 관계를 쌓아갔다. 그런 후에는 천천히 대화의 방향을 틀었다. 아주 조금씩, 더 민감한 내용으로 대화를 이끌었다. 정교하게 프롬프트를 사용해가며 자신들이 원하는 답을 내게 했다. 챗봇은 커다란 맥락에서의 이해력을 갖추지 못한 기술이다. 사람이 교묘하게 접근했을 때 그것을 알아차리고 대응할 기술도 갖추지 못하고 있다. 그래서 속절없이 당했다. 공격자에게 고객의 이메일 주소와 전화번호, 심지어 신용카드 정보까지도 넘겼다.
다행히 이 회사의 보안 모니터링 시스템이 작동했다. 그러면서 챗봇이 이상한 결과물을 자꾸만 산출하는 걸 알게 됐다. 챗봇이 어떤 질문을 받았고 어떤 응답을 했는지 조사를 했고, 침해된 챗봇을 얼른 비활성화시켰다. 그러면서 피해가 걷잡을 수 없이 커지는 걸 막을 수 있었다. 그래서 이 사건은 대대적으로 보도되지도 않았고, 사실 그럴 만한 규모로 커지지도 않았다. 그럼에도 LLM을 구축했을 때 어떤 일이 벌어질 수 있는지를 잘 보여주는 사례로 남게 됐다.
안전한 LLM, 어떻게 갖추는가?
그렇다면 이러한 리스크들을 줄이기 위해 우리가 할 수 있는 일은 무엇인가? 위의 고객사 사례를 거치며 필자가 정리한 결론은 다음과 같다.
1. 모니터링
통합적인 실시간 모니터링은 LLM 보안에 있어 핵심 중 핵심이다. 다만 전통적인 모니터링 기술을 가지고는 위의 사례처럼 미묘하게 조금씩 LLM을 잠식해가는 접근 시도를 빠르게 알아차리기는 힘들다. 그렇기 때문에 인공지능에 기반을 둔, 인공지능 전용의 모니터링 기술을 도입해야 한다. 위의 고객사 역시 그러한 모니터링 기술을 탑재하고 있었기에 피해를 막을 수 있었다. 또한 LLM들과 관련된 모든 로그들을 저장하고, 주기적으로 검사하는 것도 필요하다.
2. 프롬프트 강화
많은 LLM 관련 취약점들은 프롬프트에서부터 비롯된다. 정확히 말하면 프롬프트 설계가 부실했을 때 LLM에서 문제들이 불거진다. 특히 자유로운 형태의 상호작용을 가능하게 하는, ‘오픈 엔드’ 방식의 LLM이 위험하다. 나중에 기술이 발전하면 어떻게 될지 모르겠지만 지금으로서는 고도로 구조화되었으며, 정해진 맥락 안에서만 기능을 발휘할 수 있는 LLM 모델을 사용하는 게 훨씬 안전하다. 쇼핑몰의 챗봇이 임의의 고객과 인생 고민 상담을 할 필요는 없다. 쇼핑몰에서는 구매와 관련된 이야기만 나눌 수 있을 정도면 충분하다.
3. 모델의 정교한 조정
구매한 상태로 곧바로 사용할 수 있는 LLM들은 보편화 된 데이터들을 가지고 훈련이 된 상태다. 곧바로 사용할 수 있기 때문에 시간을 아낀다는 측면에서는 좋지만, 훈련을 위해 어떤 데이터가 활용이 됐는지는 알 수 없다. 그렇기 때문에 편향성이나 취약점이 없을 거라고 보장할 수도 없다. 그러므로 어떤 모델을 구매했든지 구매자는 용도에 따라 추가 훈련을 감행해야 한다. 목적과 맥락에 맞는 데이터셋을 깔끔하게 정리하여 다시 훈련을 해야 LLM 모델의 성능도 좋아지고 보안성도 향상된다.
4. 접근 제어
회사에서 LLM을 도입했다고 해서 회사 내 모든 사람들이 완벽한 제어 권한을 가지고 LLM을 사용할 수 있어야 한다는 법은 없다. 어떤 소프트웨어, 어떤 플랫폼이 다 그렇듯 이 신기한 기술 역시 역할과 책임, 필요에 따라 권한을 설정한 후 사용해야 한다. 꼭 필요한 사람들은 완전한 권한을 갖게 하고, 그렇지 않으면 제한적인 권한만을 허용하는 게 중요하다. 누구라도 신기술에 대한 호기심을 마음껏 충족할 수 있게 해주면 위험이 증가한다. 해커들도 프롬프트의 악용법을 여러 가지로 자유롭게 실험하다가 익스플로잇 방법을 터득한 것이라고 할 수 있다.
5. 악용에 대비한 훈련
뭔가를 지키고 보호한다고 했을 때, 이론만으로는 부족하다. 실제 어떤 식의 공격이 있을 수 있는지, 자신이 마련한 각종 방어책이 실제 상황에서 어떻게 작동하는지 늘 실험하고 알아봐야 한다. 그리고 수정해야 한다. 현실을 반영해야 이론은 강력해진다. 보호하고 싶은 LLM이 있다면 이를 주기적으로 직접 공격해보는 절차를 밟아야 한다. 공격자라면 어떻게 했을까? 이 의문을 항상 품고 LLM을 주시할 필요가 있다.
LLM을 보호한다는 건 말처럼 쉬운 게 아니다. 또한 딱 한 번 설치로 모든 LLM을 보호할 수 있는 마법과 같은 솔루션도 존재하지 않는다. 좀 더 많은 관심과, 노력과, 발품과, 귀찮음과, 신경 씀을 요구한다. 이렇게 말하는 필자라고 해서 LLM 보호에 도가 텄다고 말할 수 있는 것도 아니다. 아직 우리 모두는 더 많이 실수하고, 더 많이 부딪혀보고, 더 많이 당해야 할 것이라고 생각한다. 다만 그 모든 과정이 그저 아픔으로 끝나는 게 아니라 안전한 LLM의 활용으로 이어진다면 대단한 의미가 될 것이다.
그런 미래로 나아가려면 먼저 LLM에 대한 우리의 기대감부터 바꾸어야 한다. 그건 이렇게 정리가 가능하다. “모든 LLM들은 보안 위험성을 가지고 있다.” LLM이라고 해서 공격이 불가능한 기술일 리 없고, LLM이라고 해서 대단히 높은 수준의 지식을 가진 사람만 공격할 수 있는 것도 아니다. 우리가 여태까지 겪어왔던 많은 보안 사고들이 똑같이 LLM 환경에서도 일어날 수 있다. 이 생각을 가지고 LLM을 바라봐야 한다. 보안의 관점에서 LLM이 다른 신기술보다 더 특별할 것은 없다.
글 : 바이바브 말릭(Vaibhav Malik), 솔루션 아키텍트, Cloudflare
[국제부 문정후 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-12-25] 
