챗GPT와 같은 생성형 인공지능 챗봇들은 현재 가장 ‘핫’한 연구 대상이다. 모든 사람이 챗GPT의 활용법을 연구하고 있고 잘 써먹고 있다. 하지만 이 챗GPT에도 보안 위험이 도사리고 있다는 것을 이해하고 있는 사람은 드물다. 보안의 관점에서 챗GPT의 현황이 어떤지 짚어 본다.
[보안뉴스 문정후 기자] 최근 도무지 식을 줄 모르는 주제가 하나 있으니 챗GPT다. 자매품으로는 ‘생성형 인공지능’이나 ‘오픈AI’, ‘대형 언어 모델’ 같은 것들이 있다. 유력 경제지나 일간지에서는 이 단어가 하나 이상 포함된 헤드라인이 매일 등장하고 있으며, IT와 사이버 보안 업계에서도 이 용어들은 매일, 언제 어디에나 등장하고 있다. 일종의 거대한 유행어일까? 아니면 IT의 대세로 굳어질까?
보안 업계의 전문가들에게 있어 인공지능이라는 기술이 낯선 것은 아니다. 이미 수많은 보안 솔루션들이 인공지능을 탑재하고 있다. 다만 지금처럼 분야를 막론하고 인공지능에 대한 예산 투자가 활발했던 적은 없었다. 보안을 책임지는 사람으로서 우리는 이 상황을 눈여겨볼 필요가 있다. 인공지능이 가지고 올 각종 위협에 대비하는 것에서부터 시작해 필요하다면 인공지능을 지나치게 이상적으로 인지하는 시각들도 교정해줄 필요가 있다. 챗GPT 열풍을 보안의 시각에서 주시해보자.
1. 챗GPT에 대한 환상이 조금씩 걷히기 시작했다
최근 챗GPT를 비롯해 유사 기술 혹은 관련 기술의 부작용에 대하여 기업들이 슬슬 인지하기 시작한 것으로 보인다. 보안 업체 멀웨어바이츠(Malwarebytes)가 조사했을 때 응답자의 81%가 생성형 인공지능 기술이 가져다 줄 보안 위협이 우려된다고 표현했고, 63%는 보안의 측면에서 인공지능을 신뢰할 수 없다고 답했다.
멀웨어바이츠의 보안 전도사 마크 스토클리(Mark Stockley)는 “챗GPT에 대한 일반 대중들의 생각은 천차만별”이라며 “인공지능의 작동 방식이 워낙 수수께끼 같다 보니 두려움과 공포, 거부감 등이 상당히 작용한다”고 말한다. “응답자의 52%가 챗GPT의 개발을 일시적으로 중단하고 규정부터 신설해야 한다는 의견이었습니다. 얼마 전 전문가 1천 명이 서명한 공개 서신과 같은 내용이죠.”
2. 기밀 인공지능이 급부상 중이다
일반 사용자들 사이에서는 인공지능에 대한 부정적인 시각이 은근 깔리기 시작했을지 몰라도 기업은 그렇지 않다. 인공지능이 인류에 가져다 줄 재앙적 결과를 사업적 차원에서 진지하게 고민하는 곳은 거의 없다. 하지만 인공지능에 위험 요소가 내포되어 있다는 것 자체는 인정하고 있고, 그러므로 그러한 부분들에 대한 소식과 연구 결과를 주시하고 있다. 이미 적잖은 사건 사고와 인공지능이 얽혔으니 그렇게 하지 않는 게 이상한 거다.
그러면서 챗GPT 등 여러 LLM 모델들에 사용자가 입력하는 정보를 보다 안전하게, 보다 은밀하게 만드는 방법에 대한 수요가 커지기 시작했다. 그 때 등장한 것이 프라이빗AI(Private AI)의 프라이빗GPT(PrivateGPT)다. 사용자가 챗GPT에 입력할 때 50종 이상의 개인 식별 정보를 실시간으로 삭제해주며, 챗GPT가 답변을 제공할 때는 필요한 부분에 아까 뺐던 개인 식별 정보를 다시 추가한다. 사용자는 개인정보에 대한 고민 없이 질문을 했다가 답을 받은 것 뿐인데, 민감한 정보들은 보호됐다.
이러한 새로운 선택지들은 계속해서 시장에 등장하고 있다. 회사에서 직원들의 LLM 활용 감시 기능을 가지고 있는 칼립소AI(CalypsoAI0는 지난 주 2300만 달러의 투자금을 유치하는 데 성공했다. LLM을 통한 콘텐츠 공유 감시 기술인 비키퍼AI(BeeKeeperAI)의 경우 1210만 달러를 확보했다. 기업들이 챗GPT에 비밀 보호 기능을 덧씌워야 된다는 것을 인지한 것이라고 볼 수 있다.
3. 챗GPT 로드맵
올해 초 클라우드보안연맹(CSA)은 챗GPT의 무분별한 사용이 위험을 초래할 수 있다고 경고했다. 그러면서 발표된 백서가 ‘챗GPT가 보안에 미칠 영향(Security Implications of ChatGPT)’이었다. 챗GPT와 관련된 우려 사항들을 크게 네 가지 영역으로 나눠 다루었고, 인공지능 개발과 관련된 로드맵이 먼저 나와야 할 것이라고 촉구했다.
클라우드보안연맹의 CEO인 짐 리비스(Jim Reavis)는 “인공지능의 현재 열풍과 미래 영향력의 막중함에 대해서는 아무리 경고해도 모자랄 지경”이라고 말한다. “긍정적이든 부정적이든, 아니면 둘 다이든 인공지능은 확실히 우리 삶에 커다란 변화를 가져올 것입니다. 그러니 그러한 발전의 방향성이 안전하도록 길을 만들어내는 게 저희 클라우드보안연맹의 할 일이라고 저희는 보고 있습니다. 인공지능을 잘 활용함으로써 긍정적인 미래를 이룩할 수 있다는 데에 의심은 없습니다.”
4. 어쩌면 새로운 동료? 아직은 새로운 도구
인공지능이 사람들로부터 사이버 보안 업무를 빼앗아 갈 것이라는 전망이 여러 사람을 은근 불편하게 만들고 있다. 인공지능 분야가 아니더라도 이러한 우려는 우리의 마음 속에 항상 존재한다. 하지만 이번 주 인력 채용 사이트 업워크(Upwork)에서 발표한 조사 결과에 따르면 C레벨 임원진의 64%가 “오히려 생성형 인공지능이 등장했기 때문에 더 많은 사람들을 고용해야 한다”는 입장이라고 한다. “인공지능이 놀라운 ‘도구’이지 뛰어난 ‘직원’까지는 아직 아니라는 뜻”이라고 업워크는 분석한다.
업워크의 연구소 소장 켈리 모나한(Kelly Monahan)은 일간 뉴스 매체 CNBC와의 인터뷰를 통해 “챗GPT로 인해 특정 업무를 100% 자동화 할 수는 없는 건 맞다”며 "특정 업무 프로세스를 훨씬 편리하게 탈바꿈함으로써 직원들의 업무 능률을 높이는 건 얼마든지 가능”하다고 설명했다.
또 JP모건(JPMorgan)의 분석가들은 6월 23일에 발표한 보고서를 통해 “생성형 인공지능이 사이버 보안 산업의 인재 부족 문제를 완화하는 데 도움이 될 것”으로 예상하기도 했다. “마이크로소프트(Microsoft)의 시큐리티코파일럿(Security Copilot)과 같은 인공지능 도우미가 위협 첩보 정리와 같은 작업에 도움을 주는 것이 좋은 사례”라고 보고서를 통해 분석가들은 주장했다. 생성형 인공지능은 기존 근로자들의 역량을 향상시키는 데 더없이 좋은 도구일 수 있다.
5. 환각을 만들어내는 챗GPT
챗GPT나 그와 유사한 도구를 중요한 사이버 보안 업무에 활용하는 것에 대해 일부 사람들이 겁을 먹는 이유 중 하나는 ‘인공지능 환각 현상’ 때문이다. LLM이 사실이나 현실에 대한 근거를 가지지 않은 채 임의로 답변이나 해결책을 만들어내는 현상을 말한다. 매우 그럴듯한 거짓말을 하는 것이다.
엔도랩스(Endor Labs)의 연구원들이 이 문제를 직접 파헤쳐보기로 했다. LLM이 오픈소스 소프트웨어 내 악성 코드를 얼마나 잘 찾아내는지 실험함으로써 이 환각 문제도 다루었다. 먼저 연구원들은 두 개의 LLM을 선정했고, 각각 npm, PyPI 등 유명 코드 리포지터리 내 패키지들을 악성과 양성으로 분류하도록 했다. 추가로 악성의 경우 아주 조금 의심스러운 패키지부터 강력하게 의심스러운 패키지까지 0부터 9점을 매기도록 했다.
동일한 코드 스니펫에 대한 평가를 1098번 수행했는데, 488번에서는 두 LLM이 정확히 동일한 결과를 냈다. 514번에서는 한 점 정도의 차이로 두 LLM의 수행 결과가 갈렸다. 하지만 나머지 실험 시기에는 점수 차이가 최대 9점까지 났으며, 난해한 코드 스니펫의 경우 가짜 결과(즉 환각)를 만들어내는 것이 목격되기도 했다. 그러므로 인간의 감독 없이 LLM이 자유롭게 활동하도록 놔둔 채 결과를 온전히 신뢰한다는 건 섣부르다.
6. 생성형 인공지능과 세계의 정부들
생성형 인공지능이 할 수 있는 일과 할 수 없는 일, 해야 하는 일과 하지 말아야 하는 일에 대해 보안 전문가들은 점점 더 감을 잡아가는 분위기다. 하지만 일반 대중과 대부분의 기업 근로자들은 여전히 챗GPT와 같은 생성형 인공지능에 대한 깊은 호기심을 가지고 있으며, 여러 가지로 실험을 이어가는 중이다. 채용 회사 메이슨프랭크(Mason Frank)의 이번 주 조사에 따르면, 미국에서 “인공지능이란 무엇인가”에 대한 구글 검색 양은 작년에 비해 643% 증가했다고 한다. (작년에는 같은 조사에서 해당 용어의 검색 양이 2021년 대비 233% 증가했었다).
이러한 넓은 관심 속에서 세계 정부들 역시 이 신기술에 깊은 관심을 보이고 있으며, 각종 정책과 기술 개발에 관여하고 있기도 하다. 이는 사이버 보안에도 영향이 있을 수밖에 없는 움직임이다. 예를 들어 바이든 미국 대통령은 지난 주 인공지능이 국가 안보 미칠 수 있는 위험성을 면밀하고 구체적으로 조사할 것이라고 밝히기도 했다. 영국의 수낵 총리 역시 올 가을 인공지능 보안에 대한 전 세계 정상회담을 개최할 것이라고 발표했고, 유럽연합도 LLM을 위한 새 법안을 마련 중에 있다.
글 : 타라 실즈(Tara Seals), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
[보안뉴스 문정후 기자] 최근 도무지 식을 줄 모르는 주제가 하나 있으니 챗GPT다. 자매품으로는 ‘생성형 인공지능’이나 ‘오픈AI’, ‘대형 언어 모델’ 같은 것들이 있다. 유력 경제지나 일간지에서는 이 단어가 하나 이상 포함된 헤드라인이 매일 등장하고 있으며, IT와 사이버 보안 업계에서도 이 용어들은 매일, 언제 어디에나 등장하고 있다. 일종의 거대한 유행어일까? 아니면 IT의 대세로 굳어질까?
[이미지 = gettyimagesbank]
보안 업계의 전문가들에게 있어 인공지능이라는 기술이 낯선 것은 아니다. 이미 수많은 보안 솔루션들이 인공지능을 탑재하고 있다. 다만 지금처럼 분야를 막론하고 인공지능에 대한 예산 투자가 활발했던 적은 없었다. 보안을 책임지는 사람으로서 우리는 이 상황을 눈여겨볼 필요가 있다. 인공지능이 가지고 올 각종 위협에 대비하는 것에서부터 시작해 필요하다면 인공지능을 지나치게 이상적으로 인지하는 시각들도 교정해줄 필요가 있다. 챗GPT 열풍을 보안의 시각에서 주시해보자.
1. 챗GPT에 대한 환상이 조금씩 걷히기 시작했다
최근 챗GPT를 비롯해 유사 기술 혹은 관련 기술의 부작용에 대하여 기업들이 슬슬 인지하기 시작한 것으로 보인다. 보안 업체 멀웨어바이츠(Malwarebytes)가 조사했을 때 응답자의 81%가 생성형 인공지능 기술이 가져다 줄 보안 위협이 우려된다고 표현했고, 63%는 보안의 측면에서 인공지능을 신뢰할 수 없다고 답했다.
멀웨어바이츠의 보안 전도사 마크 스토클리(Mark Stockley)는 “챗GPT에 대한 일반 대중들의 생각은 천차만별”이라며 “인공지능의 작동 방식이 워낙 수수께끼 같다 보니 두려움과 공포, 거부감 등이 상당히 작용한다”고 말한다. “응답자의 52%가 챗GPT의 개발을 일시적으로 중단하고 규정부터 신설해야 한다는 의견이었습니다. 얼마 전 전문가 1천 명이 서명한 공개 서신과 같은 내용이죠.”
2. 기밀 인공지능이 급부상 중이다
일반 사용자들 사이에서는 인공지능에 대한 부정적인 시각이 은근 깔리기 시작했을지 몰라도 기업은 그렇지 않다. 인공지능이 인류에 가져다 줄 재앙적 결과를 사업적 차원에서 진지하게 고민하는 곳은 거의 없다. 하지만 인공지능에 위험 요소가 내포되어 있다는 것 자체는 인정하고 있고, 그러므로 그러한 부분들에 대한 소식과 연구 결과를 주시하고 있다. 이미 적잖은 사건 사고와 인공지능이 얽혔으니 그렇게 하지 않는 게 이상한 거다.
그러면서 챗GPT 등 여러 LLM 모델들에 사용자가 입력하는 정보를 보다 안전하게, 보다 은밀하게 만드는 방법에 대한 수요가 커지기 시작했다. 그 때 등장한 것이 프라이빗AI(Private AI)의 프라이빗GPT(PrivateGPT)다. 사용자가 챗GPT에 입력할 때 50종 이상의 개인 식별 정보를 실시간으로 삭제해주며, 챗GPT가 답변을 제공할 때는 필요한 부분에 아까 뺐던 개인 식별 정보를 다시 추가한다. 사용자는 개인정보에 대한 고민 없이 질문을 했다가 답을 받은 것 뿐인데, 민감한 정보들은 보호됐다.
이러한 새로운 선택지들은 계속해서 시장에 등장하고 있다. 회사에서 직원들의 LLM 활용 감시 기능을 가지고 있는 칼립소AI(CalypsoAI0는 지난 주 2300만 달러의 투자금을 유치하는 데 성공했다. LLM을 통한 콘텐츠 공유 감시 기술인 비키퍼AI(BeeKeeperAI)의 경우 1210만 달러를 확보했다. 기업들이 챗GPT에 비밀 보호 기능을 덧씌워야 된다는 것을 인지한 것이라고 볼 수 있다.
3. 챗GPT 로드맵
올해 초 클라우드보안연맹(CSA)은 챗GPT의 무분별한 사용이 위험을 초래할 수 있다고 경고했다. 그러면서 발표된 백서가 ‘챗GPT가 보안에 미칠 영향(Security Implications of ChatGPT)’이었다. 챗GPT와 관련된 우려 사항들을 크게 네 가지 영역으로 나눠 다루었고, 인공지능 개발과 관련된 로드맵이 먼저 나와야 할 것이라고 촉구했다.
클라우드보안연맹의 CEO인 짐 리비스(Jim Reavis)는 “인공지능의 현재 열풍과 미래 영향력의 막중함에 대해서는 아무리 경고해도 모자랄 지경”이라고 말한다. “긍정적이든 부정적이든, 아니면 둘 다이든 인공지능은 확실히 우리 삶에 커다란 변화를 가져올 것입니다. 그러니 그러한 발전의 방향성이 안전하도록 길을 만들어내는 게 저희 클라우드보안연맹의 할 일이라고 저희는 보고 있습니다. 인공지능을 잘 활용함으로써 긍정적인 미래를 이룩할 수 있다는 데에 의심은 없습니다.”
4. 어쩌면 새로운 동료? 아직은 새로운 도구
인공지능이 사람들로부터 사이버 보안 업무를 빼앗아 갈 것이라는 전망이 여러 사람을 은근 불편하게 만들고 있다. 인공지능 분야가 아니더라도 이러한 우려는 우리의 마음 속에 항상 존재한다. 하지만 이번 주 인력 채용 사이트 업워크(Upwork)에서 발표한 조사 결과에 따르면 C레벨 임원진의 64%가 “오히려 생성형 인공지능이 등장했기 때문에 더 많은 사람들을 고용해야 한다”는 입장이라고 한다. “인공지능이 놀라운 ‘도구’이지 뛰어난 ‘직원’까지는 아직 아니라는 뜻”이라고 업워크는 분석한다.
업워크의 연구소 소장 켈리 모나한(Kelly Monahan)은 일간 뉴스 매체 CNBC와의 인터뷰를 통해 “챗GPT로 인해 특정 업무를 100% 자동화 할 수는 없는 건 맞다”며 "특정 업무 프로세스를 훨씬 편리하게 탈바꿈함으로써 직원들의 업무 능률을 높이는 건 얼마든지 가능”하다고 설명했다.
또 JP모건(JPMorgan)의 분석가들은 6월 23일에 발표한 보고서를 통해 “생성형 인공지능이 사이버 보안 산업의 인재 부족 문제를 완화하는 데 도움이 될 것”으로 예상하기도 했다. “마이크로소프트(Microsoft)의 시큐리티코파일럿(Security Copilot)과 같은 인공지능 도우미가 위협 첩보 정리와 같은 작업에 도움을 주는 것이 좋은 사례”라고 보고서를 통해 분석가들은 주장했다. 생성형 인공지능은 기존 근로자들의 역량을 향상시키는 데 더없이 좋은 도구일 수 있다.
5. 환각을 만들어내는 챗GPT
챗GPT나 그와 유사한 도구를 중요한 사이버 보안 업무에 활용하는 것에 대해 일부 사람들이 겁을 먹는 이유 중 하나는 ‘인공지능 환각 현상’ 때문이다. LLM이 사실이나 현실에 대한 근거를 가지지 않은 채 임의로 답변이나 해결책을 만들어내는 현상을 말한다. 매우 그럴듯한 거짓말을 하는 것이다.
엔도랩스(Endor Labs)의 연구원들이 이 문제를 직접 파헤쳐보기로 했다. LLM이 오픈소스 소프트웨어 내 악성 코드를 얼마나 잘 찾아내는지 실험함으로써 이 환각 문제도 다루었다. 먼저 연구원들은 두 개의 LLM을 선정했고, 각각 npm, PyPI 등 유명 코드 리포지터리 내 패키지들을 악성과 양성으로 분류하도록 했다. 추가로 악성의 경우 아주 조금 의심스러운 패키지부터 강력하게 의심스러운 패키지까지 0부터 9점을 매기도록 했다.
동일한 코드 스니펫에 대한 평가를 1098번 수행했는데, 488번에서는 두 LLM이 정확히 동일한 결과를 냈다. 514번에서는 한 점 정도의 차이로 두 LLM의 수행 결과가 갈렸다. 하지만 나머지 실험 시기에는 점수 차이가 최대 9점까지 났으며, 난해한 코드 스니펫의 경우 가짜 결과(즉 환각)를 만들어내는 것이 목격되기도 했다. 그러므로 인간의 감독 없이 LLM이 자유롭게 활동하도록 놔둔 채 결과를 온전히 신뢰한다는 건 섣부르다.
6. 생성형 인공지능과 세계의 정부들
생성형 인공지능이 할 수 있는 일과 할 수 없는 일, 해야 하는 일과 하지 말아야 하는 일에 대해 보안 전문가들은 점점 더 감을 잡아가는 분위기다. 하지만 일반 대중과 대부분의 기업 근로자들은 여전히 챗GPT와 같은 생성형 인공지능에 대한 깊은 호기심을 가지고 있으며, 여러 가지로 실험을 이어가는 중이다. 채용 회사 메이슨프랭크(Mason Frank)의 이번 주 조사에 따르면, 미국에서 “인공지능이란 무엇인가”에 대한 구글 검색 양은 작년에 비해 643% 증가했다고 한다. (작년에는 같은 조사에서 해당 용어의 검색 양이 2021년 대비 233% 증가했었다).
이러한 넓은 관심 속에서 세계 정부들 역시 이 신기술에 깊은 관심을 보이고 있으며, 각종 정책과 기술 개발에 관여하고 있기도 하다. 이는 사이버 보안에도 영향이 있을 수밖에 없는 움직임이다. 예를 들어 바이든 미국 대통령은 지난 주 인공지능이 국가 안보 미칠 수 있는 위험성을 면밀하고 구체적으로 조사할 것이라고 밝히기도 했다. 영국의 수낵 총리 역시 올 가을 인공지능 보안에 대한 전 세계 정상회담을 개최할 것이라고 발표했고, 유럽연합도 LLM을 위한 새 법안을 마련 중에 있다.
글 : 타라 실즈(Tara Seals), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-12-22] 
.jpg)
.jpg)
