.jpg)
ChatGPT 활용도 높아지면서 ‘Prompt Engineering’ 기술의 중요성 더 커질 것
사이버 범죄자들은 이미 ChatGPT 활용하기 시작...윤리적인 가이드라인 강화돼야
Prompt Engineering 통해 다른 회사기밀 빼낼 수 있어...보안 업계에서의 활용은 좀더 두고봐야
■ 방송 : 보안뉴스TV(bnTV) <곽경주의 다크웹 인사이드> 31화
■ 진행 : 권 준 보안뉴스 편집국장
■ 출연 : 곽경주 S2W 이사
□ 권준 국장 안녕하세요? 보안뉴스 권준 편집국장입니다.
■ 곽경주 이사 안녕하세요 S2W 곽경주입니다.
□ 권준 국장 최근에 ChatGPT 열풍이잖아요. 이것을 둘러싼 여러 가지 보안 이슈들도 많은 것 같아요. 그래서 저희가 지난 3월 ‘세계보안엑스포(SECON 2023)’ 때도 이 ChatGPT를 활용해서 디지털 도어락을 해킹한다든가 하는 사례들을 살펴봤는데요. (오늘은) 첫 번쨰로 ChatGPT를 악용해서 어떤 보안 위협들이 있고 실질적으로 해킹 사례라든가 이런 연구 같은 것들이 어떤 것들이 있었는지 한번 살펴보려고 하거든요.
[ChatGPT의 보안 위협]
■ 곽경주 이사 지금 설명 드리는 내용은 ChatGPT를 이용해서 만들었습니다. ‘ChatGPT는 인공지능 기술인 GPT 3를 기반으로 한 챗봇 서비스인데, 지금은 GPT 4버전까지 나와 있고요. 사용자의 질문에 대해서 자연어를 이용하여 답변을 제공하는 기능을 가지고 있습니다. 최근에는 인기를 얻어 다양한 분야에서 활용되고 있지만, 보안 측면에서도 주목받고 있습니다. 인공지능 기술의 발전과 함께 ChatGPT를 이용한 사회공학적 공격 등의 위협이 발생할 가능성이 있어 이에 대한 대응책이 필요합니다.’
여기까지가 ChatGPT가 만들어준 답변이에요, 어색하지가 않죠? 이 ChatGPT를 악용했을 때 보안 위협과 해킹 위험이 있다는 얘기가 많이 나오는데요. 이에 대해 이해하려면 일단 프롬프트 엔지니어링(Prompt Engineering)이라는 단어에 좀 익숙해지셔야 되는데요. ChatGPT는 아시다시피 채팅이잖아요. 근데 채팅을 할 때 글자를 쓰는 곳을 Prompt라고 하는데, 이 Prompt에다가 어떤 식으로 ChatGPT한테 질문을 하고 답변을 유도하느냐에 따라서 답변이 굉장히 달라져요.
그래서 ChatGPT도 어느 정도 보안 가이드라인이 있거든요. “백신에 탐지되지 않는 악성코드를 만들어줘!”라고 하면 ChatGPT는 만들어주지 않습니다. 대신 우회적으로 돌려서 “무슨 무슨 기능을 만들어 줘”라는 식으로 다이렉트(Direct)한 요청이 아니라 우회적으로 요청을 하면 들어주거든요.
이런 것을 또 ‘Prompt Engineering’이라고 해요. 원하는 답변을 끌어내 줄 수 있게 Prompt에다가 글을 적는 그런 기술을 Prompt Engineering이라고 하는데요. 미국에서는 이미 Job Position으로 나왔습니다. 채용 공고에 Prompt Engineer를 뽑는다는 것이 이미 나왔고요.
보안 위협 측면으로 봤을 때는 이미 다크웹 포럼에서 ChatGPT를 이용해서 어떻게 악성코드를 만드는지에 대한 상세한 가이드가 나와 있어요. 일례로 ‘XSS’라는 포럼이 있는데요. 여기에 올라온 글 중에는 ‘CryptoClipper’라고 해서 암호화폐를 탈취하는 악성코드를 ChatGPT를 이용해서 만들었다는 내용도 있었고요. 그리고 지금은 폐쇄(Takedown)됐지만 다크웹 포럼 ‘Breached Forums’에 올라왔던 글을 보게 되면 여기도 (ChatGPT를 이용해) 악성코드를 제작하는 방법에 대한 튜토리얼(Tutorial)이 상세하게 다 적혀 있어요. 이미 범죄자들은 ChatGPT를 활용하기 시작한 것이라고 볼 수 있죠.
그리고 이와 관련해서는 최근에 포스포인트(Forcepoint)라는 글로벌 보안업체에서 (ChatGPT로) 백신에 탐지되지 않는 악성코드를 만드는 방법에 대해서 실제로 본인들이 (시도)해본 결과물들이 정리된 글들도 나와 있기도 하고요. 피싱(Phishing) 사이트 같은 것도 ChatGPT를 이용해서 만들 수도 있고요. 이에 윤리적인 가이드라인이 ChatGPT에 조금 더 많이 탑재가 되어야 한다고 봅니다.
[ChatGPT 활용의 위험성]
□ 권준 국장 이제는 ChatGPT를 업무에 활용하는 기업들이 되게 많아졌어요.
■ 곽경주 이사 네, 그렇죠.
□ 권준 국장 혹시 이제 ChatGPT를 업무에 활용하면서 실수라든가 아니면 문제가 될 소지들도 꽤 있을 것 같거든요?
■ 곽경주 이사 일단 기업은 가장 신경 쓰고 있는 부분이 내부의 민감한 정보가 유출되는 부분이거든요. Prompt에다가 뭔가를 적어 넣으면 이것이 결국 ‘OpenAI’라는 회사의 서버로 가는 거예요. 근데 이게(ChatGPT) 워낙 편리하고 그 위험성 자체를 잘 모르다 보니까 그곳에다가 회사 내부의 민감한 정보를 올려놓고 ‘이것으로 보고서를 작성해줘’ 그러면 이것(회사 정보)이 학습 데이터로 나중에 이용되는 거예요.
그래서 나중에 뭔가 이제 Prompt Engineering을 통해서 다른 회사의 기밀을 빼내도록 우회적인 질문을 한다든가 하는 방법을 통해 경쟁사가 그 회사의 내부 정보를 알아낼 수도 있는 것이고 정부기관은 더 조심해야 되는 것이죠. 개인정보 같은 것들이 많을 테니까 그런 유출의 위험성이 존재하고요.
□ 권준 국장 그러게요, 그게 제일 크겠네요.
■ 곽경주 이사 그리고 ChatGPT의 특성을 이해해야 하는데요. 팩트(Fact)를 엄청나게 정확하게 전달해 준다기보다 그냥 그럴 싸하게 만들어주는 답변들을 많이 해주거든요. 논문을 Summary(요약)을 한다든가 할 때 (ChatGPT에) 논문을 집어넣고 이 논문이 참고한 레퍼런스를 알려줘 라고 했을 때, 본문에 어떤 논문을 참조해서 이 논문을 썼다라고 되어 있음에도 불구하고 굉장히 엉뚱한 레퍼런스를 줘요. 그런데 그 엉뚱한 논문의 제목이 굉장히 그럴 싸해요. 진짜 있는 논문 같아요. 조심하셔야 되는 부분이에요.
□ 권준 국장 기업들은 신뢰성에 있어서 타격이 될 수도 있는 부분이잖아요.
■ 곽경주 이사 네, 네.
[보안 업계에서의 ChatGPT]
□ 권준 국장 저희가 보안담당자이다보니까 아무래도 보안 업무에서 효율성을 활용하자 이런 것들은 어떤 식으로 봐야 될까요?
■ 곽경주 이사 보안 업계에서 지금 ChatGPT를 도입하고 있는 경우를 보게 되면 지금은 제품 매뉴얼 같은 것을 학습시켜 가지고 그것을 이제 챗봇(Chatbot)으로 활용하는 거예요. 고객 대응용으로 활용을 많이 하고 있는 것이고요.
모 회사 같은 경우에는 Query문 작성 같은 경우 ChatGPT가 정확하게 매뉴얼을 학습한 다음에 그 Query를 대신 작성해 주는 것이죠. 저 같은 경우에는 악성코드를 탐지할 때 사용하는 Rule 중에 ‘Yara Rule’이라는 것도 있고, 그 다음에 네트워크상에 이상한 행위들을 탐지하기 위해서 사용하는 ‘Snort Rule’ 이런 것들이 있는데, 그런 것들을 짜게 만들어봤어요. 단순 Rule까지는 잘 만들어줘요. 이제 조금 더 복잡한 Rule을 짜게 만들면 잘 안돼요. 제가 Prompt Engineering이 아직 좀 잘 안돼서 그럴 수도 있는데요. 기술적인 디테일까지 들어가기에는 아직 조금 무리가 있는 상태인 것 같고요.
보안 업계의 특성상 정보의 신뢰도나 정확도가 중요한 서비스잖아요. 내부적인 보안을 위해서 뭔가 차단한다든가 뭔가 탐지를 한다든가에 ChatGPT를 활용하게 되면 굉장히 잘못된 결과가 잘못된 결과가 나올 수 있기 때문에 그 부분이 되게 조심스러운 것이거든요. 그래서 그런 부분까지 적극적으로 도입하는 곳은 아직까지 크게 보지는 못했고요.
□ 권준 국장 보안 업무에 직접적으로는 아직까지는 더 보완이 필요하다는 견해이신 거죠?
■ 곽경주 이사 근데 최근에는 이제 마이크로소프트에서 애저 상에서 프라이빗(Private)한 ChatGPT를 만들 수 있게 구축할 수 있게 해주는 서비스 같은 것이 있어요. 그래서 아마 회사들이 그런 인프라를 이용해서 내부의 정보와 기존에 ChatGPT가 가지고 있는 좋은 장점을 서로 융합시켜서 사용하는 시도도 하게 될 것 같아요.
□ 권준 국장 종합적으로 한번 곽 이사님의 견해를 정리를 해주신다면?
■ 곽경주 이사 이제 지금 ChatGPT의 위협이나 공격적인 부분에 좀 많이 집중이 돼 있고, 이슈화가 돼 있는데요. 반면에 이제 보안 대응적인 측면, 즉 방어적인 측면에서도 어떻게 대응할 수 있는 것인가 고민을 많이 해야될 것 같고요. AI도 그렇고 지금 ChatGPT도 그렇지만 (활용하기에) 적합한 업권이 있어요. 그 적합한 업권이 ‘보안’이냐 라는 것은 조금 더 공부를 해봐야 되지 않을까 싶습니다.
□ 권준 국장 이사님 오늘 너무 좋은 시간 감사드립니다. 이상 다크웹 인사이드 마치도록 하겠습니다. 감사합니다.
■ 곽경주 이사 감사합니다.
[권준 기자(editor@boannews.com)]
사이버 범죄자들은 이미 ChatGPT 활용하기 시작...윤리적인 가이드라인 강화돼야
Prompt Engineering 통해 다른 회사기밀 빼낼 수 있어...보안 업계에서의 활용은 좀더 두고봐야
■ 방송 : 보안뉴스TV(bnTV) <곽경주의 다크웹 인사이드> 31화
■ 진행 : 권 준 보안뉴스 편집국장
■ 출연 : 곽경주 S2W 이사
□ 권준 국장 안녕하세요? 보안뉴스 권준 편집국장입니다.
■ 곽경주 이사 안녕하세요 S2W 곽경주입니다.
□ 권준 국장 최근에 ChatGPT 열풍이잖아요. 이것을 둘러싼 여러 가지 보안 이슈들도 많은 것 같아요. 그래서 저희가 지난 3월 ‘세계보안엑스포(SECON 2023)’ 때도 이 ChatGPT를 활용해서 디지털 도어락을 해킹한다든가 하는 사례들을 살펴봤는데요. (오늘은) 첫 번쨰로 ChatGPT를 악용해서 어떤 보안 위협들이 있고 실질적으로 해킹 사례라든가 이런 연구 같은 것들이 어떤 것들이 있었는지 한번 살펴보려고 하거든요.
[ChatGPT의 보안 위협]
■ 곽경주 이사 지금 설명 드리는 내용은 ChatGPT를 이용해서 만들었습니다. ‘ChatGPT는 인공지능 기술인 GPT 3를 기반으로 한 챗봇 서비스인데, 지금은 GPT 4버전까지 나와 있고요. 사용자의 질문에 대해서 자연어를 이용하여 답변을 제공하는 기능을 가지고 있습니다. 최근에는 인기를 얻어 다양한 분야에서 활용되고 있지만, 보안 측면에서도 주목받고 있습니다. 인공지능 기술의 발전과 함께 ChatGPT를 이용한 사회공학적 공격 등의 위협이 발생할 가능성이 있어 이에 대한 대응책이 필요합니다.’
여기까지가 ChatGPT가 만들어준 답변이에요, 어색하지가 않죠? 이 ChatGPT를 악용했을 때 보안 위협과 해킹 위험이 있다는 얘기가 많이 나오는데요. 이에 대해 이해하려면 일단 프롬프트 엔지니어링(Prompt Engineering)이라는 단어에 좀 익숙해지셔야 되는데요. ChatGPT는 아시다시피 채팅이잖아요. 근데 채팅을 할 때 글자를 쓰는 곳을 Prompt라고 하는데, 이 Prompt에다가 어떤 식으로 ChatGPT한테 질문을 하고 답변을 유도하느냐에 따라서 답변이 굉장히 달라져요.
그래서 ChatGPT도 어느 정도 보안 가이드라인이 있거든요. “백신에 탐지되지 않는 악성코드를 만들어줘!”라고 하면 ChatGPT는 만들어주지 않습니다. 대신 우회적으로 돌려서 “무슨 무슨 기능을 만들어 줘”라는 식으로 다이렉트(Direct)한 요청이 아니라 우회적으로 요청을 하면 들어주거든요.
이런 것을 또 ‘Prompt Engineering’이라고 해요. 원하는 답변을 끌어내 줄 수 있게 Prompt에다가 글을 적는 그런 기술을 Prompt Engineering이라고 하는데요. 미국에서는 이미 Job Position으로 나왔습니다. 채용 공고에 Prompt Engineer를 뽑는다는 것이 이미 나왔고요.
보안 위협 측면으로 봤을 때는 이미 다크웹 포럼에서 ChatGPT를 이용해서 어떻게 악성코드를 만드는지에 대한 상세한 가이드가 나와 있어요. 일례로 ‘XSS’라는 포럼이 있는데요. 여기에 올라온 글 중에는 ‘CryptoClipper’라고 해서 암호화폐를 탈취하는 악성코드를 ChatGPT를 이용해서 만들었다는 내용도 있었고요. 그리고 지금은 폐쇄(Takedown)됐지만 다크웹 포럼 ‘Breached Forums’에 올라왔던 글을 보게 되면 여기도 (ChatGPT를 이용해) 악성코드를 제작하는 방법에 대한 튜토리얼(Tutorial)이 상세하게 다 적혀 있어요. 이미 범죄자들은 ChatGPT를 활용하기 시작한 것이라고 볼 수 있죠.
그리고 이와 관련해서는 최근에 포스포인트(Forcepoint)라는 글로벌 보안업체에서 (ChatGPT로) 백신에 탐지되지 않는 악성코드를 만드는 방법에 대해서 실제로 본인들이 (시도)해본 결과물들이 정리된 글들도 나와 있기도 하고요. 피싱(Phishing) 사이트 같은 것도 ChatGPT를 이용해서 만들 수도 있고요. 이에 윤리적인 가이드라인이 ChatGPT에 조금 더 많이 탑재가 되어야 한다고 봅니다.
▲[곽경주의 다크웹 인사이드] 31화 시작 화면[이미지=보안뉴스]
[ChatGPT 활용의 위험성]
□ 권준 국장 이제는 ChatGPT를 업무에 활용하는 기업들이 되게 많아졌어요.
■ 곽경주 이사 네, 그렇죠.
□ 권준 국장 혹시 이제 ChatGPT를 업무에 활용하면서 실수라든가 아니면 문제가 될 소지들도 꽤 있을 것 같거든요?
■ 곽경주 이사 일단 기업은 가장 신경 쓰고 있는 부분이 내부의 민감한 정보가 유출되는 부분이거든요. Prompt에다가 뭔가를 적어 넣으면 이것이 결국 ‘OpenAI’라는 회사의 서버로 가는 거예요. 근데 이게(ChatGPT) 워낙 편리하고 그 위험성 자체를 잘 모르다 보니까 그곳에다가 회사 내부의 민감한 정보를 올려놓고 ‘이것으로 보고서를 작성해줘’ 그러면 이것(회사 정보)이 학습 데이터로 나중에 이용되는 거예요.
그래서 나중에 뭔가 이제 Prompt Engineering을 통해서 다른 회사의 기밀을 빼내도록 우회적인 질문을 한다든가 하는 방법을 통해 경쟁사가 그 회사의 내부 정보를 알아낼 수도 있는 것이고 정부기관은 더 조심해야 되는 것이죠. 개인정보 같은 것들이 많을 테니까 그런 유출의 위험성이 존재하고요.
□ 권준 국장 그러게요, 그게 제일 크겠네요.
■ 곽경주 이사 그리고 ChatGPT의 특성을 이해해야 하는데요. 팩트(Fact)를 엄청나게 정확하게 전달해 준다기보다 그냥 그럴 싸하게 만들어주는 답변들을 많이 해주거든요. 논문을 Summary(요약)을 한다든가 할 때 (ChatGPT에) 논문을 집어넣고 이 논문이 참고한 레퍼런스를 알려줘 라고 했을 때, 본문에 어떤 논문을 참조해서 이 논문을 썼다라고 되어 있음에도 불구하고 굉장히 엉뚱한 레퍼런스를 줘요. 그런데 그 엉뚱한 논문의 제목이 굉장히 그럴 싸해요. 진짜 있는 논문 같아요. 조심하셔야 되는 부분이에요.
□ 권준 국장 기업들은 신뢰성에 있어서 타격이 될 수도 있는 부분이잖아요.
■ 곽경주 이사 네, 네.
[보안 업계에서의 ChatGPT]
□ 권준 국장 저희가 보안담당자이다보니까 아무래도 보안 업무에서 효율성을 활용하자 이런 것들은 어떤 식으로 봐야 될까요?
■ 곽경주 이사 보안 업계에서 지금 ChatGPT를 도입하고 있는 경우를 보게 되면 지금은 제품 매뉴얼 같은 것을 학습시켜 가지고 그것을 이제 챗봇(Chatbot)으로 활용하는 거예요. 고객 대응용으로 활용을 많이 하고 있는 것이고요.
모 회사 같은 경우에는 Query문 작성 같은 경우 ChatGPT가 정확하게 매뉴얼을 학습한 다음에 그 Query를 대신 작성해 주는 것이죠. 저 같은 경우에는 악성코드를 탐지할 때 사용하는 Rule 중에 ‘Yara Rule’이라는 것도 있고, 그 다음에 네트워크상에 이상한 행위들을 탐지하기 위해서 사용하는 ‘Snort Rule’ 이런 것들이 있는데, 그런 것들을 짜게 만들어봤어요. 단순 Rule까지는 잘 만들어줘요. 이제 조금 더 복잡한 Rule을 짜게 만들면 잘 안돼요. 제가 Prompt Engineering이 아직 좀 잘 안돼서 그럴 수도 있는데요. 기술적인 디테일까지 들어가기에는 아직 조금 무리가 있는 상태인 것 같고요.
보안 업계의 특성상 정보의 신뢰도나 정확도가 중요한 서비스잖아요. 내부적인 보안을 위해서 뭔가 차단한다든가 뭔가 탐지를 한다든가에 ChatGPT를 활용하게 되면 굉장히 잘못된 결과가 잘못된 결과가 나올 수 있기 때문에 그 부분이 되게 조심스러운 것이거든요. 그래서 그런 부분까지 적극적으로 도입하는 곳은 아직까지 크게 보지는 못했고요.
□ 권준 국장 보안 업무에 직접적으로는 아직까지는 더 보완이 필요하다는 견해이신 거죠?
■ 곽경주 이사 근데 최근에는 이제 마이크로소프트에서 애저 상에서 프라이빗(Private)한 ChatGPT를 만들 수 있게 구축할 수 있게 해주는 서비스 같은 것이 있어요. 그래서 아마 회사들이 그런 인프라를 이용해서 내부의 정보와 기존에 ChatGPT가 가지고 있는 좋은 장점을 서로 융합시켜서 사용하는 시도도 하게 될 것 같아요.
□ 권준 국장 종합적으로 한번 곽 이사님의 견해를 정리를 해주신다면?
■ 곽경주 이사 이제 지금 ChatGPT의 위협이나 공격적인 부분에 좀 많이 집중이 돼 있고, 이슈화가 돼 있는데요. 반면에 이제 보안 대응적인 측면, 즉 방어적인 측면에서도 어떻게 대응할 수 있는 것인가 고민을 많이 해야될 것 같고요. AI도 그렇고 지금 ChatGPT도 그렇지만 (활용하기에) 적합한 업권이 있어요. 그 적합한 업권이 ‘보안’이냐 라는 것은 조금 더 공부를 해봐야 되지 않을까 싶습니다.
□ 권준 국장 이사님 오늘 너무 좋은 시간 감사드립니다. 이상 다크웹 인사이드 마치도록 하겠습니다. 감사합니다.
■ 곽경주 이사 감사합니다.
[권준 기자(editor@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
권준기자 기사보기
[2024-11-22] .jpg)
.jpg)
.jpg)
.jpg)
.jpg)
