신뢰할 수 있는 AI의 기본조건은 XAI로부터 시작
LLM은 XAI 기술발전에 전환점으로 작용할 것으로 예상
[보안뉴스= 이태진 한국정보보호학회 상임이사] 2023년에 개봉한 영화 ‘M3GAN’은 인공지능 로봇이 등장하는 공포 스릴러 영화다. 이 영화의 주인공인 M3GAN은 케이디(Cady)라는 소녀를 보호하고 돌보기 위해 설계된 인형 로봇인데 M3GAN은 점차 자율적인 판단을 통해 과잉보호하게 되며, 결국 자신의 프로그래밍을 넘어 폭력적인 결정을 내리게 된다. 이 영화는 기술발전에 따른 위험성과 AI의 윤리적 한계를 다루며, AI가 통제를 벗어나면 얼마나 위험해질 수 있는지를 보여준다.
신뢰할 수 있는 AI(Trustworthy AI)는 단순한 기술 성능 향상을 넘어, AI가 사회 전반에서 안전하고 윤리적으로 사용되며, 사용자들이 AI를 신뢰할 수 있도록 만드는 필수적인 원칙이다. 이는 여러 요소로 구성된다. AI는 예측할 수 없는 위험이나 오작동을 방지해야 하고(안전성, Safety), AI의 작동 과정을 이해할 수 있어야 하며(투명성, Transparency), AI 시스템의 결과에 대한 책임소재가 명확해야 한다(책임성, Accountability). 또한, AI는 편향되지 않고 모든 사용자와 상황에서 공정하게 작동해야 하며(공정성, Fairness), 사용자 데이터와 개인정보 보호가 필수적으로 요구된다(Privacy). 마지막으로 AI는 다양한 상황에서도 일관되고 안정적으로 작동해야 한다(신뢰성, Reliability).
이러한 신뢰할 수 있는 AI 원칙 중에서 가장 기본이 되는 것은 투명성과 관련된 ‘설명 가능한 AI(Explainable AI, XAI)’이다. 마치 보안 분야에서 가시성(Visibility) 확보가 모든 대책의 출발점이 되는 것처럼, AI가 어떻게 작동하는지, 그리고 그 결정이 어떻게 이루어졌는지를 설명할 수 있을 때, 사용자와 이해관계자는 AI의 결정을 신뢰할 수 있게 된다(신뢰성). 또한, 잘못된 결정이나 예기치 않은 결과가 발생했을 때, 그 원인을 추적하고 수정할 수 있으며(책임성), AI가 공정하고 비 편향적으로 작동하는지를 평가할 수 있기 때문이다(공정성).
그러나 보안 분야에서 XAI의 실질적 활용성과는 많지 않다. 침입탐지 시스템, 악성코드 분석, 네트워크 공격 분석, 엔드포인트 분석 등 다양한 보안 분야에서 XAI를 적용하는 연구가 진행됐지만, 실제 운영 환경에서 실용적으로 적용된 사례는 많지 않다. 이는 보안 시스템의 특성상 XAI가 추가적인 분석을 해야 해 실시간 대응에 제약을 줄 수 있고, Feature Attribution이나 Counterfactual Explanation과 같은 XAI가 제공하는 설명이 보안 전문가의 도메인 지식과 직접 연결되지 않는 경우가 많기 때문이다. 이러한 이유로 XAI 기술의 이론적 발전보다 실제 현장에서의 수용성은 아직 높지 않다.
이러한 상황에서, LLM(대형 언어 모델)의 출현은 XAI에도 변화를 가져왔고, 긍정적인 방향으로 발전하기 시작했다.
우선, LLM은 XAI 결과를 자연어로 쉽게 해석해 보안 전문가가 복잡한 AI 모델의 결정을 더 명확하게 이해할 수 있게 한다. 예를 들어, “이 트래픽은 평소보다 높은 수의 SYN 패킷을 보냈고, 비정상적인 포트 접근 패턴을 보였습니다. 이러한 특징은 DDoS 공격에서 흔히 관찰됩니다”와 같은 직관적인 설명을 제공할 수 있다. 특히, XAI가 산출하는 복잡한 수치적 결과나 고차원적 설명을 분석 목적에 맞게 핵심 정보로 요약하거나, 보안 전문가가 실제로 관심을 가질 부분을 재구성해 설명함으로써, 시간 절약과 효율성이 크게 향상되었다. 또한, “이 공격이 탐지된 이유는 무엇인가?” 또는 “비슷한 패턴이 최근에도 발견되었는가?”와 같은 추가 질문을 통해 XAI 결과에 대해 더 명확한 설명을 요구할 수도 있다.
이와 반대로, LLM의 신뢰성 향상에도 XAI가 기여하기 시작했다. LLM이 특정 문장을 생성할 때 어떤 입력 특징이나 맥락에 기반하여 결과를 도출했는지를 XAI를 통해 설명할 수 있으며, 이를 통해 사용자는 모델이 과도하게 의존한 특정 패턴이나 특징을 발견할 수 있다. 또한, LLM이 때때로 사실에 기반하지 않은 정보나 잘못된 정보(Hallucination)를 생성할 수 있는데, XAI 기술을 사용해 원인을 추적할 수 있고, 어떤 입력이나 내부 처리 단계에서 비롯된 것인지를 분석할 수 있다. 마찬가지로, LLM이 특정 문장을 생성할 때 이에 대한 신뢰 수준을 평가하는 데에도 XAI를 유용하게 활용할 수 있다.
이제 XAI의 역할은 단순히 ‘블랙박스’를 여는 것에서 나아가, 생산성과 실용성을 적극적으로 향상시키는 방향으로 변화하고 있다. Usable XAI는 설명 가능한 AI를 보다 실질적이고 효과적으로 활용할 수 있도록 설계된 개념으로, 전통적인 XAI는 AI 모델의 예측을 설명하는 것에 중점을 뒀다면, Usable XAI는 설명을 제공하는 방식뿐만 아니라 사용자가 이를 이해하고 활용할 수 있도록 설계하는 데 중점을 두고 있다. AI의 안전성과 신뢰성이 점점 더 중요해지는 상황에서, 이러한 XAI의 발전은 신뢰할 수 있는 AI를 구축하는 데 중요한 기반이 될 것으로 예상한다.
[글_ 이태진 한국정보보호학회 상임이사/호서대 컴퓨터공학부 교수]
LLM은 XAI 기술발전에 전환점으로 작용할 것으로 예상
[보안뉴스= 이태진 한국정보보호학회 상임이사] 2023년에 개봉한 영화 ‘M3GAN’은 인공지능 로봇이 등장하는 공포 스릴러 영화다. 이 영화의 주인공인 M3GAN은 케이디(Cady)라는 소녀를 보호하고 돌보기 위해 설계된 인형 로봇인데 M3GAN은 점차 자율적인 판단을 통해 과잉보호하게 되며, 결국 자신의 프로그래밍을 넘어 폭력적인 결정을 내리게 된다. 이 영화는 기술발전에 따른 위험성과 AI의 윤리적 한계를 다루며, AI가 통제를 벗어나면 얼마나 위험해질 수 있는지를 보여준다.
▲영화 메간 포스터[이미지=네이버 영화]
이러한 신뢰할 수 있는 AI 원칙 중에서 가장 기본이 되는 것은 투명성과 관련된 ‘설명 가능한 AI(Explainable AI, XAI)’이다. 마치 보안 분야에서 가시성(Visibility) 확보가 모든 대책의 출발점이 되는 것처럼, AI가 어떻게 작동하는지, 그리고 그 결정이 어떻게 이루어졌는지를 설명할 수 있을 때, 사용자와 이해관계자는 AI의 결정을 신뢰할 수 있게 된다(신뢰성). 또한, 잘못된 결정이나 예기치 않은 결과가 발생했을 때, 그 원인을 추적하고 수정할 수 있으며(책임성), AI가 공정하고 비 편향적으로 작동하는지를 평가할 수 있기 때문이다(공정성).
그러나 보안 분야에서 XAI의 실질적 활용성과는 많지 않다. 침입탐지 시스템, 악성코드 분석, 네트워크 공격 분석, 엔드포인트 분석 등 다양한 보안 분야에서 XAI를 적용하는 연구가 진행됐지만, 실제 운영 환경에서 실용적으로 적용된 사례는 많지 않다. 이는 보안 시스템의 특성상 XAI가 추가적인 분석을 해야 해 실시간 대응에 제약을 줄 수 있고, Feature Attribution이나 Counterfactual Explanation과 같은 XAI가 제공하는 설명이 보안 전문가의 도메인 지식과 직접 연결되지 않는 경우가 많기 때문이다. 이러한 이유로 XAI 기술의 이론적 발전보다 실제 현장에서의 수용성은 아직 높지 않다.
이러한 상황에서, LLM(대형 언어 모델)의 출현은 XAI에도 변화를 가져왔고, 긍정적인 방향으로 발전하기 시작했다.
우선, LLM은 XAI 결과를 자연어로 쉽게 해석해 보안 전문가가 복잡한 AI 모델의 결정을 더 명확하게 이해할 수 있게 한다. 예를 들어, “이 트래픽은 평소보다 높은 수의 SYN 패킷을 보냈고, 비정상적인 포트 접근 패턴을 보였습니다. 이러한 특징은 DDoS 공격에서 흔히 관찰됩니다”와 같은 직관적인 설명을 제공할 수 있다. 특히, XAI가 산출하는 복잡한 수치적 결과나 고차원적 설명을 분석 목적에 맞게 핵심 정보로 요약하거나, 보안 전문가가 실제로 관심을 가질 부분을 재구성해 설명함으로써, 시간 절약과 효율성이 크게 향상되었다. 또한, “이 공격이 탐지된 이유는 무엇인가?” 또는 “비슷한 패턴이 최근에도 발견되었는가?”와 같은 추가 질문을 통해 XAI 결과에 대해 더 명확한 설명을 요구할 수도 있다.
이와 반대로, LLM의 신뢰성 향상에도 XAI가 기여하기 시작했다. LLM이 특정 문장을 생성할 때 어떤 입력 특징이나 맥락에 기반하여 결과를 도출했는지를 XAI를 통해 설명할 수 있으며, 이를 통해 사용자는 모델이 과도하게 의존한 특정 패턴이나 특징을 발견할 수 있다. 또한, LLM이 때때로 사실에 기반하지 않은 정보나 잘못된 정보(Hallucination)를 생성할 수 있는데, XAI 기술을 사용해 원인을 추적할 수 있고, 어떤 입력이나 내부 처리 단계에서 비롯된 것인지를 분석할 수 있다. 마찬가지로, LLM이 특정 문장을 생성할 때 이에 대한 신뢰 수준을 평가하는 데에도 XAI를 유용하게 활용할 수 있다.
이제 XAI의 역할은 단순히 ‘블랙박스’를 여는 것에서 나아가, 생산성과 실용성을 적극적으로 향상시키는 방향으로 변화하고 있다. Usable XAI는 설명 가능한 AI를 보다 실질적이고 효과적으로 활용할 수 있도록 설계된 개념으로, 전통적인 XAI는 AI 모델의 예측을 설명하는 것에 중점을 뒀다면, Usable XAI는 설명을 제공하는 방식뿐만 아니라 사용자가 이를 이해하고 활용할 수 있도록 설계하는 데 중점을 두고 있다. AI의 안전성과 신뢰성이 점점 더 중요해지는 상황에서, 이러한 XAI의 발전은 신뢰할 수 있는 AI를 구축하는 데 중요한 기반이 될 것으로 예상한다.
[글_ 이태진 한국정보보호학회 상임이사/호서대 컴퓨터공학부 교수]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
원병철기자 기사보기
[2024-12-25] 
