KAIST, 국내 유일 마이크로소프트 AI 안전성 연구팀에 선정

손수엘 전산학부 교수, 마이크로소프트 AI 레드팀 참여

[보안뉴스 강현주 기자] 생성형 AI가 산업과 사회 전반으로 빠르게 확산되면서 AI의 안전성과 보안성을 확보하는 기술이 새로운 핵심 경쟁력으로 떠오르고 있다.

이 가운데 한국과학기술원(KAIST, 총장 배충식)이 국내에서는 유일하게 마이크로소프트의 글로벌 AI 안전성 연구 프로그램에 선정돼 차세대 AI 보안·신뢰성 기술 개발에 나선다.

KAIST는 손수엘 전산학부 교수가 국내에서는 유일하게 마이크로소프트 AI 레드팀이 운영하는 글로벌 AI 안전성 연구 프로그램 ‘외부 레드팀 연합(EXTRA)의 연구지원 대상자로 선정됐다고 28일 밝혔다.

EXTRA는 마이크로소프트 AI 레드팀이 올해 새롭게 출범한 글로벌 연구지원 프로그램으로, AI 시스템의 안전성과 보안 취약점을 다양한 관점에서 검증하고 독립적인 AI 안전성 연구 생태계를 확대하기 위해 마련됐다. AI 안전성 평가를 기업 내부에만 맡기지 않고 전 세계 대학과 연구기관으로 확대했다는 점에서 의미가 크다.

마이크로소프트는 AI 시스템이 고도화될수록 사이버보안, 다국어 환경, 지역·문화적 맥락, AI 정렬(Alignment, 인공지능이 인간의 의도와 가치에 맞게 동작하도록 만드는 기술), 악용 가능성 등 다양한 분야의 전문성을 종합적으로 검증해야 하지만, 하나의 조직만으로는 이러한 위험을 충분히 평가하기 어렵다고 판단해 EXTRA를 출범시켰다.

이번 선정에 따라 KAIST는 마이크로소프트로부터 AI 안전성, 보안, AI 정렬 및 책임 있는 AI(Responsible AI) 개발 연구를 위한 미화 2만5000달러(한화 약 3700만 원) 규모의 연구지원금을 받는다. 이번 지원은 연구과제 수행 기간을 별도로 정하지 않는‘기프트 어워드’형태로 제공되며, 해당 연구비는 손수엘 교수 연구팀의 AI 보안 및 안전성 연구에 활용될 예정이다.

EXTRA에는 KAIST를 비롯해 전 세계 6개 대륙 10여개가 넘는 대학이 참여하며, 국내에서는 KAIST가 유일하다. 마이크로소프트는 이번 프로그램을 통해 독립적인 AI 안전성 연구 생태계를 확대하고 학계와 산업계 간 협력을 강화해 나갈 계획이다.

손수엘 교수 연구팀은 생성형 AI와 대규모 언어모델(LLM) 기반 AI 시스템의 보안과 개인정보 보호 기술을 연구하고 있다. 특히 모델 탈취, 멤버십 추론, 개인정보 추출, 모델 전도, 탈학습, 프롬프트 주입 등 심층신경망과 언어모델을 대상으로 한 다양한 적대적 공격 기법을 분석해 AI 시스템의 취약점을 평가하고, 이를 방어하는 기술을 개발하고 있다.

또한 이러한 연구를 기반으로 웹 에이전트와 에이전틱 브라우저 등 실제 서비스 환경에서 운영되는 AI 에이전트가 안전하고 신뢰성 있게 동작할 수 있도록 하는 시스템 수준의 방어 기술도 연구하고 있다.

손수엘 교수는 “AI 시스템이 사회 전반에 빠르게 확산되면서 성능뿐 아니라 안전성과 신뢰성을 확보하는 것이 무엇보다 중요해지고 있다”며 “이번 마이크로소프트 AI 레드팀의 EXTRA 참여를 계기로 실제 AI 서비스 환경에서 발생할 수 있는 다양한 보안 위협을 체계적으로 분석하고, 누구나 안심하고 활용할 수 있는 AI 기술 개발에 기여하겠다”고 말했다.

마이크로소프트 AI 레드팀을 이끄는 램 샹카르 시바 쿠마르(Ram Shankar Siva Kumar)는 “AI 안전성 연구는 그 어느 때보다 중요해졌으며 대학은 이 분야를 발전시키는 데 핵심적인 역할을 하고 있다”며 “EXTRA를 통해 점점 더 강력해지는 AI 시스템을 어떻게 평가하고 보호하며 책임감 있게 관리할 수 있는지에 대한 이해를 높이는 연구자들을 지원하고자 한다”고 밝혔다.

배충식 KAIST 총장은 “AI 기술 경쟁은 이제 성능을 넘어 안전성과 신뢰성을 확보하는 경쟁으로 확대되고 있다”며 “KAIST가 국내 유일의 연구기관으로 마이크로소프트의 글로벌 AI 안전성 연구 네트워크에 참여하게 된 것은 우리나라 AI 연구 경쟁력을 보여주는 의미 있는 성과”라고 말했다.

이어 “앞으로도 세계 최고 수준의 AI 보안 및 안전성 연구를 통해 누구나 신뢰하고 활용할 수 있는 책임 있는 AI 기술 발전을 선도해 나가겠다”고 밝혔다.

[강현주 기자(jjoo@boannews.com)]

AI 및 AI 보안 솔루션이 보안 인력의 업무에 어떤 식으로 영향을 미칠것이라고 생각하시나요
	부족한 인력 보충: 만성적인 인력 부족 문제를 해결하는 보완재 역할을 하고 있다(100% 대체는 불가)
	업무 영역의 분리: AI는 대량 데이터 처리를, 전문가는 고도의 전략적 판단을 맡는 등 역할이 완전히 다르다
	업무 총량의 전이: 단순 업무는 줄었으나, AI 모델 관리·검증 등 새로운 형태의 운영 업무가 발생해 전체 업무량은 비슷하다
	인력 대체 가능: 단순 반복 업무를 넘어 분석/판단 영역까지 대체하여 인력을 줄일 수 있다
	신뢰도 부족: 아직은 AI의 오탐이나 환각(Hallucination) 우려로 인해 사람이 일일이 재검토해야 하므로 실질적인 도움은 적다