AI에서 발생할 수 있는 위험 평가, 방지, 해소 기술 연구 조직인 AI안전연구소 설립
AI안전연구소, 대한민국 대표 AI안전에 대한 국제적 연대 강화와 규범 정립 수행
연구소 중점 추진 방향: 안전한 AI 개발·활용 환경 확산, AI기업 글로벌 진출 뒷받침
[보안뉴스 김경애 기자] ‘AI안전연구소(AISI)’가 설립돼 오는 27일 개소식을 앞두고 있다. ‘AI안전연구소’는 2024년 2월 과학기술정보통신부 주요정책 추진계획을 발표하고 지난 5월 윤 대통령이 ‘AI 서울 정상회의’에서 ‘한국 AI안전연구소 신설’ 발표에 따른 것이다. 이후 한국전자통신연구원(이하 ETRI)에서 ‘AI안전연구소 준비 TF’를 구성 운영해 지난 8월 ‘AI안전연구소’ 설립안이 이사회에서 승인돼 ‘AI안전연구소’가 설립됐다.
‘AI안전연구소’ 조직은 △AI안전연구소 소장 △연구사업 관리 등 업무를 맡는 연구지원실 △AI안전 정책을 연구하는 AI안전정책 및 대외협력실 △AI 위험 정의, AI안전 평가프레임워크 개발, AI안전 평가 수행 AI안전 평가인프라 구축을 담당하는 AI안전평가실 △ AI 안전기술 기획, AI안전기술 연구, AI안전기술 동향 분석 업무를 하는 AI안전연구실로 구분된다.
‘AI안전연구소’ 초대 소장에는 서울여대 김명주 정보보호학부 교수가 지난 12일 임명됐다. 컴퓨터공학을 전공한 김명주 초대 소장은 AI윤리·신뢰성 전문가로, 2019년부터 바른AI연구센터장(RAISE)을, 2024년부터 국제AI윤리협회장을 맡고 있으며, 2023년에는 ‘AI윤리정책포럼’ 위원장으로 재임하며 안전하고 책임있는 AI개발·활용 확산을 위해 노력해 왔다.
이에 <보안뉴스>는 ‘AI안전연구소’ 초대 소장으로 임명된 김명주 소장과의 인터뷰를 통해 AI안전연구소의 기능과 역할, 주요 업무, AI관련 활동 계획에 대해 들어봤다.
Q. 과학기술정보통신부에서 이번에 신설한 ‘AI안전연구소’ 초대소장으로 임명되심을 진심으로 축하드립니다. 임명 소감 한 말씀 부탁드립니다.
AI는 새로운 혁신 성장 기술입니다. 모든 국가가 AI를 선점하려고 하죠. 그런데 지난 9월 우리는 텔레그램 딥페이크 사태를 통해 AI의 어두운 면을 체험했습니다. 이처럼 힘든 경험을 통해서 안전하고, 신뢰할 수 있는 AI를 보유하는 것이 얼마나 중요하지를 깨닫게 됩니다. 이것은 일부일 뿐입니다. AI의 안전과 관련된 정책과 기술을 연구하고 지원하는 공식 연구 조직인 ‘AI안전연구소’가 필요해졌습니다. 초대소장으로서의 많은 부담은 가지고 있지만 시대적 사명감을 가지고 임하고 있습니다.
Q. ‘AI안전연구소’에 대한 업무, 조직 기능 등 전반적인 소개 부탁 드립니다.
‘AI안전연구소’는 AI 활용으로 발생할 수 있는 제반 위험을 평가하고 이를 예방하거나 극소화하기 위한 정책과 기술을 개발 보급하며 국내외 연대를 강화합니다. ‘AI안전연구소’의 활동을 통해서 안전한 AI 일상화가 확산되고 국내 AI기업들이 글로벌 경쟁력을 확보하는데 큰 도움을 주고자 합니다. 이를 위해 크게 3개의 조직을 갖습니다.
첫째, AI 안전 정책 및 대외 협력입니다. AI 안전 정책을 연구하고 이를 지속적으로 입법 및 제도화 과정에 제공합니다. 이를 위해 글로벌 동향을 분석하여 글로벌 네트워킹을 운영합니다.
둘째, AI 안전 평가입니다. AI의 잠재적 위험을 정의한 후 이를 증거 기반으로 평가합니다. AI 모델·시스템의 설계, 개발, 배포, 사용 위험성을 관리할 수 있는 AI 안전 평가 프레임워크를 개발하고 이를 우리 AI 기업도 활용할 수 있도록 합니다.
셋째, AI 안전 연구입니다. 프론티어 AI는 물론 향후 도래할 AI 기술이 사회혁신을 이루고 개인 삶의 질을 높이는 역할을 지속할 수 있도록 안전한 AI 활용에 필요한 기술을 연구하고 개발하며 보급합니다.
Q.‘AI안전연구소’는 한국전자통신연구원(ETRI) 부속 연구소로 출발하네요. 어떤 점이 인정되어 이번에 신임 소장으로 임명 받으셨을까요?
올해 정부가 ‘AI안전연구소’ 설립을 추진하기로 결정했을 때 가장 잘 설립해 조속히 정상화할 수 있는 기관으로 ETRI가 최종 선정되었습니다. 그래서 AI 안전연구소는 ETRI 산하의 부설 연구소로 출범하게 되었어요. 그리고 연구소 책임자인 소장도 ETRI의 공개채용 과정을 통해서 공정하며 엄격하게 선발되었습니다. 아마 제가 그동안 AI와 관련된 기술, 정책, 윤리 분야에 걸쳐 활동한 경험들이 소장 직무 수행에 적합하다고 평가위원들께서 판단하신 것 같습니다.
Q. 이번 12일부터 2027년 11월 11일까지 3년간 소장 직무를 수행하게 되셨는데, 요즈음은 어떤 업무를 진행하셨나요?
우선 연구소 설립 목적을 잘 수행할 수 있도록 연구소의 환경과 조직을 열심히 세팅하는 중입니다. 특히 오는 27일 ‘AI 안전연구소’ 개소식이 있는데요. 개소식에 맞춰 모든 업무가 자리를 잡을 수 있도록 매진하고 있습니다.
그리고 국외 활동으로는 지난 5월 서울에서 개최된 ‘AI Seoul Summit’의 후속 조치 모임으로 열리는 AISI 글로벌 네트워크에 참석할 예정입니다. 공식적으로는 20일~21일 양일간 샌프란시스코에서 개최되는데 그 앞뒤로 유럽연합이나 AI 빅테크 기업들과 비공식 미팅도 진행될 예정입니다.
이번 AISI 글로벌 네트워크는 영국, 미국, 일본, 캐나다, 호주, 싱가폴, 프랑스, EU 등 10개국 AI 안전 연구소 책임자들이 모이는 행사로, 구체적으로 ①합성콘텐츠의 위험 저감 방안 ②기초 모델 테스팅 방안 ③기초 모델 위험 평가 방안 등 세 주제에 걸쳐 3가지 트랙이 운영됩니다. 우리나라도 3가지 트랙에 적극 참여할 계획입니다. △합성콘텐츠의 위험 저감 방안의 경우, 디지털 콘텐츠 투명성 확보 기술 공유 및 모범사례 발굴에 대해 논의하고 △ 기초 모델 테스팅 방안은 기초 모델 신뢰·역량 테스트 사례를 공유하고 기법·도구 공유에 대해 논의하며 △기초 모델 위험 평가 방안도 논의할 계획입니다.
Q. 안전하고 책임 있는 AI 개발·활용 확산을 위해 정책, 제도적으로 뒷받침되어야 할 점은 무엇인가요?
우선은 이러한 AI 안전 활동의 법적인 근거를 제공할 수 있는 AI 기본법 제정이 필요합니다. 이를 통해 AI 안전에 관한 모든 연구 활동이 안정된 틀 안에서 지속적으로 자리 잡고 확산될 수 있습니다. 이를 위해 AI 분야의 산학연 컨소시엄을 형성하고 국민이 참여하는 공론의 장 활성화도 필요합니다. 특히 정책 부분은 우리에게 가장 시급하게 강화될 부분으로서 적절한 연구진 확보가 선행되어야 하며 글로벌 협력 체제가 든든하게 형성돼야 합니다.
Q. AI의 보안(Security) 분야 위험에 대해 구체적으로 고려 사항을 제시해 주신다면?
챗GPT의 경우 공식 오픈 후 4개월도 안되어 대화 목록이 엉키는 큰 보안 사고가 발생했는데요. 이를 근본적으로 해결하기 위해 2023년 4월 11일부터 3개월간 현상금 200불~20,000불을 걸고 보안 취약점에 대한 버그바운팅을 진행했습니다.
그런데 보안 취약점이 너무 많아서 최근까지도 이어졌고 보상받은 보안 취약점만 해도 160개가 넘습니다. 처음부터 보안을 심각하게 고려하지 않고 개발하는 것이 얼마나 위험한지를 보여준 사례입니다. 구체적으로 보면, 현상금이 전혀 제공되지 않은 3가지 상황이 있는데 바로 탈옥, 할루시네이션, 파이썬 샌드박스입니다. 앞의 두 개는 근본적인 해결이 불가피한 약점이라 버그바운티에서도 제외됐습니다.
이처럼 AI 자체에 보안 취약점 이슈가 많아지다 보니까 작년 11월 미국 AI 행정명령에서는 AI 기업도 내부 해킹팀인 레드팀을 두고, 충분히 보안 취약점을 찾아 해결한 다음에 오픈하라고 명령하고 있습니다. 비영리단체 마이터(MITRE)가 킬체인 기반의 보안 프레임워크로 제시한 ATT&CK를 AI에 적용해 ATLAS를 만들어 가는 중이며, OWAPS에서는 생성형 AI의 10대 취약점을 발표하기도 했습니다. 이처럼 AI의 위험 가운데 ‘보안 취약점’은 더욱 현실적으로 다가오며 AI 안전에 결정적인 영향을 주고 있으므로 이 부분도 잘 다뤄야 합니다.
Q. 소장님께서는 AI 확산과 올바른 활용을 위해 조직된 글로벌 협의체 OECD GPAI 활동도 하고 계시는데요, 그곳에서 논의되는 이슈들은 무엇인가요?
GPAI(Global Partnership on AI)는 OECD 산하에 구성된 글로벌 AI 협력 기구로 AI의 진흥과 확산은 물론 OECD AI 윤리 권고를 효과적으로 이행하기 위한 국가 간 전문가 협력체라고 보시면 됩니다.
최근에는 OECD 산하의 또 다른 AI 분과조직인 AIGO의 6개 분과와 GPAI 4개 분과가 통합되어 새로운 변화가 일었습니다. 명칭도 OECD GPAI로 통합했고 각 국가별 전문가를 파견해 AI 활성화, 위험과 안전, 규제, 정책 등에 대한 실질적인 연구를 적극적으로 수행할 것으로 예상됩니다. 우리도 적극 참여할 계획입니다.
Q. 앞으로 활동 계획, 각오, 목표가 궁금합니다.
AI 국가경쟁력을 평가할 때 1등이 미국, 그 다음이 중국이며 우리나라를 포함한 몇 개 국가들은 거의 비슷한 3등 그룹으로 평가되고 있습니다. 거대 자본력 동원이나 핵심기술 보유 측면에서 볼 때, 우리가 미국과 중국을 따라잡기는 상당히 힘들지만, AI가 가장 안전한 나라라는 이미지와 그에 상응하는 기반을 우리가 갖춘다면 차별화된 AI 3위 국가로서 자리 잡을 수 있다고 봅니다.
우리 연구소가 이러한 역할을 해내야 한다고 생각하고 있습니다. 자칫 ‘AI안전연구소’를 규제 중심 조직으로 오해할 수도 있는데요, ‘AI안전연구소’는 우리나라 AI 기업들이 글로벌 경쟁력을 확보하는데 있어서 장애가 되는 위험들을 최소하도록 도와주고 성공을 지원하는 협력 조직입니다. 이렇게 자리매김될 수 있도록 최선을 다하겠습니다.
[김경애 기자(boan3@boannews.com)]
AI안전연구소, 대한민국 대표 AI안전에 대한 국제적 연대 강화와 규범 정립 수행
연구소 중점 추진 방향: 안전한 AI 개발·활용 환경 확산, AI기업 글로벌 진출 뒷받침
[보안뉴스 김경애 기자] ‘AI안전연구소(AISI)’가 설립돼 오는 27일 개소식을 앞두고 있다. ‘AI안전연구소’는 2024년 2월 과학기술정보통신부 주요정책 추진계획을 발표하고 지난 5월 윤 대통령이 ‘AI 서울 정상회의’에서 ‘한국 AI안전연구소 신설’ 발표에 따른 것이다. 이후 한국전자통신연구원(이하 ETRI)에서 ‘AI안전연구소 준비 TF’를 구성 운영해 지난 8월 ‘AI안전연구소’ 설립안이 이사회에서 승인돼 ‘AI안전연구소’가 설립됐다.
▲한국전자통신연구원(이하 ETRI) 부설 ‘AI안전연구소’ 초대 소장으로 임명된 김명주 소장[사진=보안뉴스]
‘AI안전연구소’ 조직은 △AI안전연구소 소장 △연구사업 관리 등 업무를 맡는 연구지원실 △AI안전 정책을 연구하는 AI안전정책 및 대외협력실 △AI 위험 정의, AI안전 평가프레임워크 개발, AI안전 평가 수행 AI안전 평가인프라 구축을 담당하는 AI안전평가실 △ AI 안전기술 기획, AI안전기술 연구, AI안전기술 동향 분석 업무를 하는 AI안전연구실로 구분된다.
‘AI안전연구소’ 초대 소장에는 서울여대 김명주 정보보호학부 교수가 지난 12일 임명됐다. 컴퓨터공학을 전공한 김명주 초대 소장은 AI윤리·신뢰성 전문가로, 2019년부터 바른AI연구센터장(RAISE)을, 2024년부터 국제AI윤리협회장을 맡고 있으며, 2023년에는 ‘AI윤리정책포럼’ 위원장으로 재임하며 안전하고 책임있는 AI개발·활용 확산을 위해 노력해 왔다.
이에 <보안뉴스>는 ‘AI안전연구소’ 초대 소장으로 임명된 김명주 소장과의 인터뷰를 통해 AI안전연구소의 기능과 역할, 주요 업무, AI관련 활동 계획에 대해 들어봤다.
Q. 과학기술정보통신부에서 이번에 신설한 ‘AI안전연구소’ 초대소장으로 임명되심을 진심으로 축하드립니다. 임명 소감 한 말씀 부탁드립니다.
AI는 새로운 혁신 성장 기술입니다. 모든 국가가 AI를 선점하려고 하죠. 그런데 지난 9월 우리는 텔레그램 딥페이크 사태를 통해 AI의 어두운 면을 체험했습니다. 이처럼 힘든 경험을 통해서 안전하고, 신뢰할 수 있는 AI를 보유하는 것이 얼마나 중요하지를 깨닫게 됩니다. 이것은 일부일 뿐입니다. AI의 안전과 관련된 정책과 기술을 연구하고 지원하는 공식 연구 조직인 ‘AI안전연구소’가 필요해졌습니다. 초대소장으로서의 많은 부담은 가지고 있지만 시대적 사명감을 가지고 임하고 있습니다.
Q. ‘AI안전연구소’에 대한 업무, 조직 기능 등 전반적인 소개 부탁 드립니다.
‘AI안전연구소’는 AI 활용으로 발생할 수 있는 제반 위험을 평가하고 이를 예방하거나 극소화하기 위한 정책과 기술을 개발 보급하며 국내외 연대를 강화합니다. ‘AI안전연구소’의 활동을 통해서 안전한 AI 일상화가 확산되고 국내 AI기업들이 글로벌 경쟁력을 확보하는데 큰 도움을 주고자 합니다. 이를 위해 크게 3개의 조직을 갖습니다.
첫째, AI 안전 정책 및 대외 협력입니다. AI 안전 정책을 연구하고 이를 지속적으로 입법 및 제도화 과정에 제공합니다. 이를 위해 글로벌 동향을 분석하여 글로벌 네트워킹을 운영합니다.
둘째, AI 안전 평가입니다. AI의 잠재적 위험을 정의한 후 이를 증거 기반으로 평가합니다. AI 모델·시스템의 설계, 개발, 배포, 사용 위험성을 관리할 수 있는 AI 안전 평가 프레임워크를 개발하고 이를 우리 AI 기업도 활용할 수 있도록 합니다.
셋째, AI 안전 연구입니다. 프론티어 AI는 물론 향후 도래할 AI 기술이 사회혁신을 이루고 개인 삶의 질을 높이는 역할을 지속할 수 있도록 안전한 AI 활용에 필요한 기술을 연구하고 개발하며 보급합니다.
Q.‘AI안전연구소’는 한국전자통신연구원(ETRI) 부속 연구소로 출발하네요. 어떤 점이 인정되어 이번에 신임 소장으로 임명 받으셨을까요?
올해 정부가 ‘AI안전연구소’ 설립을 추진하기로 결정했을 때 가장 잘 설립해 조속히 정상화할 수 있는 기관으로 ETRI가 최종 선정되었습니다. 그래서 AI 안전연구소는 ETRI 산하의 부설 연구소로 출범하게 되었어요. 그리고 연구소 책임자인 소장도 ETRI의 공개채용 과정을 통해서 공정하며 엄격하게 선발되었습니다. 아마 제가 그동안 AI와 관련된 기술, 정책, 윤리 분야에 걸쳐 활동한 경험들이 소장 직무 수행에 적합하다고 평가위원들께서 판단하신 것 같습니다.
Q. 이번 12일부터 2027년 11월 11일까지 3년간 소장 직무를 수행하게 되셨는데, 요즈음은 어떤 업무를 진행하셨나요?
우선 연구소 설립 목적을 잘 수행할 수 있도록 연구소의 환경과 조직을 열심히 세팅하는 중입니다. 특히 오는 27일 ‘AI 안전연구소’ 개소식이 있는데요. 개소식에 맞춰 모든 업무가 자리를 잡을 수 있도록 매진하고 있습니다.
그리고 국외 활동으로는 지난 5월 서울에서 개최된 ‘AI Seoul Summit’의 후속 조치 모임으로 열리는 AISI 글로벌 네트워크에 참석할 예정입니다. 공식적으로는 20일~21일 양일간 샌프란시스코에서 개최되는데 그 앞뒤로 유럽연합이나 AI 빅테크 기업들과 비공식 미팅도 진행될 예정입니다.
이번 AISI 글로벌 네트워크는 영국, 미국, 일본, 캐나다, 호주, 싱가폴, 프랑스, EU 등 10개국 AI 안전 연구소 책임자들이 모이는 행사로, 구체적으로 ①합성콘텐츠의 위험 저감 방안 ②기초 모델 테스팅 방안 ③기초 모델 위험 평가 방안 등 세 주제에 걸쳐 3가지 트랙이 운영됩니다. 우리나라도 3가지 트랙에 적극 참여할 계획입니다. △합성콘텐츠의 위험 저감 방안의 경우, 디지털 콘텐츠 투명성 확보 기술 공유 및 모범사례 발굴에 대해 논의하고 △ 기초 모델 테스팅 방안은 기초 모델 신뢰·역량 테스트 사례를 공유하고 기법·도구 공유에 대해 논의하며 △기초 모델 위험 평가 방안도 논의할 계획입니다.
Q. 안전하고 책임 있는 AI 개발·활용 확산을 위해 정책, 제도적으로 뒷받침되어야 할 점은 무엇인가요?
우선은 이러한 AI 안전 활동의 법적인 근거를 제공할 수 있는 AI 기본법 제정이 필요합니다. 이를 통해 AI 안전에 관한 모든 연구 활동이 안정된 틀 안에서 지속적으로 자리 잡고 확산될 수 있습니다. 이를 위해 AI 분야의 산학연 컨소시엄을 형성하고 국민이 참여하는 공론의 장 활성화도 필요합니다. 특히 정책 부분은 우리에게 가장 시급하게 강화될 부분으로서 적절한 연구진 확보가 선행되어야 하며 글로벌 협력 체제가 든든하게 형성돼야 합니다.
Q. AI의 보안(Security) 분야 위험에 대해 구체적으로 고려 사항을 제시해 주신다면?
챗GPT의 경우 공식 오픈 후 4개월도 안되어 대화 목록이 엉키는 큰 보안 사고가 발생했는데요. 이를 근본적으로 해결하기 위해 2023년 4월 11일부터 3개월간 현상금 200불~20,000불을 걸고 보안 취약점에 대한 버그바운팅을 진행했습니다.
그런데 보안 취약점이 너무 많아서 최근까지도 이어졌고 보상받은 보안 취약점만 해도 160개가 넘습니다. 처음부터 보안을 심각하게 고려하지 않고 개발하는 것이 얼마나 위험한지를 보여준 사례입니다. 구체적으로 보면, 현상금이 전혀 제공되지 않은 3가지 상황이 있는데 바로 탈옥, 할루시네이션, 파이썬 샌드박스입니다. 앞의 두 개는 근본적인 해결이 불가피한 약점이라 버그바운티에서도 제외됐습니다.
이처럼 AI 자체에 보안 취약점 이슈가 많아지다 보니까 작년 11월 미국 AI 행정명령에서는 AI 기업도 내부 해킹팀인 레드팀을 두고, 충분히 보안 취약점을 찾아 해결한 다음에 오픈하라고 명령하고 있습니다. 비영리단체 마이터(MITRE)가 킬체인 기반의 보안 프레임워크로 제시한 ATT&CK를 AI에 적용해 ATLAS를 만들어 가는 중이며, OWAPS에서는 생성형 AI의 10대 취약점을 발표하기도 했습니다. 이처럼 AI의 위험 가운데 ‘보안 취약점’은 더욱 현실적으로 다가오며 AI 안전에 결정적인 영향을 주고 있으므로 이 부분도 잘 다뤄야 합니다.
Q. 소장님께서는 AI 확산과 올바른 활용을 위해 조직된 글로벌 협의체 OECD GPAI 활동도 하고 계시는데요, 그곳에서 논의되는 이슈들은 무엇인가요?
GPAI(Global Partnership on AI)는 OECD 산하에 구성된 글로벌 AI 협력 기구로 AI의 진흥과 확산은 물론 OECD AI 윤리 권고를 효과적으로 이행하기 위한 국가 간 전문가 협력체라고 보시면 됩니다.
최근에는 OECD 산하의 또 다른 AI 분과조직인 AIGO의 6개 분과와 GPAI 4개 분과가 통합되어 새로운 변화가 일었습니다. 명칭도 OECD GPAI로 통합했고 각 국가별 전문가를 파견해 AI 활성화, 위험과 안전, 규제, 정책 등에 대한 실질적인 연구를 적극적으로 수행할 것으로 예상됩니다. 우리도 적극 참여할 계획입니다.
Q. 앞으로 활동 계획, 각오, 목표가 궁금합니다.
AI 국가경쟁력을 평가할 때 1등이 미국, 그 다음이 중국이며 우리나라를 포함한 몇 개 국가들은 거의 비슷한 3등 그룹으로 평가되고 있습니다. 거대 자본력 동원이나 핵심기술 보유 측면에서 볼 때, 우리가 미국과 중국을 따라잡기는 상당히 힘들지만, AI가 가장 안전한 나라라는 이미지와 그에 상응하는 기반을 우리가 갖춘다면 차별화된 AI 3위 국가로서 자리 잡을 수 있다고 봅니다.
우리 연구소가 이러한 역할을 해내야 한다고 생각하고 있습니다. 자칫 ‘AI안전연구소’를 규제 중심 조직으로 오해할 수도 있는데요, ‘AI안전연구소’는 우리나라 AI 기업들이 글로벌 경쟁력을 확보하는데 있어서 장애가 되는 위험들을 최소하도록 도와주고 성공을 지원하는 협력 조직입니다. 이렇게 자리매김될 수 있도록 최선을 다하겠습니다.
[김경애 기자(boan3@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
김경애기자 기사보기
[2024-11-14] 
.jpg)
.jpg)
