‘생성형 AI 레드팀 챌린지’ 11일~12일 개최...AI 발전 위해 국민 1,000여명이 한 자리에!
1일차 : 네이버, SKT, 업스테이지, 포티투마루 생성형 AI 모델 대상 편견·차별 등 취약점 발굴
2일차 : AI 신뢰·안전성을 논의하는 ‘글로벌 AI 안전 컨퍼런스’ 개최
국내 AI 산업 안전·신뢰성 확산 기대, 공존 가능한 ‘AI 시대’ 준비
[보안뉴스 김경애 기자] ‘생성형 AI 레드팀 챌린지(이하 레드팀 챌린지)’가 11일 개최돼 관심이 모아지고 있다. 과학기술정보통신부가 주최하고, 한국정보통신기술협회와 초거대AI추진협의회가 주관한 ‘레드팀 챌린지’는 11일부터 12일까지 이틀간 코엑스 B2홀에서 개최된다. 국내 처음으로 개최한 이번 행사는 국내 생성형 AI 모델(LLM)을 대상으로 잠재적 위험·취약점(부정확 정보, 유해정보 등)을 찾는 행사다.
특히, 오픈AI, 구글, 네이버클라우드 등 국내·외 AI 대표기업도 내부 AI 레드팀을 구성‧운영해 AI 신뢰·안전성을 확보하고 있으며, 최근 생성형 AI 분야에서 AI 신뢰·안전성을 확보할 수 있는 핵심적인 방법으로 활용되고 있다.
이번 행사는 최근 생성형 AI에 대한 사회 전반의 높은 관심이 반영되어 AI·IT분야 종사자 뿐만 아니라, 제조·금융·의료분야 종사자, 대학생 등 다양한 분야의 국민 총 1,000여명이 챌린지 참가자로 참여하는 등 국민들의 뜨거운 관심과 참여열기 속에서 개최됐다.
글로벌 AI 혁신을 선도해 나가는 국내 AI 대표기업 네이버·SKT·업스테이지·포티투마루가 참여한 가운데, 챌린지 참가자들은 세션별(1~4) 참여기업 LLM 모델을 차례로 배정받아 총 7개의 챌린지 주제를 대상으로 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행했다.
이번 행사는 최근 생성형 AI에 대한 사회 전반의 높은 관심이 반영되어 AI·IT분야 종사자뿐만 아니라, 제조·금융·의료분야 종사자, 대학생 등 일반국민 대상 레드팀 챌린지 참가자를 사전에 모집 완료(3월 21일~4월 8일, 총 1,084명)해 다양한 분야의 국민 총 1,000여명이 챌린지 참가자로 참여했다.
글로벌 AI 혁신을 선도해 나가는 국내 AI 대표기업 네이버·SKT·업스테이지·포티투마루가 참여한 가운데, 챌린지 참가자들은 세션별(1~4) 참여기업 LLM 모델을 차례로 배정받아 ①탈옥 ②편견·차별 ③인권침해 ④사이버 공격 ⑤불법콘텐츠 ⑥잘못된 정보 ⑦일관성 총 7개의 챌린지 주제를 대상으로 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행했다.
아울러 ‘레드팀 챌린지’의 공정하고 전문적인 평가를 위해 챌린지 평가단도 구성·운영한다. 레드팀 수행 경험 등이 있는 데이터 분야 전문가, 의료·금융·법률 전문가 120여명으로 구성된 평가단은 사전에 마련된 평가 세부기준에 기초해 챌린지 참가자의 프롬프트 공격을 객관적으로 평가한다.
한편, 행사 2일차(4월 12일)에 열리는 ‘글로벌 AI 안전 컨퍼런스’에서는 Cohere Aidan Gomez 대표, Stability AI Emad Mostaque 前대표·창업자, 프론티어모델 포럼 Chris Meserole 의장, xAI Dan Hendrycks 안전 담당고문, 네이버 하정우 퓨처 AI 센터장, SKT Eric Davis 부사장, 셀렉트스타 김세엽 대표, 카카오 김경훈 AI Safety 리더, 카이스트 오혜연 교수 등 국내·외를 대표하는 AI 업계·학계 전문가가 참여하여 최근 생성형 AI 시장의 기술동향과 생성형 AI 안전·신뢰성 확보 방안에 대한 발표와 토론이 진행된다.
이번 ‘레드팀 챌린지’ 행사를 통해 AI 산업 전반에 기업의 자율적인 AI 신뢰·안전성 확보 노력이 더욱 확산되고, 사회 전반에 AI 윤리적 활용에 대한 인식도 확대될 것으로 기대된다. 특히, 챌린지에 참여한 AI 기업은 사용자 다양성을 반영한 평가 데이터셋을 확보하고, 자사 AI 모델의 잠재적인 위험·취약점을 폭넓게 파악하여 AI 신뢰·안전성을 제고한다.
과기정통부는 이번 ‘레드팀 챌린지’ 결과를 분석해 생성형 AI 분야의 공통·포괄적인 위험을 도출하고, 업계에서 활용할 수 있는 ‘생성형 AI 레드팀 가이드라인’을 마련하는 등 표준화된 생성형 AI 위험 발굴·대응체계를 구축해 나갈 계획이다.
과기정통부 강도현 2차관은 “AI 혁신의 전제이자 기본은 AI 안전과 신뢰”이며, “‘AI 시대’로의 본격적인 전환점에서 오늘 행사는 AI의 지속 가능성에 대해 우리 모두가 진지하게 고민해 볼 수 있는 소중한 계기가 될 것”이라고 말했다.
또한, “AI 발전에 제약이 되는 문제들은 조속히 해결해 나가고, 대통령께서 밝히신 ‘AI-반도체 이니셔티브’를 차질없이 추진해 글로벌 AI 혁신을 주도해 나갈 것”이라며, “특히, 올해 5월에 개최되는 ‘AI 서울 정상회의’를 통해 AI 혁신과 안전, 포용 논의를 주도해 글로벌 AI 리더십을 확보하고, AI G3 강국 도약의 발판으로 삼겠다”고 강조했다.
[김경애 기자(boan3@boannews.com)]
1일차 : 네이버, SKT, 업스테이지, 포티투마루 생성형 AI 모델 대상 편견·차별 등 취약점 발굴
2일차 : AI 신뢰·안전성을 논의하는 ‘글로벌 AI 안전 컨퍼런스’ 개최
국내 AI 산업 안전·신뢰성 확산 기대, 공존 가능한 ‘AI 시대’ 준비
[보안뉴스 김경애 기자] ‘생성형 AI 레드팀 챌린지(이하 레드팀 챌린지)’가 11일 개최돼 관심이 모아지고 있다. 과학기술정보통신부가 주최하고, 한국정보통신기술협회와 초거대AI추진협의회가 주관한 ‘레드팀 챌린지’는 11일부터 12일까지 이틀간 코엑스 B2홀에서 개최된다. 국내 처음으로 개최한 이번 행사는 국내 생성형 AI 모델(LLM)을 대상으로 잠재적 위험·취약점(부정확 정보, 유해정보 등)을 찾는 행사다.
[이미지=과기정통부]
특히, 오픈AI, 구글, 네이버클라우드 등 국내·외 AI 대표기업도 내부 AI 레드팀을 구성‧운영해 AI 신뢰·안전성을 확보하고 있으며, 최근 생성형 AI 분야에서 AI 신뢰·안전성을 확보할 수 있는 핵심적인 방법으로 활용되고 있다.
이번 행사는 최근 생성형 AI에 대한 사회 전반의 높은 관심이 반영되어 AI·IT분야 종사자 뿐만 아니라, 제조·금융·의료분야 종사자, 대학생 등 다양한 분야의 국민 총 1,000여명이 챌린지 참가자로 참여하는 등 국민들의 뜨거운 관심과 참여열기 속에서 개최됐다.
글로벌 AI 혁신을 선도해 나가는 국내 AI 대표기업 네이버·SKT·업스테이지·포티투마루가 참여한 가운데, 챌린지 참가자들은 세션별(1~4) 참여기업 LLM 모델을 차례로 배정받아 총 7개의 챌린지 주제를 대상으로 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행했다.
이번 행사는 최근 생성형 AI에 대한 사회 전반의 높은 관심이 반영되어 AI·IT분야 종사자뿐만 아니라, 제조·금융·의료분야 종사자, 대학생 등 일반국민 대상 레드팀 챌린지 참가자를 사전에 모집 완료(3월 21일~4월 8일, 총 1,084명)해 다양한 분야의 국민 총 1,000여명이 챌린지 참가자로 참여했다.
글로벌 AI 혁신을 선도해 나가는 국내 AI 대표기업 네이버·SKT·업스테이지·포티투마루가 참여한 가운데, 챌린지 참가자들은 세션별(1~4) 참여기업 LLM 모델을 차례로 배정받아 ①탈옥 ②편견·차별 ③인권침해 ④사이버 공격 ⑤불법콘텐츠 ⑥잘못된 정보 ⑦일관성 총 7개의 챌린지 주제를 대상으로 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행했다.
아울러 ‘레드팀 챌린지’의 공정하고 전문적인 평가를 위해 챌린지 평가단도 구성·운영한다. 레드팀 수행 경험 등이 있는 데이터 분야 전문가, 의료·금융·법률 전문가 120여명으로 구성된 평가단은 사전에 마련된 평가 세부기준에 기초해 챌린지 참가자의 프롬프트 공격을 객관적으로 평가한다.
[사진=과기정통부]
한편, 행사 2일차(4월 12일)에 열리는 ‘글로벌 AI 안전 컨퍼런스’에서는 Cohere Aidan Gomez 대표, Stability AI Emad Mostaque 前대표·창업자, 프론티어모델 포럼 Chris Meserole 의장, xAI Dan Hendrycks 안전 담당고문, 네이버 하정우 퓨처 AI 센터장, SKT Eric Davis 부사장, 셀렉트스타 김세엽 대표, 카카오 김경훈 AI Safety 리더, 카이스트 오혜연 교수 등 국내·외를 대표하는 AI 업계·학계 전문가가 참여하여 최근 생성형 AI 시장의 기술동향과 생성형 AI 안전·신뢰성 확보 방안에 대한 발표와 토론이 진행된다.
이번 ‘레드팀 챌린지’ 행사를 통해 AI 산업 전반에 기업의 자율적인 AI 신뢰·안전성 확보 노력이 더욱 확산되고, 사회 전반에 AI 윤리적 활용에 대한 인식도 확대될 것으로 기대된다. 특히, 챌린지에 참여한 AI 기업은 사용자 다양성을 반영한 평가 데이터셋을 확보하고, 자사 AI 모델의 잠재적인 위험·취약점을 폭넓게 파악하여 AI 신뢰·안전성을 제고한다.
과기정통부는 이번 ‘레드팀 챌린지’ 결과를 분석해 생성형 AI 분야의 공통·포괄적인 위험을 도출하고, 업계에서 활용할 수 있는 ‘생성형 AI 레드팀 가이드라인’을 마련하는 등 표준화된 생성형 AI 위험 발굴·대응체계를 구축해 나갈 계획이다.
과기정통부 강도현 2차관은 “AI 혁신의 전제이자 기본은 AI 안전과 신뢰”이며, “‘AI 시대’로의 본격적인 전환점에서 오늘 행사는 AI의 지속 가능성에 대해 우리 모두가 진지하게 고민해 볼 수 있는 소중한 계기가 될 것”이라고 말했다.
또한, “AI 발전에 제약이 되는 문제들은 조속히 해결해 나가고, 대통령께서 밝히신 ‘AI-반도체 이니셔티브’를 차질없이 추진해 글로벌 AI 혁신을 주도해 나갈 것”이라며, “특히, 올해 5월에 개최되는 ‘AI 서울 정상회의’를 통해 AI 혁신과 안전, 포용 논의를 주도해 글로벌 AI 리더십을 확보하고, AI G3 강국 도약의 발판으로 삼겠다”고 강조했다.
[김경애 기자(boan3@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
김경애기자 기사보기
[2025-02-03] 
