세계적 AI 석학 요슈아벤지오 교수, ‘AI안전 확보를 위한 정책·과학적 추진전략’ 기조강연
AI서울기업서약 참여 국내 6개사, AI 안전 확보 자발적 이행현황 발표
‘생성형 AI레드팀 챌린지’ 분석결과 소개, AI 안전 확보를 위한 업계 활용 지원
제2회 AI신뢰성 대상 선정, 다비오(Eartheye 2.0), 액션파워(daglo) 등 총 8점 수상
[보안뉴스 박은주 기자] 과학기술정보통신부(장관 유상임, 이하 과기정통부)는 국내를 대표하는 AI 분야 대기업·스타트업, 연구자 등 200여명이 참여하는 가운데, ‘AI신뢰·안전성 컨퍼런스’를 11월 26일 피스앤파크컨벤션(서울 전쟁기념관)에서 개최했다.
그간 과기정통부는 ‘국가 AI윤리기준’을 토대로 △제3의 전문기관을 통한 민간자율 ‘AI신뢰성 인증’ 지원 △‘생성형 AI레드팀 챌린지’ 개최 △글로벌 AI규범가치(안전·혁신·포용)에 대한 합의를 이뤄낸 ‘AI서울정상회의’ 성공적 개최 △‘국제 AI안전연구소 네트워크’ 참여 △AI 안전연구소 출범(11월 27일예정) 등 지속가능한 AI혁신생태계 조성을 뒷받침하기 위해 AI신뢰·안전성에 대한 정책적 지원을 강화하고 있다.
이번 컨퍼런스에서는 최근 글로벌 차원에서 강조되고 있는 AI신뢰·안전성 관련 기술·정책 동향을 공유한다. 2024년 정부지원 연구결과물의 주요 성과와 민간의 이행현황을 점검하며, 국내 AI신뢰·안전성 확보의 우수사례를 선정·확산하기 위한 목적으로 개최됐다. 행사는 크게 4가지 주제로 진행됐다.
① 국내·외 AI신뢰·안전 기술·정책 동향 공유
AI분야 세계적 석학인 몬트리올대 요슈아벤지오 교수는 기조강연에서 “AI안전 확보를 위한 정책과 과학의 중요성을 강조하며, 최첨단 AI모델의 위험에 대한 효과적인 관리를 위해 국내법-국제협약 간의 상호 조화가 필요하다”고 말했다. 또한, “과학 측면에서는 AI 모델의 정렬과 통제가 중요 이슈로, 정량적으로 측정 가능한 AI 모델의 위험평가, 위험관리기술 확보를 위한 정부지원 확대와 AI 안전연구소의 역할이 필요하다”고 강조했다.
이어진 두 번째 기조강연에서 카이스트 오혜연 AI연구원장은 국제사회의 AI패권 경쟁 동향을 공유하고, 전략자산으로서 AI의 중요성을 강조했다. 아울러, AI기술의 언어·문화적 포용성, 격차 문제 등 글로벌 사회에 미치는 영향을 소개하고, AI안전분야 신시장 창출과 기업 경쟁력 확보 관점에서 AI안전 정책의 추진전략을 소개했다.
최근, 국내 업계에서도 AI신뢰·안전성 확보를 위한 기술개발과 평가기법, 데이터셋 구축 등 다양한 연구가 진행되고 있다. 튜닙 박규병 대표는 ‘AI안전장치(가드레일) 솔루션을 활용한 다양한 형태의 위험탐지 및 대응방안’을 소개했다. 포티투마루 김동환 대표는 ‘AI신뢰성 인증(TTA) 획득 등을 통한 자사 LLM 신뢰·안전성 확보사례’를 주제로 발표했다.
② ‘AI서울기업서약’ 이행현황 발표
지난 5월에 개최된 ‘AI글로벌포럼’에서 국내·외 14개 기업은 ‘AI서울기업서약’에 참여해 책임있는 AI 개발·활용 보장 등에 대한 자발적 이행을 약속한 바 있다.
서약 참여기업은 국내 △삼성전자 △NAVER △카카오 △SKT △KT △LG AI연구원이다. 국외는 △Google △OpenAI △Anthropic △IBM △Salesforce △Cohere △MS △Adobe가 참여했다.
서약에서는 AI의 취약성과 위험을 평가해 이를 모델 수명주기에 통합하고, 외부 평가를 고려하며, 사고 모니터링 및 대응을 위한 내부 거버넌스와 위험관리 정책을 마련할 것을 약속하고 있다.
이날 컨퍼런스에서는 ‘AI서울기업서약’에 참여한 국내 6개 기업이 모두 참여한 가운데, 안전하고 신뢰할 수 있는 AI를 개발하기 위한 위험 관리방안 수립, 기술 연구, 내부거버넌스 마련 등 각사의 이행현황을 공유했다. 내용은 다음과 같다. △네이버, AI Safety Framework(ASF)’ 수립 △카카오, AI 위험관리체계(Kakao AI Safety Initiative) 구축·운영 △삼성전자, On Device AI에 대한 신뢰·안전성 수립 및 운영 △SKT, AI 거버넌스 기본원칙을 구체화한 ‘AI행동규범’ 수립 △KT, 안전하고 신뢰할 수 있는 AI서비스 개발을 위한 ’Responsible AI프레임워크‘ 수립 △LG AI연구원, AI위험을 사전에 파악하고 해결하는 ‘AI윤리영향평가’ 전 프로젝트 적용이다.
앞으로 6개 기업은 자사가 제공하는 AI제품·서비스와 관련된 책임을 깊이 인식하고, 향후 AI신뢰·안전성 확보를 위한 노력을 더욱 강화해 나갈 것을 약속했다.
③ ‘생성형 AI레드팀 챌린지’ 결과 소개
올해 4월, AI연구자·대학생·일반시민 등 1,000여명이 참여해 국내 AI 기업 4개사(네이버·SKT·업스테이지·포티투마루) 생성형 AI모델(LLM)을 대상으로 잠재적 위험·취약점(유해정보, 편견·차별 등)을 발굴하는 ‘생성형 AI레드팀 챌린지’ 행사를 개최했다.
이날 컨퍼런스에서 한국정보통신기술협회(TTA)는 대규모 참여자의 공격시도를 분석해 식별된 7가지 분야(잘못된 정보, 편견 및 차별, 불법 콘텐츠 생성 및 정보 제공, 탈옥, 사이버 공격, 개인의 권리 침해, 일관성) 주요 위험과 다양한 공격기법(거부 무력화, 혼동유도)을 소개했다.
과기정통부는 레드팀 챌린지 결과를 활용하여 생성형 AI안전 프레임체계를 구축하고, 국내기업이 자사 생성형 AI 모델의 잠재위험을 사전에 파악해 신뢰·안전성을 확보할 수 있도록 지원할 계획이다.
④ 제2회 AI신뢰성 대상 시상
AI신뢰성의 중요성과 인식을 업계 전반에 확산하고, 우수 AI제품·서비스에 대한 홍보를 지원하기 위한 목적으로 ‘제2회 AI신뢰성 대상’ 시상식을 개최했다.
AI분야 산·학·연 전문가로 구성된 심사위원회(위원장 카이스트 오혜연 AI연구원장)는 접수된 총 41개의 AI제품·서비스를 대상으로 ①신뢰성·품질 이해 및 가이드라인 적용수준 ②신뢰성·품질수준 ③신뢰성·품질 관리 우수성 ④시장성 등을 종합적으로 평가한 결과, 총 8개의 AI제품·서비스가 선정됐다.
대상은 다비오가 개발한 ‘다비오 어스아이2.0’가 수상하며 과기정통부 장관상, 상금 1,000만원을 받았다. ‘신뢰할 수 있는 AI개발안내서’에 기반해 자체적인 데이터 품질관리 프로세스를 수립·적용해 높은 평가를 받았다.
과기정통부 송상훈 정보통신정책실장은 “정부가 지속적으로 추진해 온 AI신뢰·안전성 정책의 노력에 호응해 최근 산업계·학계에서도 AI신뢰·안전성 전담조직 설치와 투자 확대 등 자발적인 노력이 확대되고 있다”고 강조하며, “민간자율에 기반한 책임있는 AI 개발·활용 문화가 확산될 수 있도록 정책 지원을 강화하는 한편, 첨단 AI로 인한 잠재적 위험에 대비하여 AI안전연구소를 출범하고 국가차원에서 체계적으로 대응해 나가겠다”고 강조했다.
[박은주 기자(boan5@boannews.com)]
AI서울기업서약 참여 국내 6개사, AI 안전 확보 자발적 이행현황 발표
‘생성형 AI레드팀 챌린지’ 분석결과 소개, AI 안전 확보를 위한 업계 활용 지원
제2회 AI신뢰성 대상 선정, 다비오(Eartheye 2.0), 액션파워(daglo) 등 총 8점 수상
[보안뉴스 박은주 기자] 과학기술정보통신부(장관 유상임, 이하 과기정통부)는 국내를 대표하는 AI 분야 대기업·스타트업, 연구자 등 200여명이 참여하는 가운데, ‘AI신뢰·안전성 컨퍼런스’를 11월 26일 피스앤파크컨벤션(서울 전쟁기념관)에서 개최했다.
▲AI신뢰·안전성 컨퍼런스 포스터[포스터=과기정통부]
그간 과기정통부는 ‘국가 AI윤리기준’을 토대로 △제3의 전문기관을 통한 민간자율 ‘AI신뢰성 인증’ 지원 △‘생성형 AI레드팀 챌린지’ 개최 △글로벌 AI규범가치(안전·혁신·포용)에 대한 합의를 이뤄낸 ‘AI서울정상회의’ 성공적 개최 △‘국제 AI안전연구소 네트워크’ 참여 △AI 안전연구소 출범(11월 27일예정) 등 지속가능한 AI혁신생태계 조성을 뒷받침하기 위해 AI신뢰·안전성에 대한 정책적 지원을 강화하고 있다.
이번 컨퍼런스에서는 최근 글로벌 차원에서 강조되고 있는 AI신뢰·안전성 관련 기술·정책 동향을 공유한다. 2024년 정부지원 연구결과물의 주요 성과와 민간의 이행현황을 점검하며, 국내 AI신뢰·안전성 확보의 우수사례를 선정·확산하기 위한 목적으로 개최됐다. 행사는 크게 4가지 주제로 진행됐다.
① 국내·외 AI신뢰·안전 기술·정책 동향 공유
AI분야 세계적 석학인 몬트리올대 요슈아벤지오 교수는 기조강연에서 “AI안전 확보를 위한 정책과 과학의 중요성을 강조하며, 최첨단 AI모델의 위험에 대한 효과적인 관리를 위해 국내법-국제협약 간의 상호 조화가 필요하다”고 말했다. 또한, “과학 측면에서는 AI 모델의 정렬과 통제가 중요 이슈로, 정량적으로 측정 가능한 AI 모델의 위험평가, 위험관리기술 확보를 위한 정부지원 확대와 AI 안전연구소의 역할이 필요하다”고 강조했다.
이어진 두 번째 기조강연에서 카이스트 오혜연 AI연구원장은 국제사회의 AI패권 경쟁 동향을 공유하고, 전략자산으로서 AI의 중요성을 강조했다. 아울러, AI기술의 언어·문화적 포용성, 격차 문제 등 글로벌 사회에 미치는 영향을 소개하고, AI안전분야 신시장 창출과 기업 경쟁력 확보 관점에서 AI안전 정책의 추진전략을 소개했다.
최근, 국내 업계에서도 AI신뢰·안전성 확보를 위한 기술개발과 평가기법, 데이터셋 구축 등 다양한 연구가 진행되고 있다. 튜닙 박규병 대표는 ‘AI안전장치(가드레일) 솔루션을 활용한 다양한 형태의 위험탐지 및 대응방안’을 소개했다. 포티투마루 김동환 대표는 ‘AI신뢰성 인증(TTA) 획득 등을 통한 자사 LLM 신뢰·안전성 확보사례’를 주제로 발표했다.
② ‘AI서울기업서약’ 이행현황 발표
지난 5월에 개최된 ‘AI글로벌포럼’에서 국내·외 14개 기업은 ‘AI서울기업서약’에 참여해 책임있는 AI 개발·활용 보장 등에 대한 자발적 이행을 약속한 바 있다.
서약 참여기업은 국내 △삼성전자 △NAVER △카카오 △SKT △KT △LG AI연구원이다. 국외는 △Google △OpenAI △Anthropic △IBM △Salesforce △Cohere △MS △Adobe가 참여했다.
서약에서는 AI의 취약성과 위험을 평가해 이를 모델 수명주기에 통합하고, 외부 평가를 고려하며, 사고 모니터링 및 대응을 위한 내부 거버넌스와 위험관리 정책을 마련할 것을 약속하고 있다.
이날 컨퍼런스에서는 ‘AI서울기업서약’에 참여한 국내 6개 기업이 모두 참여한 가운데, 안전하고 신뢰할 수 있는 AI를 개발하기 위한 위험 관리방안 수립, 기술 연구, 내부거버넌스 마련 등 각사의 이행현황을 공유했다. 내용은 다음과 같다. △네이버, AI Safety Framework(ASF)’ 수립 △카카오, AI 위험관리체계(Kakao AI Safety Initiative) 구축·운영 △삼성전자, On Device AI에 대한 신뢰·안전성 수립 및 운영 △SKT, AI 거버넌스 기본원칙을 구체화한 ‘AI행동규범’ 수립 △KT, 안전하고 신뢰할 수 있는 AI서비스 개발을 위한 ’Responsible AI프레임워크‘ 수립 △LG AI연구원, AI위험을 사전에 파악하고 해결하는 ‘AI윤리영향평가’ 전 프로젝트 적용이다.
앞으로 6개 기업은 자사가 제공하는 AI제품·서비스와 관련된 책임을 깊이 인식하고, 향후 AI신뢰·안전성 확보를 위한 노력을 더욱 강화해 나갈 것을 약속했다.
③ ‘생성형 AI레드팀 챌린지’ 결과 소개
올해 4월, AI연구자·대학생·일반시민 등 1,000여명이 참여해 국내 AI 기업 4개사(네이버·SKT·업스테이지·포티투마루) 생성형 AI모델(LLM)을 대상으로 잠재적 위험·취약점(유해정보, 편견·차별 등)을 발굴하는 ‘생성형 AI레드팀 챌린지’ 행사를 개최했다.
이날 컨퍼런스에서 한국정보통신기술협회(TTA)는 대규모 참여자의 공격시도를 분석해 식별된 7가지 분야(잘못된 정보, 편견 및 차별, 불법 콘텐츠 생성 및 정보 제공, 탈옥, 사이버 공격, 개인의 권리 침해, 일관성) 주요 위험과 다양한 공격기법(거부 무력화, 혼동유도)을 소개했다.
과기정통부는 레드팀 챌린지 결과를 활용하여 생성형 AI안전 프레임체계를 구축하고, 국내기업이 자사 생성형 AI 모델의 잠재위험을 사전에 파악해 신뢰·안전성을 확보할 수 있도록 지원할 계획이다.
④ 제2회 AI신뢰성 대상 시상
AI신뢰성의 중요성과 인식을 업계 전반에 확산하고, 우수 AI제품·서비스에 대한 홍보를 지원하기 위한 목적으로 ‘제2회 AI신뢰성 대상’ 시상식을 개최했다.
AI분야 산·학·연 전문가로 구성된 심사위원회(위원장 카이스트 오혜연 AI연구원장)는 접수된 총 41개의 AI제품·서비스를 대상으로 ①신뢰성·품질 이해 및 가이드라인 적용수준 ②신뢰성·품질수준 ③신뢰성·품질 관리 우수성 ④시장성 등을 종합적으로 평가한 결과, 총 8개의 AI제품·서비스가 선정됐다.
대상은 다비오가 개발한 ‘다비오 어스아이2.0’가 수상하며 과기정통부 장관상, 상금 1,000만원을 받았다. ‘신뢰할 수 있는 AI개발안내서’에 기반해 자체적인 데이터 품질관리 프로세스를 수립·적용해 높은 평가를 받았다.
▲제2회 AI신뢰성 대상 수상 제품[자료=과기정통부]
과기정통부 송상훈 정보통신정책실장은 “정부가 지속적으로 추진해 온 AI신뢰·안전성 정책의 노력에 호응해 최근 산업계·학계에서도 AI신뢰·안전성 전담조직 설치와 투자 확대 등 자발적인 노력이 확대되고 있다”고 강조하며, “민간자율에 기반한 책임있는 AI 개발·활용 문화가 확산될 수 있도록 정책 지원을 강화하는 한편, 첨단 AI로 인한 잠재적 위험에 대비하여 AI안전연구소를 출범하고 국가차원에서 체계적으로 대응해 나가겠다”고 강조했다.
[박은주 기자(boan5@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
박은주기자 기사보기
[2024-11-25] .jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
