NIA-업스테이지, 2023 올해의 한국어 LLM 시상식 개최

Open Ko-LLM 리더보드 부문별 1위 모델(야놀자, 이든티앤에스) 선정

[보안뉴스 박미영 기자] 한국지능정보사회진흥원(이하 NIA)과 업스테이지는 지난 5일 ‘2023년 올해의 LLM’ 시상식을 개최하고 우수 모델 2개를 선정했다고 밝혔다.

우수 모델은 NIA와 업스테이지가 운영 중인 ‘Open-Ko LLM 리더보드(이하 리더보드)’를 통해 접수된 1,134개 LLM(2024.2.9. 마감 기준)을 대상으로 5개 성능 지표에 따라 성능을 측정해 선정했다.

‘Open Ko-LLM 리더보드’는 글로벌 최대 AI 개발자 오픈소스 커뮤니티인 허깅페이스의 LLM 리더보드(영어 버전)를 벤치마크해 구축한 최초의 한국어 초거대 언어 모델 성능 평가 체계다.

대화(chat) 기반 AI 모델은 좋은 사전학습 모델을 기반으로 튜닝을 진행하는 것이 중요하므로, 이번 시상은 근간이 되는 ‘사전학습(Pretrained) 모델’과 응용을 하는 ‘파인튜닝(Finetuning) 모델’로 분야를 나눠 가장 우수한 점수를 획득한 모델을 선정해 시상했다. 그 결과 사전학습 모델 부문에서는 ‘야놀자’가, 파인튜닝 부문에서는 ‘이든티앤에스’가 1위를 차지하고 NIA 원장상을 수상했다.

리더보드의 목적은 한국어 LLM 평가 생태계 구축이며, 생태계의 핵심은 ‘표준화(Standardization)’이다. NIA와 업스테이지는 이러한 표준화를 잘 이뤄낼 수 있도록 다양한 능력을 평가할 수 있는 평가지표를 추가하고, 평가방식 등을 지속적으로 개선해 나갈 계획이다.

또한 NIA는 국내 자연어처리 분야의 최정상급 교수님들로 구성된 리더보드 운영위원회를 통해 리더보드의 활성화와 발전 방향을 도출해 나갈 예정이다.

NIA 황종성 원장은 “국내 리더보드에서 우수한 성적을 보인 기업이 글로벌 리더보드에서도 독보적인 위치를 차지하는 등 Open Ko-LLM 리더보드의 수준이 매우 높아지고 있다. 앞으로도 국내 기업의 초거대 언어모델 역량 강화와 민관 협력을 위해 적극 지원하겠다”고 밝혔다.

각 부문 1위를 수상한 ‘야놀자’와 ‘이든티앤에스’는 “자사의 초거대 언어모델 성능과 기술력을 인정받을 수 있는 기회가 주어져 매우 기쁘며 지속적으로 발전시켜 나가겠다”고 소감을 밝혔다.
[박미영 기자(mypark@boannews.com)]

최근 발생한 크라우드 스트라이크의 보안 SW 업데이트 오류 사태처럼 SW 공급망에 보안이슈가 발생할 경우 관련된 각종 시스템 및 IT 인프라 마비가 일어날 수 있다는 게 드러났습니다. 이러한 공급망 보안을 위협하는 가장 큰 요인은 무엇이라고 생각하시나요?
	랜섬웨어, 피싱 등의 사이버 공격
	SW 업데이트 및 SW 교체 과정에서의 오류
	SW 자체에 존재하는 보안 취약점
	시스템 관리자의 운영상 실수 및 관리 미흡
	기타(댓글로)