Home > 전체기사
ETRI, AI 서비스 개발 돕는 한국어 최첨단 언어모델 공개
  |  입력 : 2019-06-12 16:16
페이스북 보내기 트위터 보내기 네이버 밴드 보내기 카카오 스토리 보내기
AI 비서, AI 질의응답 등 한국어 처리 다수 분야 활용 가능

[보안뉴스 박미영 기자] 과학기술정보통신부와 정보통신기획평가원(IITP)의 혁신성장동력 프로젝트로 추진 중인 엑소브레인 사업에서 최첨단 한국어 언어모델을 공개했다. 이로써 인공지능(AI) 비서, AI 질의응답, 지능형 검색 등 한국어를 활용한 인공지능 서비스 개발이 한층 고도화될 것으로 전망된다.

[사진=ETRI]


한국전자통신연구원(ETRI)은 지난 10일 최첨단 한국어 언어모델 ‘코버트(KorBERT)’를 홈페이지를 통해 공개했다. 연구진이 공개한 모델은 두 종류다. 구글의 언어 표현 방법을 기반으로 더 많은 한국어 데이터를 넣어 만든 언어모델과 한국어의 ‘교착어’ 특성까지 반영해 만든 언어모델이다. 특히 본 기술은 올해 3월 한컴오피스 지식검색 베타버전에 탑재됐다.

하반기에는 ETRI의 언어모델을 활용한 ‘법령 분야 질의응답 API’를 추가 공개하고 ‘유사 특허 지능형 분석 기술’도 출시를 목표하고 있다. 언어처리를 위한 딥러닝 기술을 개발하기 위해서는 텍스트에 기술된 어절을 숫자로 표현해야 한다. 이를 위해 그동안 언어를 활용한 서비스를 개발하는 기관에서는 주로 구글의 다국어 언어모델 ‘버트’(BERT)를 사용했다. 버트는 문장 내 어절을 한 글자씩 나눈 뒤, 앞뒤로 자주 만나는 글자끼리 단어로 인식한다.

본 방식은 지난해 11월 처음 공개됐을 때 언어처리 11개 분야에서 많은 성능 향상을 이뤄 주목을 받았다. 구글은 40만여건의 위키백과 문서 데이터를 사용해 한국어 언어모델을 개발했다.

하지만 ETRI 연구진은 여기에 23기가(GB)에 달하는 지난 10년간의 신문기사와 백과사전 정보를 더해 45억개의 형태소를 학습시켜 구글보다 많은 한국어 데이터를 기반으로 언어모델을 개발했다. 단순히 입력한 데이터 양만을 늘리는 것은 언어모델 고도화에 한계가 있다. 아울러 한글은 다른 언어와 달리 어근에 조사가 붙는 교착어다. 이에 연구진은 한국어의 의미 최소 단위인 형태소까지 고려해 한국어 특성을 최대한 반영한 언어모델을 만드는데 심혈을 기울였다.

연구진은 이번 한국어에 최적화된 언어모델이 △전처리 과정에서 형태소를 분석한 언어모델 △한국어에 최적화된 학습 파라미터 △방대한 데이터 기반 등이 구글과 차별성 있는 특징이라고 설명했다.

개발된 언어모델은 성능을 확인하는 5가지 기준에서 구글이 배포한 한국어 모델보다 성능이 평균 4.5%가량 우수했다. 특히 단락 순위화(Passage Ranking) 기준에서는 7.4%나 높은 수치를 기록했다. 연구진의 언어모델을 활용하면 서비스 성능 및 경쟁력을 높일 수 있어 딥러닝 연구, 교육 등의 목적으로 대학, 기업, 기관의 개발자들의 많은 활용이 이뤄질 것으로 예측된다.

개발된 언어모델은 대표적인 딥러닝 프레임워크인 파이토치(PyTorch)와 텐서플로우(Tensorflow) 환경 모두에서 사용 가능하며,공공인공지능 오픈 API·데이터 서비스 포털에서 쉽게 찾아볼 수 있다.

엑소브레인 사업의 총괄책임자인 ETRI 김현기 박사는 “한국어에 최적화된 언어모델을 통해 한국어 분석, 지식추론, 질의응답 등의 다양한 한국어 딥러닝 기술의 고도화가 가능할 것으로 기대된다”고 말했다.

과학기술정보통신부 인공지능정책팀 김지원 팀장도 “AI 허브를 통해 정부 R&D를 통해 개발되는 양질의 인공지능 SW API 및 데이터를 공개함으로써 개방형 혁신을 촉진할 수 있도록 노력하겠다”고 밝혔다.

현재 구글과 연구진이 언어모델 개발에 활용한 BERT 방식은 약 512개 이상의 단어가 들어간 문서를 한 번에 처리하지 못한다. 향후 연구진은 한번에 더욱 많은 언어 데이터를 처리하고 검증 방법을 고도화한 모델을 개발할 계획이다. 이번 연구개발에 근간이 된 ‘엑소브레인 사업’은 2016년 EBS 장학퀴즈 우승, 기술이전 및 사업화 39건, 국내외 표준화 44건, 특허출원 70건 등의 성과를 낸 바 있다.

특히 ETRI는 2017년도부터 언어지능 기술 오픈 API 및 기계학습 데이터를 공개했다. 지금까지 1,300만건 이상 활용됐고 산업체(42%), 대학교(34%), 개인(20%), 기타(4%)의 개발자들이 사용하고 있다. 또한 은행권·지자체를 대상으로 인공지능 대국민 서비스 등을 개발하며 국내 인공지능 분야의 산업화 촉진을 추진하고 있다.
[박미영 기자(mypark@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>

  •  
  • 0
  • 페이스북 보내기 트위터 보내기 네이버 밴드 보내기 카카오 스토리 보내기


  •  SNS에서도 보안뉴스를 받아보세요!! 
IBM 파워비즈 배너 2019년2월8일~2020년2월7일까지/7월25일 수정모니터랩 파워비즈 5월 31일까지파워비즈배너 시작 11월6일 20181105-20200131
설문조사
최근 디지털 도어록이 등록되지 않은 스마트워치로 무방비로 열리는 취약점이 발견돼 이슈가 되고 있는데요. 현재 귀하의 집에 설치된 디지털 도어록의 경우 비밀번호와 함께 주로 사용하고 있는 개폐 수단은 무엇인가요?
생체인식
카드키
교통카드(티머니)
스마트워치
스마트폰
기타(댓글로)
      

이노뎁
VMS

인콘
통합관제 / 소방방재

현대틸스
팬틸트 / 카메라

파나소닉코리아
Sevurity Camera / CCTV

시큐인포
CCTV / NVR

한화테크윈
CCTV 카메라 / 영상감시

Videotec
PTZ 카메라

대명코퍼레이션
DVR / IP카메라

티제이원
영상 보안 / 출입 통제

하이크비전 코리아
CCTV / IP / NVR

원우이엔지
줌카메라

쿠도커뮤니케이션
스마트 관제 솔루션

다후아 코리아
CCTV / DVR

씨앤비텍
통합보안솔루션

지케이테코
출입통제 / 얼굴인식

아이디스
DVR / IP / VMS

한국하니웰
CCTV / DVR

이화트론
DVR / IP / CCTV

경인씨엔에스
CCTV / 자동복구장치

테크스피어
손혈관 / 차량하부 검색기

씨게이트
보안감시전용 드라이브

슈프리마
출입통제 / 얼굴인식

한국씨텍
PTZ CCTV

아이티엑스엠투엠
DVR / NVR / IP CAMERA

링크플로우
이동형 CCTV 솔루션

엔토스정보통신
DVR / NVR / CCTV

트루엔
IP 카메라

다민정보산업
기업형 스토리지

비전정보통신
IP카메라 / VMS / 폴

씨오피코리아
CCTV 영상 전송장비

씨엠아이텍
근태관리 소프트웨어 / 홍채 스케너

디비시스
CCTV토탈솔루션

테크어헤드
얼굴인식 소프트웨어

에스카
CCTV / 영상개선

옵티언스
IR 투광기

옵텍스코리아
실내 실외 센서

구네보코리아
보안게이트

엑사비스
사이보 보안 CCTV

화이트박스로보틱스
CCTV / 카메라

신우테크
팬틸드 / 하우징

네이즈

케이제이테크
지문 / 얼굴 출입 통제기

혜인에스앤에스
통합보안시스템

셀링스시스템
IP 카메라 / 비디오 서버

사라다
지능형 객체 인식 시스템

일산정밀
CCTV / 부품 / 윈도우

수퍼락
출입통제 시스템

아이엔아이
울타리 침입 감지 시스템

이노뎁
VMS

파이브지티
얼굴인식 시스템

새눈
CCTV 상태관리 솔루션

파이브지티
얼굴인식 시스템

케이티앤씨
CCTV / 모듈 / 도어락

다원테크
CCTV / POLE / 브라켓

티에스아이솔루션
출입 통제 솔루션

엘림광통신
광전송링크

퍼시픽솔루션
IP 카메라 / DVR

금성보안
CCTV / 출입통제 / NVR

지와이네트웍스
CCTV 영상분석

이후커뮤니케이션
CCTV / DVR

지에스티엔지니어링
게이트 / 스피드게이트

넷플로우
IP인터폰 / 방송시스템

아이유플러스
레이더 / 카메라

DK솔루션
메트릭스 / 망전송시스템

두레옵트로닉스
카메라 렌즈

에프에스네트웍스
스피드 돔 카메라

엔클라우드
VMS / 스위치

KPN
안티버그 카메라

싸이닉스
스피드 돔 카메라

대산시큐리티
CCTV 폴 / 함체 / 랙

포커스에이치앤에스
지능형 / 카메라

휴컴스
PTZ 카메라 / 줌카메라

창우
폴대

유진시스템코리아
팬틸트 / 하우징

브이유텍
플랫폼 기반 통합 NVR

글로넥스
카드리더 / 데드볼트

카티스
출입통제 / 외곽경비

세환엠에스
시큐리티 게이트

화인박스
콘트롤박스 / 배전향