.jpg)
최첨단 AI 언어모델 기반 한국어 독해능력 평가에서 1위
[보안뉴스 박미영 기자] 국내 연구진이 과학기술정보통신부와 정보통신기획평가원(IITP)이 추진하는 혁신성장동력 프로젝트인 ‘엑소브레인 사업’에서 개발한 최첨단 언어 인공지능(AI) 기술을 상용화하는데 성공했다. 이로써 AI비서, 자연어 질의응답, 지능형 검색, 빅데이터 분석 등 한국어를 활용한 인공지능 서비스 개발에 탄력이 붙을 전망이다.
한국전자통신연구원(ETRI)은 자연어로 기술된 키워드 및 질문을 입력받아 정확한 정답을 찾아주는 자연어 심층질의응답 기술 ‘엑소브레인’을 개발하고 이를 상용화하는데 성공했다고 밝혔다. 본 기술은 단순히 문서를 찾아주는 웹 검색 기능이나 단답형으로 응답을 하는 수준을 넘어 고난이도 서술형 질의응답이 가능하다. 이를 활용해 ‘일반상식 심층 질의응답 기술’과 ‘법령지식 심층 질의응답 기술’ 서비스를 개발한 결과, 성공적인 상용화로 이어질 수 있었다.
연구진이 개발한 일반상식 심층 질의응답 기술은 위키백과를 분석해 관련된 정답을 찾아준다. 기계가 문제 유형을 판별한 뒤 유형별로 최적화된 해법을 적용해 정답을 찾아내는 방식이다. 본 기술에는 △한국어 질문 분석 기술 △시맨틱 지식 추출 기술 △위키피디아 기반 단답형·서술형 질의응답 기술 △질의응답 분산처리 플랫폼 기술 등이 적용됐다. 아울러 본 기술은 한글과컴퓨터가 지난달 10일 공개한 최신 ‘한컴오피스 2020’에 지식검색 기능으로 탑재됐다. 사용자는 ‘오피스톡’에 회원 가입 후 클라우드 서비스를 통해 본 기능 사용이 가능하다. 한글의 도구 기능에서 오피스톡을 선택, 우물정(#) 키를 입력 후 질문을 하면 별도로 포털을 이용해 검색할 필요 없이 즉각 답변을 화면 우측을 통해 얻을 수 있다.
한글과컴퓨터는 일반상식 분야 문제를 대상으로 엑소브레인을 구글 지식그래프 검색과 비교한 결과, 엑소브레인이 최대 10% 이상 높은 성능을 보였다고 밝혔다. 연구진은 단답형 답변뿐 아니라 서술형 답변이 가능한 심층질의응답 기술 개발에도 성공했다. 현재, 전문용어와 한자어가 많은 법률 분야에서 활용이 가능한 수준이다. 예를 들어 “타인의 물건을 동의없이 절취할 경우 성립되는 절도죄의 형벌은?” 질문에 대해 “6년 이하의 징역 또는 1,000만원 이하 벌금”과 같은 고난이도의 서술형 답변이 가능하다.
이처럼 법률질의응답의 경우 법령문서에 기술된 전문용어와 문장 내 어순의 맥락을 파악하기 위해 법령문서를 대상으로 특화된 딥러닝 언어모델을 구축했고, 단답형 문제와 서술형 문제 유형 별로 최적화된 문제풀이가 가능한 기계 독해 기술을 적용해 서비스가 가능하게 됐다. 본 기술은 국회도서관과 국가과학기술연구회(NST)로부터 우수성을 인정받아 내년부터 양 기관의 인공지능 기반 법무 서비스를 위한 SW로 활용될 예정이다. NST는 현재 변호사를 고용해 이뤄지는 서비스를 엑소브레인을 통해 간단한 법령 질문에 응대하고 전문가의 검색 및 답변 과정을 보조할 목적으로 활용될 계획이다.
ETRI는 지난 6월, 구글이 개발한 언어모델 버트(BERT) 대비 성능이 4.5% 우수한 코버트(KorBERT)를 개발해 공개한 바 있다. 연구진은 코버트에 적용된 뉴럴 검색과 기계 독해(MRC) 기술을 고도화하고 범용성을 확보하며 본 기술을 개발할 수 있었다. 코버트는 공개 뒤 현재까지 331개 기관에서 활용이 이뤄지고 있다. 또한 엑소브레인 기계 독해 기술은 한국어 기계 독해 대회인 KorQuAD 1.0에서 95.02점으로 현재 1위를 차지하고 있다.
ETRI 엑소브레인 총괄 연구책임자인 언어지능연구실 김현기 박사는 “빅데이터라는 모래밭에서 바늘과 같은 정답을 찾을 수 있는 엑소브레인 심층질의응답 기술이 개발돼 국내 인공지능이 본격 상용화하는데 큰 도움이 될 것으로 보인다”고 말했다.
한글과컴퓨터 김만수 미래기술연구본부장도 “기존 한글 작업 시 사용자는 정보검색을 위해선 포털로 찾아야 했기에 시간이 소요되었는데, 엑소브레인이 한글에 탑재됨에 따라 원하는 정보를 편리하고 빠르게 찾을 수 있어 문서작성 생산성과 효율을 높일 수 있게 됐다”고 밝혔다.
엑소브레인 사업단은 지난 2016년 EBS 장학퀴즈에서 우승한 이후 2017년부터 61건의 기술이전 및 사업화로 94억원의 매출액을 달성했다. 이로써 국내에 구글·IBM 등과 같은 외산 인공지능 솔루션의 시장 잠식을 막는데 크게 기여하고 있다. 아울러 2017년부터 개발된 언어지능 기술을 오픈 API 및 기계학습 데이터를 보급해 국내 인공지능 발전에 큰 기여를 하고 있다. 언어지능 오픈 API 서비스는 공개 이후 지금까지 1,800만건 이상 활용됐고 산업체(40%), 대학교(36%), 개인(19%), 기타(5%)의 개발자들이 사용하고 있다. 향후 연구진은 텍스트뿐 아니라 음성을 통해서도 질의응답을 진행하고 사용자와 더욱 밀접하게 소통할 수 있는 ‘AI 지식 아바타’(가칭) 관련 기술 등을 연구개발할 예정이다.
한편 ETRI는 엑소브레인 전체 사업을 총괄하며 및 본 기술이 포함된 1세부과제와 전체 세부과제를 이끌고 있다. 2세부과제 주관기관인 솔트룩스는 엑소브레인 지식학습과 지식베이스 구축 기술을 다국어화한 서비스형 AI인 AIaaS 플랫폼을 개발해 지난 9월, 미국과 일본에 수출하는 성과를 냈다. 3세부과제 주관기관인 KAIST는 워싱턴대학이 주관하는 영어로 시사상식을 묻고 답하는 TriviaQA 챌린지에서 세계 1위를 달성하는 쾌거를 8월에 달성한 바 있다.
[박미영 기자(mypark@boannews.com)]
[보안뉴스 박미영 기자] 국내 연구진이 과학기술정보통신부와 정보통신기획평가원(IITP)이 추진하는 혁신성장동력 프로젝트인 ‘엑소브레인 사업’에서 개발한 최첨단 언어 인공지능(AI) 기술을 상용화하는데 성공했다. 이로써 AI비서, 자연어 질의응답, 지능형 검색, 빅데이터 분석 등 한국어를 활용한 인공지능 서비스 개발에 탄력이 붙을 전망이다.
[사진=ETRI]
한국전자통신연구원(ETRI)은 자연어로 기술된 키워드 및 질문을 입력받아 정확한 정답을 찾아주는 자연어 심층질의응답 기술 ‘엑소브레인’을 개발하고 이를 상용화하는데 성공했다고 밝혔다. 본 기술은 단순히 문서를 찾아주는 웹 검색 기능이나 단답형으로 응답을 하는 수준을 넘어 고난이도 서술형 질의응답이 가능하다. 이를 활용해 ‘일반상식 심층 질의응답 기술’과 ‘법령지식 심층 질의응답 기술’ 서비스를 개발한 결과, 성공적인 상용화로 이어질 수 있었다.
연구진이 개발한 일반상식 심층 질의응답 기술은 위키백과를 분석해 관련된 정답을 찾아준다. 기계가 문제 유형을 판별한 뒤 유형별로 최적화된 해법을 적용해 정답을 찾아내는 방식이다. 본 기술에는 △한국어 질문 분석 기술 △시맨틱 지식 추출 기술 △위키피디아 기반 단답형·서술형 질의응답 기술 △질의응답 분산처리 플랫폼 기술 등이 적용됐다. 아울러 본 기술은 한글과컴퓨터가 지난달 10일 공개한 최신 ‘한컴오피스 2020’에 지식검색 기능으로 탑재됐다. 사용자는 ‘오피스톡’에 회원 가입 후 클라우드 서비스를 통해 본 기능 사용이 가능하다. 한글의 도구 기능에서 오피스톡을 선택, 우물정(#) 키를 입력 후 질문을 하면 별도로 포털을 이용해 검색할 필요 없이 즉각 답변을 화면 우측을 통해 얻을 수 있다.
한글과컴퓨터는 일반상식 분야 문제를 대상으로 엑소브레인을 구글 지식그래프 검색과 비교한 결과, 엑소브레인이 최대 10% 이상 높은 성능을 보였다고 밝혔다. 연구진은 단답형 답변뿐 아니라 서술형 답변이 가능한 심층질의응답 기술 개발에도 성공했다. 현재, 전문용어와 한자어가 많은 법률 분야에서 활용이 가능한 수준이다. 예를 들어 “타인의 물건을 동의없이 절취할 경우 성립되는 절도죄의 형벌은?” 질문에 대해 “6년 이하의 징역 또는 1,000만원 이하 벌금”과 같은 고난이도의 서술형 답변이 가능하다.
이처럼 법률질의응답의 경우 법령문서에 기술된 전문용어와 문장 내 어순의 맥락을 파악하기 위해 법령문서를 대상으로 특화된 딥러닝 언어모델을 구축했고, 단답형 문제와 서술형 문제 유형 별로 최적화된 문제풀이가 가능한 기계 독해 기술을 적용해 서비스가 가능하게 됐다. 본 기술은 국회도서관과 국가과학기술연구회(NST)로부터 우수성을 인정받아 내년부터 양 기관의 인공지능 기반 법무 서비스를 위한 SW로 활용될 예정이다. NST는 현재 변호사를 고용해 이뤄지는 서비스를 엑소브레인을 통해 간단한 법령 질문에 응대하고 전문가의 검색 및 답변 과정을 보조할 목적으로 활용될 계획이다.
ETRI는 지난 6월, 구글이 개발한 언어모델 버트(BERT) 대비 성능이 4.5% 우수한 코버트(KorBERT)를 개발해 공개한 바 있다. 연구진은 코버트에 적용된 뉴럴 검색과 기계 독해(MRC) 기술을 고도화하고 범용성을 확보하며 본 기술을 개발할 수 있었다. 코버트는 공개 뒤 현재까지 331개 기관에서 활용이 이뤄지고 있다. 또한 엑소브레인 기계 독해 기술은 한국어 기계 독해 대회인 KorQuAD 1.0에서 95.02점으로 현재 1위를 차지하고 있다.
ETRI 엑소브레인 총괄 연구책임자인 언어지능연구실 김현기 박사는 “빅데이터라는 모래밭에서 바늘과 같은 정답을 찾을 수 있는 엑소브레인 심층질의응답 기술이 개발돼 국내 인공지능이 본격 상용화하는데 큰 도움이 될 것으로 보인다”고 말했다.
한글과컴퓨터 김만수 미래기술연구본부장도 “기존 한글 작업 시 사용자는 정보검색을 위해선 포털로 찾아야 했기에 시간이 소요되었는데, 엑소브레인이 한글에 탑재됨에 따라 원하는 정보를 편리하고 빠르게 찾을 수 있어 문서작성 생산성과 효율을 높일 수 있게 됐다”고 밝혔다.
엑소브레인 사업단은 지난 2016년 EBS 장학퀴즈에서 우승한 이후 2017년부터 61건의 기술이전 및 사업화로 94억원의 매출액을 달성했다. 이로써 국내에 구글·IBM 등과 같은 외산 인공지능 솔루션의 시장 잠식을 막는데 크게 기여하고 있다. 아울러 2017년부터 개발된 언어지능 기술을 오픈 API 및 기계학습 데이터를 보급해 국내 인공지능 발전에 큰 기여를 하고 있다. 언어지능 오픈 API 서비스는 공개 이후 지금까지 1,800만건 이상 활용됐고 산업체(40%), 대학교(36%), 개인(19%), 기타(5%)의 개발자들이 사용하고 있다. 향후 연구진은 텍스트뿐 아니라 음성을 통해서도 질의응답을 진행하고 사용자와 더욱 밀접하게 소통할 수 있는 ‘AI 지식 아바타’(가칭) 관련 기술 등을 연구개발할 예정이다.
한편 ETRI는 엑소브레인 전체 사업을 총괄하며 및 본 기술이 포함된 1세부과제와 전체 세부과제를 이끌고 있다. 2세부과제 주관기관인 솔트룩스는 엑소브레인 지식학습과 지식베이스 구축 기술을 다국어화한 서비스형 AI인 AIaaS 플랫폼을 개발해 지난 9월, 미국과 일본에 수출하는 성과를 냈다. 3세부과제 주관기관인 KAIST는 워싱턴대학이 주관하는 영어로 시사상식을 묻고 답하는 TriviaQA 챌린지에서 세계 1위를 달성하는 쾌거를 8월에 달성한 바 있다.
[박미영 기자(mypark@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
박미영기자 기사보기
[2024-11-22] 
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
