Home > 전체기사
DGIST, 신개념 데이터 분할 통한 고성능 데이터 처리 기술 개발
  |  입력 : 2019-05-22 10:30
페이스북 보내기 트위터 보내기 네이버 밴드 보내기 카카오 스토리 보내기
업계 최고 기술인 아파치 스파크 SQL보다 4.2배 빠른 처리 성능

[보안뉴스 박미영 기자] 방대한 데이터를 더 효율적이고 더 빠르게 처리할 수 있는 원천기술이 DGIST에서 개발됐다. 빅데이터와 같이 커져가는 데이터를 처리할 수 있는 효율적인 기술로써 향후 그 활용이 매우 기대된다.

DGIST는 정보통신융합전공 김민수 교수팀이 관계형 데이터 처리 기술인 ‘GPT(Graph-based Partitioning Table) 기술’을 개발했다. 최고의 처리속도를 자랑하는 기존의 처리 방식보다도 평균 4배가량 더 우수한 처리 성능을 보여 향후 관련 분야에서 활용될 수 있을 것으로 기대된다.

‘관계형 데이터’는 여러 산업 분야에서 가장 많이 사용하는 데이터 형태로, 오늘날 그 규모가 커져 여러 대의 컴퓨터에 분산 저장·처리하는 기술들이 널리 사용된다. 현재 관계형 데이터를 분산 처리하는 가장 뛰어난 기술은 ‘아파치(Apache)’의 ‘스파크(Spark) SQL’로, 그 외에도 여러 처리 기술들이 많이 개발돼 왔다. 하지만 이들 기술들 모두 데이터 처리를 위해선 네트워크상에서 연결된 여러 대의 컴퓨터 사이의 많은 양의 네트워크 통신이 필요한 단점을 갖고 있다.

이에 김민수 교수팀은 관계형 데이터를 여러 대의 컴퓨터들에 기존과 다른 방식으로 저장하고 처리하는 방식을 고민했다. 그 결과 컴퓨터들 간의 네트워크 통신을 거의 발생시키지 않고도 데이터 분산 처리가 가능한 GPT 기술을 개발, 기존의 데이터 저장 및 처리 기술들이 갖던 문제의 근본적 해결에 성공했다.

처리속도가 빨리진 이유는 데이터를 그래프 위 점과 선의 관계로 모델링했기 때문이다. 관계형 데이터를 구성하는 각 데이터 테이블을 정점(vertex)으로, 테이블들 간의 조인(join) 관계를 선(edge)으로 설정한 일종의 그래프 데이터로 모델링하고 허브(hub) 역할을 하는 데이터 테이블을 기준으로 나머지 데이터 테이블들을 수평 분할해 각 컴퓨터에 나눠 저장했다. 이를 통해 분산 처리에도 네트워크 통신이 거의 발생하지 않는 장점을 확보했다.

이번에 개발된 김민수 교수팀의 GPT 기술은 업계 표준 벤치마크 방식인 ‘TPC-DS’를 이용한 데이터 처리성능 비교에서 아파치 스파크 SQL보다 평균 4.2배 더 빠른 처리속도를 보였다. 또한 단순한 이론적 단계를 넘어 실제 산업용 데이터 처리에 짧은 시일 내 상용화가 가능한 수준의 완성도까지 갖췄다.

DGIST 정보통신융합전공 김민수 교수는 “2010년대 초반, 빅데이터에 흥미를 갖고 시작한 연구가 방대한 양의 데이터를 처리하는 기술 연구로 이어지게 됐다”며, “이번 연구로 확보한 관계형 데이터 처리 기술은 향후 커져가고 있는 데이터의 양과 그 복잡성을 고려해 볼 때, 매우 유용하게 활용될 것으로 기대하고 있다”고 말했다.

한편 이번 연구 결과는 DGIST 정보통신융합전공 남윤민 박사과정생이 제1저자로 참여했으며, 정보과학 분야에서 권위 있는 국제학술지 ‘인포메이션 사이언스(Information Sciences)’ 4월호에 게재됐다.
[박미영 기자(mypark@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>

  •  
  • 0
  • 페이스북 보내기 트위터 보내기 네이버 밴드 보내기 카카오 스토리 보내기


  •  SNS에서도 보안뉴스를 받아보세요!! 
IBM 파워비즈 배너 2019년2월8일~2020년2월7일까지/7월25일 수정모니터랩 파워비즈 5월 31일까지파워비즈배너 시작 11월6일 20181105-20200131
설문조사
최근 디지털 도어록이 등록되지 않은 스마트워치로 무방비로 열리는 취약점이 발견돼 이슈가 되고 있는데요. 현재 귀하의 집에 설치된 디지털 도어록의 경우 비밀번호와 함께 주로 사용하고 있는 개폐 수단은 무엇인가요?
생체인식
카드키
교통카드(티머니)
스마트워치
스마트폰
기타(댓글로)
      

이노뎁
VMS

인콘
통합관제 / 소방방재

현대틸스
팬틸트 / 카메라

파나소닉코리아
Sevurity Camera / CCTV

시큐인포
CCTV / NVR

한화테크윈
CCTV 카메라 / 영상감시

Videotec
PTZ 카메라

대명코퍼레이션
DVR / IP카메라

티제이원
영상 보안 / 출입 통제

하이크비전 코리아
CCTV / IP / NVR

원우이엔지
줌카메라

쿠도커뮤니케이션
스마트 관제 솔루션

다후아 코리아
CCTV / DVR

씨앤비텍
통합보안솔루션

지케이테코
출입통제 / 얼굴인식

아이디스
DVR / IP / VMS

한국하니웰
CCTV / DVR

이화트론
DVR / IP / CCTV

경인씨엔에스
CCTV / 자동복구장치

테크스피어
손혈관 / 차량하부 검색기

씨게이트
보안감시전용 드라이브

슈프리마
출입통제 / 얼굴인식

한국씨텍
PTZ CCTV

아이티엑스엠투엠
DVR / NVR / IP CAMERA

링크플로우
이동형 CCTV 솔루션

엔토스정보통신
DVR / NVR / CCTV

트루엔
IP 카메라

다민정보산업
기업형 스토리지

비전정보통신
IP카메라 / VMS / 폴

씨오피코리아
CCTV 영상 전송장비

씨엠아이텍
근태관리 소프트웨어 / 홍채 스케너

디비시스
CCTV토탈솔루션

테크어헤드
얼굴인식 소프트웨어

에스카
CCTV / 영상개선

옵티언스
IR 투광기

옵텍스코리아
실내 실외 센서

구네보코리아
보안게이트

엑사비스
사이보 보안 CCTV

화이트박스로보틱스
CCTV / 카메라

신우테크
팬틸드 / 하우징

네이즈

케이제이테크
지문 / 얼굴 출입 통제기

혜인에스앤에스
통합보안시스템

셀링스시스템
IP 카메라 / 비디오 서버

사라다
지능형 객체 인식 시스템

일산정밀
CCTV / 부품 / 윈도우

수퍼락
출입통제 시스템

아이엔아이
울타리 침입 감지 시스템

이노뎁
VMS

파이브지티
얼굴인식 시스템

새눈
CCTV 상태관리 솔루션

파이브지티
얼굴인식 시스템

케이티앤씨
CCTV / 모듈 / 도어락

다원테크
CCTV / POLE / 브라켓

티에스아이솔루션
출입 통제 솔루션

엘림광통신
광전송링크

퍼시픽솔루션
IP 카메라 / DVR

금성보안
CCTV / 출입통제 / NVR

지와이네트웍스
CCTV 영상분석

이후커뮤니케이션
CCTV / DVR

지에스티엔지니어링
게이트 / 스피드게이트

넷플로우
IP인터폰 / 방송시스템

아이유플러스
레이더 / 카메라

DK솔루션
메트릭스 / 망전송시스템

두레옵트로닉스
카메라 렌즈

에프에스네트웍스
스피드 돔 카메라

엔클라우드
VMS / 스위치

KPN
안티버그 카메라

싸이닉스
스피드 돔 카메라

대산시큐리티
CCTV 폴 / 함체 / 랙

포커스에이치앤에스
지능형 / 카메라

휴컴스
PTZ 카메라 / 줌카메라

창우
폴대

유진시스템코리아
팬틸트 / 하우징

브이유텍
플랫폼 기반 통합 NVR

글로넥스
카드리더 / 데드볼트

카티스
출입통제 / 외곽경비

세환엠에스
시큐리티 게이트

화인박스
콘트롤박스 / 배전향