SQL 프로세싱 인터페이스로 향상된 하둡 개발·운영·관리 편의성 제공
[보안뉴스 김태형] 한국EMC(대표 김경진 http://korea.emc.com)는 빅데이터 오픈 소스 플랫폼 아파치 하둡 프레임워크에 빅데이터 분석 플랫폼인 EMC 그린플럼(Greenplum) MPP(Massively Parallel Processing) 데이터베이스 기술을 통합시킨 새로운 하둡 배포판 ‘피보탈 HD(Pivotal HD)’을 출시했다고 밝혔다.
다양한 종류의 데이터 분석 도구와 언어를 단일한 형태의 SQL 인터페이스 기반으로 제공하는 ‘피보탈 HD’은 하둡의 확장성, 고가용성, 비용 효율적인 데이터 저장 및 관리 기능을 더욱 강화했다.
최근 하둡 기술은 비정형 데이터 분석 분야에서 유연성, 확장성, 저비용 등의 장점으로 각광을 받고 있지만, 복잡한 인터페이스와 하둡 개발 인력 부족으로 적용에 어려움을 겪고 있다.
완벽한 SQL 표준 쿼리 인터페이스 기반의 ‘피보탈 HD’은 하둡 파일시스템에 저장된 데이터 세트를 간편하게 쿼리하고 분석할 수 있도록 하여 고급 하둡 개발자 없이 비용 효율적이고 유연한 하둡 기술을 사용할 수 있도록 지원한다.
특히 10년에 걸친 연구개발 성과인 EMC 그린플럼의 ‘호크테크놀로지(HAWQ Technology)’가 최초로 도입되어 다양한 쿼리 및 데이터 분석에 대한 응답 속도를 하둡 기반으로 최소 100배에서 최대 600배까지 획기적으로 높였다.
‘호크 테크놀로지’는 ‘피보탈 HD’의 핵심 기술이다. 호크 테크놀로지는 쿼리엔진으로 △한 명령어의 수행이 끝나기 전에 다른 명령어의 수행을 시작하는 연산 기능인 ‘다이나믹 파이프라이닝(Dynamic Pipelining) △적은 리소스를 통해 보다 효율적으로 쿼리를 실행할 수 있는 ‘쿼리 옵티마이저(Query Optimizer) △하나의 논리적 공간을 의미하는 단일 네임 스페이스 내에서 용량과 성능의 수평적 확장을 보장하는 ‘호리젠탈 스케일링(Horizontal Scaling)’ 등 다양한 기능들을 제공하고 있다.
‘피보탈 HD’은 EMC 빅데이터 분석 플랫폼인 ‘EMC 그린플럼 DCA UAP’ 기반으로 그린플럼 데이터베이스와 함께 운영될 수 있으며, 스케일 아웃 스토리지인 ‘EMC 아이실론’의 하둡 파일시스템 프로토콜을 활용해 아이실론과 통합 구성될 수도 있다.
[김태형 기자(boan@boannews.com)]
<저작권자: 보안뉴스(http://www.boannews.com/) 무단전재-재배포금지>
김태형기자 기사보기
[2024-09-26] 
.jpg)
