분산 데이터 분석 환경에서 다양한 데이터 처리 서비스 지원
[보안뉴스 김태형] 서울대는 컴퓨터공학부 전병곤 교수가 마이크로소프트, UCLA 연구팀과 차세대 빅데이터 분석 스택 REEF(Retainable Evaluator Execution Framework)를 공동 개발해 지난 1월 오픈 소스로 공개했다고 5일 밝혔다.
REEF는 차세대 하둡의 자원 관리기능인 얀(YARN)에서 빅데이터 애플리케이션을 쉽게 개발할 수 있게 통합된 레이어로 구성돼 있다. 분산 데이터 분석 환경에서 기존의 자원을 활용해 다양한 데이터 처리 서비스를 지원하는 것이 강점. 기계 학습, 그래프 처리, 실시간 처리 등을 매우 효율적으로 작업할 수 있다.
따라서 REEF를 사용하면 새로운 데이터 처리 애플리케이션을 훨씬 쉽게 개발할 수 있으며, 기존의 프레임워크를 연결해 활용할 수도 있어 편리하다. 또 서로 다른 데이터 처리 프레임워크들을 통합해 최적화된 데이터 처리 워크플로우를 지원함으로써 데이터 센터 운용비용을 절감하고 전체 분석 시간을 단축할 수 있다.
전병곤 교수는 “이번 REEF는 국내에서도 빅데이터 분석 플랫폼 기반기술을 확보해 빅데이터를 더 효율적으로 분석하도록 만들었다는 데 의의가 있다”며, “앞으로도 빅데이터 분석 플랫폼 전체 스택에 대한 연구를 활발히 진행할 것”이라고 밝혔다.
REEF에 대한 전반적인 소개와 사용 방법은 REEF 홈페이지(www.reef-project.org)에 소개돼 있다. 코드는 아파치 라이선스 2로 공개돼 있으며 Github을 사용해 접근할 수 있다.
전 교수는 서울대 전자공학과를 졸업하고 미국 스탠퍼드대와 캘리포니아대 버클리에서 컴퓨터 공학 석사, 박사학위를 받았다. 인텔, 야후, 마이크로소프트 등 현업에서 활발히 활동하다가 지난해 서울대에 조교수로 부임하며 후학 양성에 힘을 쏟고 있다.
[김태형 기자(boan@boannews.com)]
<저작권자: 보안뉴스(http://www.boannews.com/) 무단전재-재배포금지>
김태형기자 기사보기
[2024-05-17] 
.jpg)
.jpg)
