.jpg)
.jpg)
데이터를 최대한 효과적으로 활용하게 해 주는 기술들이 끊임없이 개발되고 있다. 데이터 저장 기술도 지속적인 혁신이 일어나는 분야 중 하나다. 현재 가장 많이 언급되고 기대받고 있는 기술들에는 뭐가 있을까? 다섯 가지를 꼽아 본다.
[보안뉴스 문가용 기자] 기업들 내에서 쌓여가는 데이터의 양이 상상을 아득히 넘어서고 있다. 사람(직원과 고객), 사업 프로세스, 차량, 각종 장비 등에서 쉴새 없이 데이터가 쏟아져 들어오기 때문이다. 이런 상황에서 ‘도대체 이 많은 정보를 어디에 둬야 안전하고 유용하게 활용할 수 있을까’하는 의문이 드는 건 당연하다.
지난 5년 동안 데이터 스토리지 산업은 혁명적으로 바뀌었다. 그리고 그 혁명은 지금도 지속되고 있으며, 범위도 점점 확대되고 있다. 과거 데이터 스토리지와 관련된 고민은 ‘하드웨어 이슈’, ‘용량과 속도’라는 것에 국한되어 있었다. 하지만 클라우드 및 다양한 스토리지 기술 혁신이 일어나면서 시장의 판도가 전혀 다른 방향으로 흘러가기 시작했다.
“이제 스토리지는 소프트웨어 문제에 가깝습니다. 소프트웨어 정의 스토리지(software-defined storage), 소프트웨어 관리 가상화(software managing virtualization)는 물론 인공지능과 머신러닝까지 결합해 스토리지 최적화까지 이뤄내니까요.” 테크놀로지 컨설팅 업체인 프로티비티(Protiviti)의 총괄인 스콧 골든(Scott Golden)의 설명이다. 최근 집중 조명 받고 있는 데이터 스토리지 기술들에 대하여 이번 주말판을 통해 알아보았다.
1. 데이터 레이크(data lake)
대규모 데이터셋에서부터 적절한 데이터 처리를 해냄으로써 가치를 창출하는 데 도움을 주는 기술로서 최근 들어 떠오르기 시작한 개념은 바로 ‘데이터 레이크’다. 골든은 데이터 레이크에 대해 “클라우드 서비스와 소프트웨어 솔루션들을 활용해 데이터들로부터 더 높은 가치를 끌어내는 기술”이라고 말한다.
“애저 ADL(Azure ADL)이나 아마존 S3와 같은 서비스들이 대표적은 데이터 레이크입니다. 구조화, 반구조화, 비구조화 된 모든 데이터를 대용량으로 저장하되, 이를 나중에 검색하거나 회수하기 좋은 방식을 채용하는 것이죠. 대용량 저장과 쉬운 검색 및 회수가 데이터 레이크의 특징입니다.”
2. 데이터 가상화(data virtualization)
데이터 가상화는 수많은 시스템들에서 데이터 쿼리를 진행할 수 있도록 해 주는 기술이다. 이 때 데이터의 복사나 복제는 필요 없다. 때문에 분석을 보다 간단하게 진행할 수 있다. 사용자들이 항상 최신 데이터에 대한 쿼리를 진행하기 때문에 보다 정확한 결과를 빠른 시간 안에 만들어 낸다. “결국 데이터 저장을 한 번만 하면 되고, 분석, 거래, 조사 등 데이터 사용 목적이나 방식에 따라 복사/복제 하거나 데이터 구조를 일일이 바꿔야 할 필요가 없다는 뜻이 됩니다.” 딜로이트 컨설팅(Deloitte Consulting)의 클라우드 전략 책임자인 데이비드 린티컴(David Linthicum)의 설명이다.
데이터 가상화라는 개념이 등장하고 기술이 개발된 것이 대단히 최근의 일은 아니다. 하지만 최근 들어 데이터가 대량으로 생산되고 활용됨에 따라 주목을 받기 시작했다. 그러면서 단점들도 발굴되고 있는데, 추상화나 데이터 매핑이 지나치게 복잡할 경우 오히려 성능이 떨어지며 따라서 보다 강력한 프로세싱 파워를 요구하게 된다는 것이다. 또한 학습과 훈련 시간이 더 필요하다는 점도 지적받고 있다고 린티컴은 지적했다.
3. 하이퍼컨버지드 스토리지(hyper-converged storage)
하이퍼컨버지드 스토리지 역시 엊그제 나온 최신 기술은 아니다. 하지만 최근 들어 더욱 주목을 받기 시작했고, 많은 조직들이 도입하고 있다. “주로 하이퍼컨버지드 인프라스트럭처(HCI)의 일부 요소로서 활용되는 편인데, HCI는 간략히 설명해 스토리지, 컴퓨팅, 네트워킹 기능이 한 개의 시스템에 조합되어 있는 것을 말합니다.” 카네기멜론대학의 부교수인 얀 황(Yan Huang)의 설명이다.
스토리지, 컴퓨팅, 네트워킹 기능을 한 시스템에 합쳐 놓았을 때의 장점은 “데이터 저장과 처리가 유연하고 누수 없이 이뤄진다는 것”이라고 황은 말한다. “그러면서도 컴퓨팅 파워나 스토리지 용량을 독립적으로 확장시킬 수도 있습니다. 늘 한꺼번에 통합적으로 모든 부분을 확장시킬 필요가 없다는 것이죠. 이 기술은 원격 근무 체제에 대단히 적합하며, 실제로 코로나 때문에 HCI에 대한 투자가 크게 이뤄졌습니다.”
4. 연산 스토리지(computational storage)
연산 스토리지는 아직 개발 초기 단계에 있는 기술이다. 스토리지와 프로세싱을 합침으로써 애플리케이션이 스토리지 매체에서 곧바로 실행될 수 있게 한다는 개념을 가지고 있다. “연산 스토리지는 저전력 CPU들과 ASIC들을 SSD에 임베드시키는 기술로, 데이터를 이동시킬 필요가 없어져 데이터 접근 지연속도가 낮아지는 효과가 나타납니다.” 기술 서비스 제공업체인 크리블(Cribl)의 전략 부문 책임자인 닉 휴데커(Nick Heudecker)가 설명한다.
연산 스토리지는 잘 구현만 된다면 로그, 메트릭스, 트레이스, 이벤트, 드워핑 등 데이터에 대한 의존도가 높은 모든 행위를 원활하게 해 줄 수 있을 것으로 기대된다. “하지만 현재는 데이터의 검색과 처리라는 부분에서 어려움을 겪고 있습니다. 아직 초기 단계에 있어서 그런 건데, 몇 가지 문제를 해결하기만 한다면 폭발적인 도입률을 보일 수도 있다고 봅니다. 물론 먼 훗날의 일로 예상되긴 하지만요.”
문제는 이것 외에도 또 있다. 연산 스토리지 구조에 맞게 애플리케이션들의 코드를 다시 써야 한다는 것이다. “연산 스토리지가 제대로 정착하기 위해서는 적잖은 시간이 필요할 것으로 보입니다. 연산 스토리지 기술에 맞는 표준도 정립되어야 하고요. 산업 자체가 좀 더 성숙해져야 할 필요가 있습니다.”
5. DNA 데이터 스토리지
연산 스토리지보다 더 먼 미래의 일일 것 같은 스토리지 기술이 하나 더 있는데, 바로 DNA를 기반으로 하는 데이터 저장 기술이다. 합성 DNA를 활용하면 이제껏 인류가 한 번도 본적 없는 저장 밀도를 경험할 수 있을 것으로 보인다. DNA 1그램만 있어도 무려 200PB의 데이터를 저장할 수 있으니 말이다. 게다가 안정성까지 확보된다. DNA에 저장된 데이터가 오류를 일으켜 삭제되거나 조작될 가능성은 극히 낮다고 한다. 휴데커에 의하면 “DNA에 저장된 데이터는 500년 이상 보존됩니다.”
또한 DNA 데이터 스토리지는 탄소 이용율이라는 측면에서도 강점을 가지고 있다. “DNA 스토리지는 전부 자연스러운 생물학적인 과정을 통해 이뤄집니다. 탄소 배출을 최소화시키는 기술인 것이죠.” 휴데커의 설명이다. “단점이라면 DNA 드라이브를 만들 정도로 충분한 양의 합서어 DNA를 확보한다는 게 너무나 큰 비용을 요구한다는 겁니다. 이 비용 문제의 해결이 시급한 과제로 손꼽히고 있습니다.”
[국제부 문가용 기자(globoan@boannews.com)]
[보안뉴스 문가용 기자] 기업들 내에서 쌓여가는 데이터의 양이 상상을 아득히 넘어서고 있다. 사람(직원과 고객), 사업 프로세스, 차량, 각종 장비 등에서 쉴새 없이 데이터가 쏟아져 들어오기 때문이다. 이런 상황에서 ‘도대체 이 많은 정보를 어디에 둬야 안전하고 유용하게 활용할 수 있을까’하는 의문이 드는 건 당연하다.
[이미지 = utoimage]
지난 5년 동안 데이터 스토리지 산업은 혁명적으로 바뀌었다. 그리고 그 혁명은 지금도 지속되고 있으며, 범위도 점점 확대되고 있다. 과거 데이터 스토리지와 관련된 고민은 ‘하드웨어 이슈’, ‘용량과 속도’라는 것에 국한되어 있었다. 하지만 클라우드 및 다양한 스토리지 기술 혁신이 일어나면서 시장의 판도가 전혀 다른 방향으로 흘러가기 시작했다.
“이제 스토리지는 소프트웨어 문제에 가깝습니다. 소프트웨어 정의 스토리지(software-defined storage), 소프트웨어 관리 가상화(software managing virtualization)는 물론 인공지능과 머신러닝까지 결합해 스토리지 최적화까지 이뤄내니까요.” 테크놀로지 컨설팅 업체인 프로티비티(Protiviti)의 총괄인 스콧 골든(Scott Golden)의 설명이다. 최근 집중 조명 받고 있는 데이터 스토리지 기술들에 대하여 이번 주말판을 통해 알아보았다.
1. 데이터 레이크(data lake)
대규모 데이터셋에서부터 적절한 데이터 처리를 해냄으로써 가치를 창출하는 데 도움을 주는 기술로서 최근 들어 떠오르기 시작한 개념은 바로 ‘데이터 레이크’다. 골든은 데이터 레이크에 대해 “클라우드 서비스와 소프트웨어 솔루션들을 활용해 데이터들로부터 더 높은 가치를 끌어내는 기술”이라고 말한다.
“애저 ADL(Azure ADL)이나 아마존 S3와 같은 서비스들이 대표적은 데이터 레이크입니다. 구조화, 반구조화, 비구조화 된 모든 데이터를 대용량으로 저장하되, 이를 나중에 검색하거나 회수하기 좋은 방식을 채용하는 것이죠. 대용량 저장과 쉬운 검색 및 회수가 데이터 레이크의 특징입니다.”
2. 데이터 가상화(data virtualization)
데이터 가상화는 수많은 시스템들에서 데이터 쿼리를 진행할 수 있도록 해 주는 기술이다. 이 때 데이터의 복사나 복제는 필요 없다. 때문에 분석을 보다 간단하게 진행할 수 있다. 사용자들이 항상 최신 데이터에 대한 쿼리를 진행하기 때문에 보다 정확한 결과를 빠른 시간 안에 만들어 낸다. “결국 데이터 저장을 한 번만 하면 되고, 분석, 거래, 조사 등 데이터 사용 목적이나 방식에 따라 복사/복제 하거나 데이터 구조를 일일이 바꿔야 할 필요가 없다는 뜻이 됩니다.” 딜로이트 컨설팅(Deloitte Consulting)의 클라우드 전략 책임자인 데이비드 린티컴(David Linthicum)의 설명이다.
데이터 가상화라는 개념이 등장하고 기술이 개발된 것이 대단히 최근의 일은 아니다. 하지만 최근 들어 데이터가 대량으로 생산되고 활용됨에 따라 주목을 받기 시작했다. 그러면서 단점들도 발굴되고 있는데, 추상화나 데이터 매핑이 지나치게 복잡할 경우 오히려 성능이 떨어지며 따라서 보다 강력한 프로세싱 파워를 요구하게 된다는 것이다. 또한 학습과 훈련 시간이 더 필요하다는 점도 지적받고 있다고 린티컴은 지적했다.
3. 하이퍼컨버지드 스토리지(hyper-converged storage)
하이퍼컨버지드 스토리지 역시 엊그제 나온 최신 기술은 아니다. 하지만 최근 들어 더욱 주목을 받기 시작했고, 많은 조직들이 도입하고 있다. “주로 하이퍼컨버지드 인프라스트럭처(HCI)의 일부 요소로서 활용되는 편인데, HCI는 간략히 설명해 스토리지, 컴퓨팅, 네트워킹 기능이 한 개의 시스템에 조합되어 있는 것을 말합니다.” 카네기멜론대학의 부교수인 얀 황(Yan Huang)의 설명이다.
스토리지, 컴퓨팅, 네트워킹 기능을 한 시스템에 합쳐 놓았을 때의 장점은 “데이터 저장과 처리가 유연하고 누수 없이 이뤄진다는 것”이라고 황은 말한다. “그러면서도 컴퓨팅 파워나 스토리지 용량을 독립적으로 확장시킬 수도 있습니다. 늘 한꺼번에 통합적으로 모든 부분을 확장시킬 필요가 없다는 것이죠. 이 기술은 원격 근무 체제에 대단히 적합하며, 실제로 코로나 때문에 HCI에 대한 투자가 크게 이뤄졌습니다.”
4. 연산 스토리지(computational storage)
연산 스토리지는 아직 개발 초기 단계에 있는 기술이다. 스토리지와 프로세싱을 합침으로써 애플리케이션이 스토리지 매체에서 곧바로 실행될 수 있게 한다는 개념을 가지고 있다. “연산 스토리지는 저전력 CPU들과 ASIC들을 SSD에 임베드시키는 기술로, 데이터를 이동시킬 필요가 없어져 데이터 접근 지연속도가 낮아지는 효과가 나타납니다.” 기술 서비스 제공업체인 크리블(Cribl)의 전략 부문 책임자인 닉 휴데커(Nick Heudecker)가 설명한다.
연산 스토리지는 잘 구현만 된다면 로그, 메트릭스, 트레이스, 이벤트, 드워핑 등 데이터에 대한 의존도가 높은 모든 행위를 원활하게 해 줄 수 있을 것으로 기대된다. “하지만 현재는 데이터의 검색과 처리라는 부분에서 어려움을 겪고 있습니다. 아직 초기 단계에 있어서 그런 건데, 몇 가지 문제를 해결하기만 한다면 폭발적인 도입률을 보일 수도 있다고 봅니다. 물론 먼 훗날의 일로 예상되긴 하지만요.”
문제는 이것 외에도 또 있다. 연산 스토리지 구조에 맞게 애플리케이션들의 코드를 다시 써야 한다는 것이다. “연산 스토리지가 제대로 정착하기 위해서는 적잖은 시간이 필요할 것으로 보입니다. 연산 스토리지 기술에 맞는 표준도 정립되어야 하고요. 산업 자체가 좀 더 성숙해져야 할 필요가 있습니다.”
5. DNA 데이터 스토리지
연산 스토리지보다 더 먼 미래의 일일 것 같은 스토리지 기술이 하나 더 있는데, 바로 DNA를 기반으로 하는 데이터 저장 기술이다. 합성 DNA를 활용하면 이제껏 인류가 한 번도 본적 없는 저장 밀도를 경험할 수 있을 것으로 보인다. DNA 1그램만 있어도 무려 200PB의 데이터를 저장할 수 있으니 말이다. 게다가 안정성까지 확보된다. DNA에 저장된 데이터가 오류를 일으켜 삭제되거나 조작될 가능성은 극히 낮다고 한다. 휴데커에 의하면 “DNA에 저장된 데이터는 500년 이상 보존됩니다.”
또한 DNA 데이터 스토리지는 탄소 이용율이라는 측면에서도 강점을 가지고 있다. “DNA 스토리지는 전부 자연스러운 생물학적인 과정을 통해 이뤄집니다. 탄소 배출을 최소화시키는 기술인 것이죠.” 휴데커의 설명이다. “단점이라면 DNA 드라이브를 만들 정도로 충분한 양의 합서어 DNA를 확보한다는 게 너무나 큰 비용을 요구한다는 겁니다. 이 비용 문제의 해결이 시급한 과제로 손꼽히고 있습니다.”
[국제부 문가용 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-11-22] .jpg)
.jpg)
.jpg)
.jpg)
.jpg)
