데이터를 관리한다는 건 사실 데이터의 품질을 관리한다는 것과 동일한 말이다. 인공지능의 발전 덕분에 데이터 활용 가치가 더 높아지고 있는 때에 데이터 품질에 대한 고민이 깊어질 수밖에 없다.
[보안뉴스 문정후 기자] 구조화 된 데이터는 기업 내 결정 과정에서 반드시 있어야 하는 요소다. 또한 모델들을 구축할 때도, 문제의 뿌리를 찾아낼 때도, 결과를 예측할 때도, 취해야 하는 행동을 미리 기획할 때도 반드시 구조화 된 데이터가 있어야 한다. 그것도 정확하면서 신뢰할 만하고 안전하게 보호된 그런 데이터들이 말이다. 그래서인지 요 몇 년 ‘데이터 관리’를 전문으로 하는 직종에 대한 수요가 높아지는 중이다.
반면 비정형 데이터는 데이터 자체의 내용이 좋고 나쁘고를 떠나 구조를 갖추지 못했다는 사실 하나만으로도 활용이 까다롭다. 텍스트, 이미지, 영상, 소리, 음성 등의 형태로 저장된 이 데이터들은 ‘일단 나중에 쓸 지 모르니 저장해 둔다’는 의미에서 보관됐지 적극적으로 활용되지는 않고 있었다. 비교적 최근까지도 말이다.
하지만 인공지능의 비약적인 발전으로 공간만 차지하고 있던 비정형 데이터를 쓸모 있는 ‘정형 데이터’ 즉 ‘구조를 갖춘 데이터’로 전환시키는 작업이 보다 간단해지고 있다. 그러면서 그 동안 놓치고 있었던 통찰을 얻는 경우들이 하나 둘 생겨나는 중이다.
PwC의 데이터 분석가인 브렛 그린스타인(Bret Greenstein)은 “데이터는 생애주기의 어느 시점에 있는지에 따라 다른 가치를 가지고 있고, 따라서 다른 방식으로 다뤄진다”며 “수초 안에 가치가 사라지는 데이터가 있는가 하면 수개월이 지나도 동일한 가치를 유지하는 것도 있다”고 짚는다. “비정형 데이터 중에도 금방 닳아 없어지는 게 있다면 발달한 분석 기술을 통해 미리 활용하고 얼른 제거함으로써 데이터 저장 및 활용의 효율을 높일 수 있습니다.”
데이터 관리에 있어 효율성과 가치 보존도 중요하지만 데이터가 이동하면서 살이 적당하게 붙도록 하는 것도 중요하다고 그린스타인은 짚는다. “기업 내에서 특정 정보가 계속 유통되고 사용되다보면 어느 새 그 정보가 변형되면서 의미와 유용성에까지 영향을 줍니다. 살이 덧붙어서 그런 경우가 많지요. 그러니 이 부분에 대한 모니터링과 관리도 있어야 합니다.”
일부 담당자들이 혼자서 감당하기 어려워 보이는 일이다. 그렇기 때문에 클라우드의 활용이 데이터 관리에 있어 필수로 자리를 잡아가고 있다고 한다. “클라우드 업체들은 대부분 정형화 된 데이터를 한 곳에 저장하여 분류해 주는 서비스를 제공합니다. 여러 출처에서 정보를 자동으로 수집하고 자동으로 항목화 하지요. 그리고 기업이 원하는 구조에 맞춰 재구성합니다. 해당 데이터를 소비하는 사람들이 보다 편리하게 데이터를 정리할 수 있게 해 주는 것이죠.”
비정형 데이터를 그런 클라우드 서비스에 저장해 두는 것도 나쁘지 않다고 그린스타인은 강조한다. “클라우드 서비스들은 대부분 인공지능을 기반으로 한 데이터 분석 기능도 가지고 있습니다. 고급 분석과 인공지능이 결합했을 때 비정형 데이터라도 안정적으로 구조를 갖추게 됩니다. 그러므로 나중에 클라우드의 그런 서비스를 이용하려면 비정형 데이터도 같이 보관해 두는 게 좋습니다.”
데이터 관리 전략
서비스형 플랫폼 제공 업체 부미(Boomi)의 CIO 에드 맥코스키(Ed Macosky)는 “데이터 관리라는 개념 자체를 두고 통합적인 전략부터 짜야 세밀한 기술적 문제를 논할 수 있게 된다”고 강조한다. “그러려면 모든 데이터가 같은 가치를 가진 게 아니라는 걸 이해하는 게 중요합니다. 평등의 원칙은 데이터 세계에 적용되지 않아요. 그러므로 어떤 데이터는 방치해도 되고, 어떤 데이터는 많은 돈을 내더라도 치밀하게 관리해야 합니다. 그걸 결정하는 게 전략입니다.”
각 조직의 필요나 국가 규정에 따라 데이터 항목화 및 구조화의 기준이 정해진다면, 거기서부터 데이터 가치에 대한 이해도를 높일 수 있다. 그리고 그 이해도를 바탕으로 어떤 부분에 어느 수준의 보호 장치를 추가할 것인지도 결정할 수 있게 된다. “그러면서 누가 어떤 데이터를 필요로 하는지, 어떤 식의 접근법을 도입해 허용할 것인지도 결정이 되죠. 이 모든 게 데이터 관리와 보호의 전략이고 말입니다.” 맥코스키의 설명이다.
오픈소스 데이터베이스 기업인 플루리(Fluree)의 회장 엘리우드 폴랑코(Eliud Polanco)는 “데이터 생애주기 전반에 대한 총 관리”가 반드시 있어야 한다는 입장이다. “데이터가 어디서부터 공급되거나 생성됐는지, 어떤 과정을 거쳤으며 어디서 어떤 부분이 삭제되거나 추가됐는지를 사용자가 확인해서 정보의 무결성을 확인할 수 있어야 합니다. 이렇게 데이터가 생애주기 전반을 거쳐 어떻게 유지되거나 변형되어 왔는지를 투명하게 알리는 게 데이터에 대한 신뢰도를 높여줍니다.”
데이터 고민하는 임원진들
폴랑코는 “데이터 관리자가 따로 선정되었다면 최고 데이터 책임자(CDO), 최고 규정 준수 책임자(COO), CISO 등이 협력해서 가장 효과적인 데이터 관리 방안을 마련해야 한다”고 강조한다. “기술적인 바탕을 마련하는 것도 중요하지만 정책적인 방향을 잡고 세밀한 계획을 마련하는 것도 간과해서는 안 됩니다. 데이터를 보호하면서 동시에 활용하도록 하기 위해서죠. 그런 양면을 모두 생각해야 데이터의 품질이 높아집니다.”
사실 CDO나 COO, CISO의 위치에 있는 사람이라면 누구나 데이터 관리 문제를 깊이 고민해 봤을 것이다. 협력하지 않을 리가 없다. 그러니 바로 위의 문단은 있으나 마나한 내용이다. “물론 관리자들이 데이터의 중요성을 모를 리 없고 관리의 방안을 고민하지 않을 리 없습니다. 하지만 어느 태도로 데이터 관리 문제에 접근을 하고 있을까요? 전담을 하다시피 할까요, 아니면 데이터 관리 담당자에게 훈수만 두는 식으로 할까요? 이 부분에 대한 점검이 필요합니다. 처음 관리 기술을 도입하고 체계를 마련할 때는 담당 직원들과의 ‘파트너십’ 형태를 가져가는 게 좋습니다. 특히 테크놀로지 전담 부서와의 협업이 초기에는 중요합니다.”
맥코스키도 여기에 동의한다. “데이터는 조직 내 누구나 사용하는 겁니다. 그러니 데이터 관리라는 것도 문화적인 기반 위에 제대로 서야 하거든요. 조직의 문화라는 건 위에서부터 아래로 전파되어야 효과적입니다. 좋은 기업 문화는 대부분 그렇게 자리를 잡습니다. 데이터 관리도 그렇게 되어야 하고, 따라서 임원진들의 적극적인 참여를 통해 자리를 잡는 게 중요합니다.”
데이터의 잠재력 최대한 끌어내기
폴랑코는 “기업이 보관하고 있는 데이터를 최대한 끌어내려면 데이터의 상호호환성을 염두에 둔 프레임워크를 구축하고, 그런 프레임워크를 통해 활용되는 데이터의 품질을 최대한 상등급으로 유지할 수 있는 관리 체계를 구축해야 한다”고 강조한다. “데이터의 가치 사슬을 이해하고, 그 가치가 최대한 재활용 되도록 기틀을 마련해야 합니다. 그런 구조가 짜여질 때, 안전하고 신뢰할 만한 데이터가 기업 내 저장되기 시작합니다. 버릴 게 없는, 효율적인 자산을 보유하게 되는 것입니다.”
맥코스키는 정형화된 데이터와 비정형 데이터에 대한 관리 및 활용 전략이 양립하고 있어야 한다는 입장이다. “둘은 관리 방식이 완전히 다른 유형의 데이터입니다. 데이터의 가치를 살리려면 기업이 필요할 때 가장 알맞은 걸 골라서 사용할 수 있어야 하는데, 이 두 가지를 섞어서 관리하면 그렇게 하기가 힘듭니다. 그러니 두 유형의 데이터를 각각 관리할 수 있게 해 주는 기술과 담당자, 제도 모두를 마련하는 게 가장 효과적입니다.”
글 : 네이선 에디(Nathan Eddy), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
[보안뉴스 문정후 기자] 구조화 된 데이터는 기업 내 결정 과정에서 반드시 있어야 하는 요소다. 또한 모델들을 구축할 때도, 문제의 뿌리를 찾아낼 때도, 결과를 예측할 때도, 취해야 하는 행동을 미리 기획할 때도 반드시 구조화 된 데이터가 있어야 한다. 그것도 정확하면서 신뢰할 만하고 안전하게 보호된 그런 데이터들이 말이다. 그래서인지 요 몇 년 ‘데이터 관리’를 전문으로 하는 직종에 대한 수요가 높아지는 중이다.
[이미지 = gettyimagesbank]
반면 비정형 데이터는 데이터 자체의 내용이 좋고 나쁘고를 떠나 구조를 갖추지 못했다는 사실 하나만으로도 활용이 까다롭다. 텍스트, 이미지, 영상, 소리, 음성 등의 형태로 저장된 이 데이터들은 ‘일단 나중에 쓸 지 모르니 저장해 둔다’는 의미에서 보관됐지 적극적으로 활용되지는 않고 있었다. 비교적 최근까지도 말이다.
하지만 인공지능의 비약적인 발전으로 공간만 차지하고 있던 비정형 데이터를 쓸모 있는 ‘정형 데이터’ 즉 ‘구조를 갖춘 데이터’로 전환시키는 작업이 보다 간단해지고 있다. 그러면서 그 동안 놓치고 있었던 통찰을 얻는 경우들이 하나 둘 생겨나는 중이다.
PwC의 데이터 분석가인 브렛 그린스타인(Bret Greenstein)은 “데이터는 생애주기의 어느 시점에 있는지에 따라 다른 가치를 가지고 있고, 따라서 다른 방식으로 다뤄진다”며 “수초 안에 가치가 사라지는 데이터가 있는가 하면 수개월이 지나도 동일한 가치를 유지하는 것도 있다”고 짚는다. “비정형 데이터 중에도 금방 닳아 없어지는 게 있다면 발달한 분석 기술을 통해 미리 활용하고 얼른 제거함으로써 데이터 저장 및 활용의 효율을 높일 수 있습니다.”
데이터 관리에 있어 효율성과 가치 보존도 중요하지만 데이터가 이동하면서 살이 적당하게 붙도록 하는 것도 중요하다고 그린스타인은 짚는다. “기업 내에서 특정 정보가 계속 유통되고 사용되다보면 어느 새 그 정보가 변형되면서 의미와 유용성에까지 영향을 줍니다. 살이 덧붙어서 그런 경우가 많지요. 그러니 이 부분에 대한 모니터링과 관리도 있어야 합니다.”
일부 담당자들이 혼자서 감당하기 어려워 보이는 일이다. 그렇기 때문에 클라우드의 활용이 데이터 관리에 있어 필수로 자리를 잡아가고 있다고 한다. “클라우드 업체들은 대부분 정형화 된 데이터를 한 곳에 저장하여 분류해 주는 서비스를 제공합니다. 여러 출처에서 정보를 자동으로 수집하고 자동으로 항목화 하지요. 그리고 기업이 원하는 구조에 맞춰 재구성합니다. 해당 데이터를 소비하는 사람들이 보다 편리하게 데이터를 정리할 수 있게 해 주는 것이죠.”
비정형 데이터를 그런 클라우드 서비스에 저장해 두는 것도 나쁘지 않다고 그린스타인은 강조한다. “클라우드 서비스들은 대부분 인공지능을 기반으로 한 데이터 분석 기능도 가지고 있습니다. 고급 분석과 인공지능이 결합했을 때 비정형 데이터라도 안정적으로 구조를 갖추게 됩니다. 그러므로 나중에 클라우드의 그런 서비스를 이용하려면 비정형 데이터도 같이 보관해 두는 게 좋습니다.”
데이터 관리 전략
서비스형 플랫폼 제공 업체 부미(Boomi)의 CIO 에드 맥코스키(Ed Macosky)는 “데이터 관리라는 개념 자체를 두고 통합적인 전략부터 짜야 세밀한 기술적 문제를 논할 수 있게 된다”고 강조한다. “그러려면 모든 데이터가 같은 가치를 가진 게 아니라는 걸 이해하는 게 중요합니다. 평등의 원칙은 데이터 세계에 적용되지 않아요. 그러므로 어떤 데이터는 방치해도 되고, 어떤 데이터는 많은 돈을 내더라도 치밀하게 관리해야 합니다. 그걸 결정하는 게 전략입니다.”
각 조직의 필요나 국가 규정에 따라 데이터 항목화 및 구조화의 기준이 정해진다면, 거기서부터 데이터 가치에 대한 이해도를 높일 수 있다. 그리고 그 이해도를 바탕으로 어떤 부분에 어느 수준의 보호 장치를 추가할 것인지도 결정할 수 있게 된다. “그러면서 누가 어떤 데이터를 필요로 하는지, 어떤 식의 접근법을 도입해 허용할 것인지도 결정이 되죠. 이 모든 게 데이터 관리와 보호의 전략이고 말입니다.” 맥코스키의 설명이다.
오픈소스 데이터베이스 기업인 플루리(Fluree)의 회장 엘리우드 폴랑코(Eliud Polanco)는 “데이터 생애주기 전반에 대한 총 관리”가 반드시 있어야 한다는 입장이다. “데이터가 어디서부터 공급되거나 생성됐는지, 어떤 과정을 거쳤으며 어디서 어떤 부분이 삭제되거나 추가됐는지를 사용자가 확인해서 정보의 무결성을 확인할 수 있어야 합니다. 이렇게 데이터가 생애주기 전반을 거쳐 어떻게 유지되거나 변형되어 왔는지를 투명하게 알리는 게 데이터에 대한 신뢰도를 높여줍니다.”
데이터 고민하는 임원진들
폴랑코는 “데이터 관리자가 따로 선정되었다면 최고 데이터 책임자(CDO), 최고 규정 준수 책임자(COO), CISO 등이 협력해서 가장 효과적인 데이터 관리 방안을 마련해야 한다”고 강조한다. “기술적인 바탕을 마련하는 것도 중요하지만 정책적인 방향을 잡고 세밀한 계획을 마련하는 것도 간과해서는 안 됩니다. 데이터를 보호하면서 동시에 활용하도록 하기 위해서죠. 그런 양면을 모두 생각해야 데이터의 품질이 높아집니다.”
사실 CDO나 COO, CISO의 위치에 있는 사람이라면 누구나 데이터 관리 문제를 깊이 고민해 봤을 것이다. 협력하지 않을 리가 없다. 그러니 바로 위의 문단은 있으나 마나한 내용이다. “물론 관리자들이 데이터의 중요성을 모를 리 없고 관리의 방안을 고민하지 않을 리 없습니다. 하지만 어느 태도로 데이터 관리 문제에 접근을 하고 있을까요? 전담을 하다시피 할까요, 아니면 데이터 관리 담당자에게 훈수만 두는 식으로 할까요? 이 부분에 대한 점검이 필요합니다. 처음 관리 기술을 도입하고 체계를 마련할 때는 담당 직원들과의 ‘파트너십’ 형태를 가져가는 게 좋습니다. 특히 테크놀로지 전담 부서와의 협업이 초기에는 중요합니다.”
맥코스키도 여기에 동의한다. “데이터는 조직 내 누구나 사용하는 겁니다. 그러니 데이터 관리라는 것도 문화적인 기반 위에 제대로 서야 하거든요. 조직의 문화라는 건 위에서부터 아래로 전파되어야 효과적입니다. 좋은 기업 문화는 대부분 그렇게 자리를 잡습니다. 데이터 관리도 그렇게 되어야 하고, 따라서 임원진들의 적극적인 참여를 통해 자리를 잡는 게 중요합니다.”
데이터의 잠재력 최대한 끌어내기
폴랑코는 “기업이 보관하고 있는 데이터를 최대한 끌어내려면 데이터의 상호호환성을 염두에 둔 프레임워크를 구축하고, 그런 프레임워크를 통해 활용되는 데이터의 품질을 최대한 상등급으로 유지할 수 있는 관리 체계를 구축해야 한다”고 강조한다. “데이터의 가치 사슬을 이해하고, 그 가치가 최대한 재활용 되도록 기틀을 마련해야 합니다. 그런 구조가 짜여질 때, 안전하고 신뢰할 만한 데이터가 기업 내 저장되기 시작합니다. 버릴 게 없는, 효율적인 자산을 보유하게 되는 것입니다.”
맥코스키는 정형화된 데이터와 비정형 데이터에 대한 관리 및 활용 전략이 양립하고 있어야 한다는 입장이다. “둘은 관리 방식이 완전히 다른 유형의 데이터입니다. 데이터의 가치를 살리려면 기업이 필요할 때 가장 알맞은 걸 골라서 사용할 수 있어야 하는데, 이 두 가지를 섞어서 관리하면 그렇게 하기가 힘듭니다. 그러니 두 유형의 데이터를 각각 관리할 수 있게 해 주는 기술과 담당자, 제도 모두를 마련하는 게 가장 효과적입니다.”
글 : 네이선 에디(Nathan Eddy), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-05-01] 
.jpg)
