요즘 데이터 적재 업무를 많이 하고 있는 나날을 보내고 있는 중에 해당 도서가 눈에 들어왔다. 데이터 메시를 처음 알지 못했지만, 후보 도서 리스트에 있기에 조사를 해본 결과 생각보다 괜찮을 것 같다라는 인식이 들었다.

물론, 실제 회사에서 해당 프로세스를 적용하기에 수 많은 어려움이 존재할 것이라는 예상이 되었지만 그럼에도 미리 알고 있으면 추후 도입을 매끄럽게 할 수 있지 않을까라는 기대감으로 해당 도서를 접하게 되었다.

먼저 현재 대부분의 회사는 데이터 팀이 전사 데이터를 중점적으로 관리하며 책에 나오듯이 분석용 데이터를 타 팀에서 요청하면 보내주는 구조로 진행되는 것으로 알고 있다.

이러한 상황에서 각 도메인(비즈니스)에 맞게 해당 팀에서 데이터를 관리하자는 메커니즘에서 비롯되는 이론이다.

해당 도서는 '다프'라는 회사를 기반으로 해당 회사가 어떻게 데이터 메시를 도입하게 되는지에 대해서 스토리 텔링을 하며 풀어나가는 부분들이 존재한다.

이러한 부분들로 인해 이해가 조금 쉽게 되는 부분들이 있다.

왜 데이터 메시를 도입해야하는가에 대한 답변의 가장 중요한 포인트는 비즈니스의 민첩성과 데이터의 복잡성을 두고 이야기를 풀어나가고 있다.

생각해보면 간단한 부분이다. 분석용 데이터를 요청하는 부서에서 지속적으로 비즈니스를 진행하며 분석을 할텐데, 분석용 데이터를 요청하고 처리하는 기간 동안 해당 부서는 기다리는 수 밖에 없다.

민첩하게 비즈니스에 데이터를 보고 대응하려면 일정 시간이 소요된다는 것이다. 해당 문제가 초반에는 괜찮지만 데이터가 많아지고 복잡해질 수록 해당 민첩성은 떨어지기 마련이다.

하여, 초반부터 어느 정도의 시점까지는 상승을 그리다가 일정 타임에 변곡점이 오게되고 해당 부분에 데이터 메시를 도입하는게 적합하다고 필자는 말하고 있다.

이러한 부분들을 고려하며 데이터 메시를 도입하면 좋을 것 같고 여러 사례를 기반으로 설명해주는 도서여서 실무에도 굉장히 도움이 될 것 같은 책이었다.

앞으로의 데이터 아키텍처가 어떤지 알 수 있다.

책은 '다프'라는 가상의 음악 스트리밍 회사를 가정한다. 가상의 회사를 기반으로 데이터 메시를 활용한 경우와 아닌 경우를 실례로 비교해서 설명해준다. 따라가기 쉽고 어떤 구조로 회사에서 데이터 팀을 운영하면 좋을지 힌트를 얻을 수 있다.

실제로 중앙집권적인 데이터 팀 구성의 경우 책에 나온 것처럼 새롭게 만들어야 ETL이나 데이터의 최신성 문제 등이 현장에서 문제가 될 것이다. 각 팀이 해야 되는 업무가 도메인 중심이 아니라 역할 중심으로 짜여져 있다보니 실제 데이터를 주무를 때 도메인이 깊게 들어가는 영역(아마 대부분이 이러지 싶다)을 맞닥뜨리면 이것저것을 하느라 업무가 늘어지는 경향이 있다. 하지만 초기 데이터 팀을 구성할 때 겪어야 할 시행착오라고 생각한다. 다양하고 큰 데이터를 처리해야 할 필요가 늘어남에 따라 데이터 메시 구조가 필요해졌다.

저자는 이 병목현상을 지금의 중앙 데이터팀과 모놀리식 아키텍처의 한계라고 지적한다. 그러면서 데이터 메시로 넘어가면 각 도메인마다 엔드투엔드 팀이 있기 때문에 책임의 경계가 명확하고 책임감을 공유할 수 있다고 설명한다. 일견 동의하는 바이지만 다른 의미로는 팀 간 알력다툼이 있을 수 있고(더 유리한 팀이 분명 생길 것이므로) 각 팀이 드림팀이 되기 위해 무한경쟁을 할 수도 있다. 다시 말해 데이터 원팀이 되는 게 아니라 팀간 데이터 경쟁을 부추길 수도 있으며 회사에서 특정 도메인이 더이상 필요가 없거나 성과가 지속적으로 나지 않으면 해당 도메인 팀을 모두 해고할 수도 있겠다. 

하지만 확실히 이제 앞으로 몇 년간은 책에서 제시하는 데이터 메시로 데이터 팀이 재편될 가능성이 높다. 지금처럼 데이터 팀이 많은 부담을 안으면서 야근을 밥먹듯이 하는 게 과연 효율적인가 하는 의문이 지속되기 때문이다. 작업, 대응 속도가 간혹 문제가 되기도 하고 무슨 이슈가 하나라도 생기면 그걸 해결하느라 업무가 순간 올스탑되는 일은 그닥 좋아보이진 않는다. 차라리 책임은 분산시키고 각 팀을 p2p 형식으로 묶어서 유기적으로 결과를 공유하는 편이 향후에는 낫겠다.

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

0. 도서 정보

 1) 도서명 : 데이터 메시, 효과적인 데이터 활용을 위한 데이터 메시 도입

 2) 저자 : 세막 데그하니

 3) 링크

1. 후기

 - 해당 도서는 총 5부로 이루어져 있으며, 데이터 메시의 정의부터 왜 데이터 메시를 사용해야 하며, 해당 데이터 메시는 어떻게 설계하는 지에 서술하고 있다. 각 정의 및 아키텍쳐는 삽화를 통해 하고자 하는 이야기를 풀어서 설명하고 있다. 데이터 메시 및 아키텍쳐에 대한 설명은 존재하나 예시 및 코드를 통한 실습으로 이루어지지는 않았기에 실무에 적용하기에는 부족한 부분이 존재한다.

요즘 데이터에 대한 관심이 어느때보다 더 뜨거운 것 같습니다. 우리는 알파고에서 시작해서 ChatGPT까지 여러 인공지능 및 머신러닝의 변화 과정을 지켜보고 있습니다. 어느때는 동료들과 기술발전이 무섭다 라는 얘기를 하기도 합니다. 이런 기술은 어디서 기반한 것일까요? 모든 것은 데이터 기반으로 동작합니다. 이런 데이터는 기업이나 개인이나 매우 소중합니다.

기업 입장에서 데이터는 비즈니스의 성과 및 추세를 결정할 수 있는 매우 중요한 기초 자산입니다. 해당 데이터를 다루기 위해 여러가지 방법을 사용합니다. 책에서도 설명하듯 이전에는 간단한 데이터베이스로부터 분석용 데이터를 생성하고 해당 데이터를 기반으로 의사결정을 합니다. 소규모 조직에서는 이 방법이 잘 동작합니다. 하지만 기업 규모가 커질수록 이 방법은 많은 문제를 발생시킵니다. 해당 문제를 해결하기 위해 다양한 방법이 시도 되고 있고 사용되고 있습니다. 데이터 웨어하우스라는 개념, 데이터 레이크라는 개념이 여기에 해당하죠.

이 책에서 필자는 여기서 한발 더 나아간 데이터 메시라는 개념을 독자에게 선물하고 있습니다. 제가 이해한 바가 정확할지는 모르겠습니다만, 간단하게 정리해보면 다음과 같이 정의할 수 있을 것 같습니다.

기존 중앙 집중적인 데이터 처리에 대한 병목을 줄이기 위해 도메인 단위로 데이터 처리 로직을 쪼개고 서로 유기적으로 통신 가능하도록 구성하는 데이터 아키텍처

정의만 보면 간단합니다. 하지만 이 방법을 실제 기업환경에 적용하기 위해서는 많은 시행착오와 도전이 필요할 것이라 생각됩니다. 기업들은 궁극적으로는 데이터 메시를 채용할거라 생각됩니다. 요즘 같이 트렌드가 자주 바뀌는 시대에 빠른 의사결정이 중요하니까요. 데이터 메시는 빠른 의사결정 및 처리를 위한 기반이 될 것입니다.

그리고 개인적으로 이 책에서 좋았던 점은 제가 몰랐던 다양한 개념을 고수준 아키텍처 범위에서 이해하기 쉽게 설명해 주고 있는 점입니다. 특히 그림을 통해서 설명하는 방법을 많이 활용합니다.

이렇게 그림을 통해서 전체적인 구조를 살펴볼 수 있도록 하고 해당 내용을 하나씩 풀어서 설명해주는 방법은 정말 선호하는 방법입니다. 이렇게 하면 머릿속에 전체적인 그림을 그릴 수 있고 내용을 하나씩 채울 수 있기 때문입니다.

다음으로 좋았던 점은 다프라고 불리는 가상의 회사를 통해서 우리에게 예시를 통해 데이터 메시에 대한 필요성과 정의등을 설명합니다. 리뷰를 보시는 분은 위에 제가 정의한 데이터 메시의 정의가 이해가 되실까요? 대부분은 이해가 되지 않을 겁니다. 데이터 메시라고 불리는 개념을 책을 통해서 저 스스로 생각해서 정의했기 때문입니다. 이 부분은 저의 정의와 다른 독자의 정의가 다를 수 있습니다. 이러한 개념을 책에서는 바로 정의로 던지는 것이 아니라 다프라는 회사의 상황과 이를 해결하기 위해서 데이터 메시를 도입하는 과정을 보여주기 때문에 좀 더 쉽게 개념에 접근할 수 있었습니다.

이 책은 데이터 과학자, 아키텍처, 개발자 모두에게 추천합니다.

단순히 한번만 보는 것이 아닌 여러번 읽고 해당 개념을 자신의 것으로 만드는 것이 필요할 것 같습니다

?? 데이터 메시란

데이터 메시(Data Mesh)는 데이터 아키텍처를 의미해요. 기존의 중앙 집중식 데이터 관리 방식과는 달리 데이터 메시는 분산형 데이터 관리를 추구하는데요.

데이터 메시는 조직 내에서 데이터를 탈중앙화하고 독립적인 도메인 팀이 데이터를 소유하고 관리하는 신 개념으로 이해하시면 좋을 것 같아요.

? 데이터 메시 원칙

이런 데이터 메시가 운영되기 위해서는 몇가지 원칙들이 있어요.

? 도메인 팀 소유성(Domain Ownership)

데이터는 도메인 팀이 소유하고 관리해야해요. 도메인 팀이 데이터에 대한 전문성과 책임을 가져야, 데이터의 진실성과 품질을 보장할 수 있으니까요.

? 분산 데이터 인프라(Distributed Data Infrastructure)

데이터 메시는 중앙 집중식 데이터 스토어 대신 분산 데이터 인프라를 사용해요.

도메인 팀은 자유롭게 데이터를 저장하고 처리할 수 있고, 이런 과정을 통해 데이터의 확장성과 유연성을 높일 수 있거든요.

? 왜 데이터 메시인가?

데이터 메시는 대규모의 분산 데이터를 효율적으로 관리하고 활용하기 위한 아키텍쳐예요. 때문에 관리 시스템의 개념으로 최근 가장 이슈가 되고 있는데요.

데이터 메시를 가장 잘 이해하기 위한 개념은 "변곡점"이 아닐까해요. 변곡점은 기존의 곡선의 그래프가 가지는 기울기가 변하는 점을 의미하는데요.

조직의 영향력, 복잡성의 규모 측면에서 데이터를 관리하고 접근하는 방식의 추이가 유발하는 효율성을 분석했을 때, 유의미한 지표로서 데이터 메시가 기능할 수 있는 부분에 집중하면 좋을 것 같아요.

? 추천 독자

데이터 메시는 기본적으로 소프트웨어 아키텍처, 데이버를 다루는 분들에게 적합한 책이에요. 데이터 메시에서는 데이터 메시를 기술적으로 구현하는 방법을 설명하고 있거든요.

구체적으로 도움이 되는 분들이라면, 데이터를 다루는 분들인 분석 데이터사용자, 데이터 제공자, 데이터 리더와 데이터 경영진을 꼽을 수 있을 것 같아요.

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

효과적인 데이터 활용을 위한 데이터 메시 도입 가이드 

데이터 저장, 분석, 활용 업무를 하는 도중에 데이터 아키텍처 기술인 데이터 메시를 들어보았고 데이터 메시 창시자 집필(세막 데그하니 지음)의 한빛미디어의 "데이터 메시" 책을 읽어 보게 되었습니다. 

우선 데이터 메시를 정의하면 분산 아키텍처 프레임 워크를 사용하여 데이터 관리에 대한 접근방식 기술, 형식, 전략 등 이라고 이야기 할 수 있습니다. 

우선 "데이터 메시" 책은 데이터 메시의 전반적인 원칙 설명으로 시작하여 메시 아키텍처 설계 방법, 데이터 프로덕트 아키텍처의 설계 방법으로 설명하면서 최종적으로 회사에서 어떻게 데이터 메시를 받아들이고 어떻게 변화할 수 있는지 설명하고 있습니다. 

전반적으로 "데이터 메시" 책을 통해 회사에서 어떻게 도입하고 어떤 전략이 필요한지 메시의 절차를 설명하고 있다고 생각합니다. "데이터 메시" 책에서 가상의 회사 다프를 통해 메시 아키텍처의 본질을 설명하고 있습니다. 

"데이터 메시" 책은 총 5부 16장으로 구성되어 있습니다. 

1부. 데이터 메시란

에서는 데이터 메시의 개념과 데이터 메시의 4대 원칙(데이터 도메인 오너십 원칙, 제품으로서의 데이터 원칙, 셀프 서비스 데이터 플랫폼의 원칙, 연합 컴퓨팅 거버넌스의 원칙)을 설명하고 있습니다. 

2부. 왜 데이터 메시인가

에서는 데이터 메시가 필요한 이유를 설명하고 있으며 메시로 전환하는 여러 변곡점의 이야기를 설명하고 있습니다. 

3부. 데이터 메시 아키텍처의 설계 방법

에서는 데이터 메시의 논리적 아키텍처, 멀티플레인 데이터 플랫폼 아키텍처의 기술적인 면을 설명하고 있습니다. 

4부. 데이터 프로덕트 아키텍처의 설계 방법

에서는 행위 지원성, 데이터 소비, 데이터 검색등 여러 설계 방식과 관련 내용을 설명하고 있습니다. 

5부. 새로운 시작 

에서는 데이터 메시를 왜 채택해야 하는지 데이터 메시의 전략과 실행방법을 설명하고 있으며 다각적인 조직변화를 위한 내용을 설명하고 있습니다. 

"데이터 메시" 책 한권에 데이터 메시의 개념, 기술적인 부분, 도입시 생기는 문제점, 전략, 실행방법, 조직변화를 유도하는 기술적인 부분등 데이터 메시의 모든것을 담고 있다고 생각되어 집니다. 

각 부를 따라가면서 데이터 메시 도입을 위해 기본기 부터 어떤것을 봐야 하는지 상세히 알수 있었던것 같았습니다. 

현재 클라우드 환경과 데규모 데이터 베이스 시스템에서 데이터 메시를 적용하는게 이제는 실제적인 대세가 아닐까 생각합니다. 

아직 데이터 메시와 같은 시스템을 활용할 수 있는 시스템 프로젝트는 수행하지 못했지만 도메인 주도설걔, 마이크로 아키텍처 설계, 데이터 메시 설계 등을 보면서 각각의 기술이 얼마나 밀접하게 연관되어 있고 서로 시너지를 낼수 있는 방법임을 확인할 수 있었습니다. 

해당 책의 용어나 내용은 조금 어려운 설명이 있기는 했지만 "데이터 메시" 책 자체에 개별적인 설명 및 그림 그리고 최종 정리가 있어서 그래도 쉽게 데이터 메시의 전반적인 것을 알 수 있었다고 합니다. 

그림을 통해 시각적으로 데이터 메시에 대한 기술을 쉽게 접하게 구성되어 있었던것 같습니다. 

"데이터 메시" 책은 아키텍처, 데이터 베이스 설계 하시는 분들이 읽어보면 좋을것 같습니다. 

아키텍처, 데이터 베이스 종사자에게 추천합니다. 

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

데이터 메시라는 2019년 본 도서의 저자인 세막 데그하니가 창시한 개념으로 전통적인 중앙 집중식 데이터 아키텍처에 대한 대안으로 등장했습니다. 저자는 데이터 메시를 통해 데이터의 오너십을 도메인별로 조직하고, 모놀리지식 데이터 웨어하우스, 레이크를 아키텍처 적으로 분산시키며, 데이터를 제품으로 취급하여 자율적 접근이 가능하게 하는, 연합 컴퓨팅 거버넌스로 지원하는 데이터 관리 패러다임의 변화를 이야기하고 있습니다.

이러한 접근 방식은 본 도서의 다프에서 예를 들고 있는 것처럼 비즈니스 팀이 데이터의 품질, 접근성 및 보안을 담당하면서 비즈니스 목적을 중심으로 데이터를 구성하여 데이터 접근성 문제를 해결할 수 있는 아이디어입니다.

본 도서에서도 이노베이터, 얼리어댑터적 성격임을 밝히고 있듯, 데이터 메시는 아직 초기 단계에 있지만 빠르게 성숙하고 있습니다. 지속적으로 데이터 메시를 도입하면서 데이터 거버넌스 모델의 진화와 새로운 거버넌스 접근 방식이 개발될 것이라 생각됩니다. 이는 데이터 메시 구현을 위한 설계 도구나 플랫폼, 서비스 개발도 수반될 것입니다. 이에 가트너도 데이터 메시를 Hype Cycle의 Innovation Trigger에 위치 시키고 있습니다.

참고 : https://atlan.com/gartner-data-mesh/

여러 전문가들은 데이터 메시의 시장 점유 및 실현 가능성에 대해 부정적으로 보고 있는데, 개념이 성숙하기 이전에 사장되는 방식이 될 것이라는 평이 대세입니다. 2023년은 더욱 데이터 메시의 가능성이 낮다고 평가하고 있으며, 데이터 거버넌스 역량의 성숙도에 따라 중앙 집중식 접근 방식이 다시 선호될 수 있다고 이야기하고 있습니다. 이는 데이터 메시가 당면한 가장 큰 도전이자 과제라고 생각됩니다.

참고 : https://nexla.com/dasummit-2023-takeaways/

데이터 메시는 데이터 관리에 있어 혁신적인 접근 방식을 제시하고 있습니다. 저자는 특히 현대의 데이터 스택, 레이크, 웨어하우스 등 중앙 집중식 구조에 대한 문제점을 깊이 이해하고 있고, 이를 전략, 조직 및 미래지향적 아키텍처 변화를 통해 해결할 수 있는 방법론을 알기 쉽게 제안합니다. 특히 1부와 2부의 내용은 데이터를 다룬다면 꼭 알아야 하는 내용이며, 저자는 이를 이해하고 알기 쉽게 설명하고 있습니다. 저자가 제안한 데이터 메시의 구현과 적용 방법은 여전히 발전하고 있습니다.

본 도서에서  데이터 메시가 대두된 현재의 문제점, 정의, 주요 장점 등을 안내하는 도서로는 훌륭합니다. 하지만, 본 도서를 통해 데이터 접근 방식의 변화에 대한 영감을 얻을 수는 있지만 데이터 메시를 구축하는 방법을 얻을 수 없습니다.구현체가 없는 이론은 흥미롭게는 들리지만 기술의 성공을 아직 인증하지 못했다는 증거이기도 합니다. 독자가 왜 이 문제에 관심을 가져야 되는지 공감시키는 데에는 훌륭했지만 그 이상의 관심을 갖는 이들을 위해 기술적 대안을 제시해 주지는 않습니다. 어쩌면 시대를 두걸음 앞서가는 미래의 방향성을 제시해 주는 이론이라 업계를 선도하는 마이크로소프트, 구글 정도의 레벨은 되야 솔루션으로 이어질 수 있을지는 모르겠습니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

데이터 메시는 탈중앙화 된 사회 기술적 접근 방식으로서 조직 전반의 대규모적인 족잡한 환경에서 분석데이터를 공유하고 엑세스하며 관리하는 것입니다.

쉽게 말하자면,, 규모에 맞는 분석 사용 사례를 자원화하고 관리하며 액세스하기 위한 새로운 접근 방식이라고 합니다.

책에서 가상의 디지털 스트리밍 회사인 다프주식회사가 나오는데, 해당 이야기를 통하여 위에서 설명한 데이터 메시의 원리가 어떤식으로 적용되는지, 영향을 미치는지 또 조직이 성장함에 따라 증가하는 복잡성을 해결하고 많은 데이터에서 가치를 창출하고 활용하는 방법을 알려주게 됩니다.

[책소개]

데이터 레이크를 넘어 데이터 메시로!

중앙 집중식 아키텍처 한계를 넘어선 ‘데이터 메시’

- 데이터 메시 창시자가 소개하는 데이터 메시의 모든 것

- 소프트웨어의 거장이자 『리팩터링』 저자 ‘마틴 파울러’ 추천 도서

데이터 메시는 기존의 데이터 웨어하우스나 데이터 레이크와는 차별화된 혁신적인 데이터 관리 접근 방식입니다. 중앙 집중화된 구조가 아닌 분산 및 탈중앙화된 개념에 중점을 두어, 복잡하고 혼란스러운 상황에서도 조직이 대규모 데이터로부터 가치를 얻을 수 있게 도와줍니다. 이러한 특징 때문에 멀티클라우드 환경에서 데이터에 쉽게 접근할 수 있는 가장 현대적인 방법 중 하나로 각광받고 있습니다.

하지만 데이터 메시는 아직 초기 단계에 머물고 있습니다. 이 책은 데이터 메시 창시자가 '다프'라는 가상기업을 사례로 들어 기업에 데이터 메시를 도입하는 과정을 상세히 서술하고 있어, 초기 단계에 놓인 데이터 메시의 현황과 도입 과정에 대한 인사이트를 제공합니다. 따라서 이 책을 통해 초기 단계의 데이터 메시를 보다 심층적으로 이해할 수 있습니다. 매번 단일 중앙 집중식 허브를 통하지 않고도 멀티클라우드 환경에서 다양한 경로를 통해 스트리밍 데이터를 효율적으로 라이팅하는 방법을 이 책에 배울 수 있습니다. 데이터의 중앙 집중화를 벗어나는 데 관심 있는 최고 기술 책임자(CTO), 최고 디지털 책임자(CDO), 데이터 매니저, 아키텍트, 그리고 엔지니어에게 이 책은 멀티클라우드 시대의 필수 안내서가 되어줄 것입니다.

[주요 내용]

- 데이터 메시 아키텍처의 4가지 원칙

- 데이터 메시 아키텍처 및 데이터 프로덕트 아키텍처 설계

- 데이터 메시 전략 가이드

- 데이터 관리, 거버닝 및 관찰 설계

- 데이터 웨어하우스와 데이터 레이크를 넘어 분산형 데이터 메시로의 전환

[서평]

이 책은 데이터 메시 아키텍처를 소개하고, 이를 효과적으로 도입하기 위한 가이드를 제공한다. 데이터 메시 아키텍처는 대규모로 분산된 데이터를 효과적으로 관리하고 활용하기 위한 접근 방법이다.

이 책은 데이터 메시 아키텍처의 4가지 원칙을 소개하고, 데이터 메시 아키텍처 및 데이터 프로덕트 아키텍처 설계 방법을 안내한다. 또, 데이터 메시 전략 가이드와 데이터 관리, 거버닝 및 관찰 설계 방법을 제공한다.

데이터 웨어하우스와 데이터 레이크를 넘어 분산형 데이터 메시로의 전환에 대한 내용도 다루고 있다.

이 책은 데이터 메시를 기술적으로 어떻게 구현해야 하는지를 자세하게 설명하고 있으며, 멀티 클라우드 환경에서 효율적으로 데이터를 운영하고 분산형 데이터 메시로 전환하는 방법을 습득할 수 있도록 도와준다.

데이터 메시 아키텍처를 도입하고자 하는 기업이나 개인에게 매우 유용한 책이다. 데이터 메시 아키텍처를 이해하고, 이를 효과적으로 도입하는 데 필요한 지식과 노하우를 얻을 수 있을 것이다.

 "한빛미디어 리뷰어 활동을 위해서 책을 제공받아 작성된 서평입니다."

데이터 메시 아키텍처는 데이터를 분산시켜 영업 또는 고객 지원과 같은 부서가 데이터 소유권을 행사할 수 있는 환경을 조성하는 새로운 전략으로 알려져 있는데요. 기업 내 서로 다른 부서에서 발생하는 데이터 간의 일관성을 확립하는 게 주된 목적입니다.

이번에 한빛미디어 오라일리(O'Reilly) 시리즈 데이터 메시를 통해 기업의 데이터 아키텍처는 어떻게 변화해야 하는지 확실하게 알아 갈 수 있습니다. 창시자가 직접 안내하는 데이터 메시의 A부터 Z까지인 도입 전후 변화와 전략까지 데이터 메시의 모든 내용을 담고 있습니다.

1부 데이터 메시의 4대 원칙을 통해서 데이터 메시를 시작해야 하는 이유, 데이터 메시 4대 원칙, 데이터 메시 아키텍처 설계 등 원칙을 통해 데이터 메시를 고수준 모델로 구성하는 과정에 대해 알아 갈 수 있습니다. 데이터 메시의 원칙은 서로 기반으로 하므로 소개하는 순서를 중요하게 생각합니다. 무엇보다 도메인별로 데이터를 소유하는 아키텍처를 이루도록 하는 접근 방식을 잘 기억하시길 바랍니다.

2부 왜 데이터 메시인가 주제로 모든 조직이 데이터메 시를 도입해야 하는 이유를 상세하게 설명하고 있습니다. 조직을 변환하는 건 쉬운 일이 아니며, 시간과 비용도 고려해야 하는 사항인데요. 과거 아키텍처의 진화적 접근 방식이 더 이상 제공하지 않는 티핑 포인트에 도달하게 해준 과정에 대해 분석합니다. 데이터 메시를 도입함으로써 나타난 결과와 해당 결과에 어떻게 도달했는지 대한 설명, 분석 데이터 관리 아키텍처의 역사에 흥망석쇠가 일어나는 요인을 확인할 수 있습니다.

3부 데이터 메시 아키텍처의 설계 방법을 통해 데이터 메시를 기술적으로 구현할 수 있는 아키텍처를 모델링하는 단계입니다. 직관적인 그림으로 복잡한 개념을 이해하기 쉽게 시각적으로 설명합니다. 저자가 직접 그린 그림을 보면서 이론에 대해 쉽게 접근할 수 있는 장점이 있습니다. 이뿐만 아니라 데이터 메시가 아직 낯선 독자를 위해 원서에 없는 역자의 주석 추가 제공을 통해 내용을 더 깊게 이해할 수 있는 기회가 될 수 있습니다.

4부 데이터 프로덕트 아키텍처의 설계 방법에선 데이터 프로덕트는 데이터 메시의 핵심 개념과 아키텍처적인 관점에서 데이터 프로덕트는 아키텍처 퀀텀처럼 설계되어 있는데요. 데이터 퀀텀은 제품으로서의 데이터를 처리하고 공유하는 데 필요한 동작과 구조적 구성요소를 데이터 메시 내 다른 데이터 퀀텀으로 연결합니다. 또한, 데이터 프로덕트 설계에 대한 접근 방식 소개, 데이터 프로덕트가 다양한 사용자를 위해 데이터를 소비, 변환, 제공하는 방법에 대한 설명도 담겨 있습니다.

5부 데이터 메시가 조직의 변환에 어떤 영향을 미치는가 주제로 데이터 전략을 통해 데이터 아키텍처를 다각적으로 변화시키는 방법을 안내하기 위한 고수준 접근 방식에 대한 설명으로 시작합니다.  데이터 메시를 점진적으로 채택하여 플랫폼 특성을 성숙시키는 동시에 점점 더 많은 데이터 프로덕트에서 가치를 창출하는 진화적 접근 방식, 데이터 오너십과 P2P 방식의 데이터 공유 기능을 장기적으로 창출하기 위해 팀과 역할, 그리고 성과 차원에서 몇 가지 변화해야 할 사항을 다룹니다.

데이터 메시를 통해 가상 기업 다프의 사례를 통해 데이터 메시 도입 영향을 차근차근 알아갈 수 있습니다. 조직이 성장함에 따라 빠르게 증가하는 복잡성을 해결하고 대규모 데이터에서 가치 창출을 달성할 수 있습니다. 데이터를 최대한 활용한 모든 독자에게 최적의 방법과 방향을 찾아가시길 바랍니다.

   "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

"한빛미디어<나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

이번에도 지난번과 마찬가지로 사내 스터디에 도움이 될만한 책으로 서평 도서를 골라보았다.

하둡 시스템 구성과 시각화까지 서비스하는 업무가 메인인 회사에서 빅데이터의 다음 행보에 관한 내용은 상당히 중요하고 그에관한 도서라면 충분히 향후 업무에 도움이 될 것이라 생각 했다.

데이터 메시(메쉬가 맞지 않나?)를 설명하려면 기존의 데이터를 다루거나 관리하는 방식에 대해서 한번 볼 필요가 있을것 같다.

예전, 지금도 많이 사용하고 있는 RDBMS 를 기반으로 하는 데이터베이스는 모든 데이터를 한곳에 모아 관리하며, 로우데이터(?)나 살짝 가공된 운영데이터를 관리 하는것에 중점을 두고 있다고 생각한다.

통계등의 분석은 그때그때 어플리케이션들이 데이터를 가지고 와서 생성하여 사용자에게 제공하고 있다.

빅데이터 시스템의 경우....(사실 회사 주 업무가 하둡기반 빅데이터 시스템 운영 및 유지보수 이긴 하지만 내 업무 중 이쪽 업무 비중은 매우 낮은 편이다.) 어떤 데이터를 수집하고 사용하는지에 따라 다르겠지만 현재까지 대부분의 경우에는 기존 RDBMS때와 마찬가지로 중앙집중식으로 데이터를 관리하고 있다고 보는것이 맞을 듯 하다.

아무래도 기존 설계방식을 따르면서 데이터의 종류와 양만 어마어마 하게 늘어난게 현재 대부분의 빅데이터 시스템 이다 보니...

내가 본게 그런게 다라서 그런가...여튼...

데이터메시는 기존과 반대로 설계를 한다.

업무 도메인 별로 각 도메인별 데이터를 직접 관리하고 필요한 경우 데이터를 주고 받으며 사용한다.

로우 데이터나 운영 데이터 보다는 분석 데이터에 중점을 두고...운영 한다고 하는데 사실 직접 해보진 않아서 정확하게 와 닿지는 않았다.

이 책은 프롤로그를 반드시 읽어 보기를 추천한다.

가상의 음악 및 오디오 스트리밍 회사인 다프라는 회사에서 데이터 메시를 구현하여 사용하는 내용으로 데이터 메시의 전반적 개념과 운영 방법 등에 대해서 얘기를 시작 하고 있다.

사실 프롤로그 까지만 읽어도 데이터 메시가 무엇인지, 어떻게 이루어 지는지에 대한 어렴풋한(?) 개념은 잡을 수 있었던 것 같다.

프롤로그에서 다프라는 회사가 기존에 데이터를 다루는 방식에서 데이터 메시로 전환 하면서 어디가 어떻게 달라 졌는지, 어떤 방식으로 변화 하였는지를 설명하며 데이터 메시에 대한 이야기를 해 주고 있다.

이후 부터는 본격적으로 데이터 메시를 설명하고있다.

1~5부까지 나누어져 있는데 각각 소개 하면 다음과 같다.

1부 - 데이터 메시란

데이터 메시를 요약하고 데이터 메시의 네가지 원칙에 대하여 설명하는 내용이다. 뒤에 나오는 내용들에 비해 가장 이론적인 내용이 아닐까 싶다.

2부 - 왜 데이터 메시인가

비즈니스의 변화에 따른 전략적 이유로 기존의 데이터에 접근 하는 방식에서 데이터 메시로 바뀌어야 하는 이유를 설명하는 내용이다.

예전보다 비즈니스의 복잡도나 변동성이 증가 했다는 것에 그 이유를 두고 있다.

책 전체에서 가장 많은 비중을 차지하는 내용이다.

3부 - 데이터 메시 아키텍처의 설계 방법

말 그대로 아키텍처의 설계에 관한 내용을 다루고 있다.

중앙집중식에서 도메인별로 나누어 관리 하는 방법으로 바뀌기 때문에 당연히 아키텍쳐 설계에 대한 내용을 다루는 것 같다.

4부 - 데이터 프로덕트 아키텍처의 설계 방법

앞에서도 설계를 다루었는데 다시 설계 방법 이라고 나와서 의아할 수 도 있을듯 하다.

앞에서의 설계는 데이터 메시에 대한 설계이고 4부에서 다루는 내용은 데이터 프로덕트의 설계이다.

데이터 메시에서는 데이터의 제품화? 에 대한 이야기를 하고 있다.

중앙집중 식으로 데이터를 관리 하지 않고 도메인 별로 관리를 하기 때문에 다른 도메인에서 필요로 하여 데이터를 제공 하는 경우에 대한 데이터를 데이터 프로덕트라고 표현 하는 것 같았다.(늙어서 그런가 요즘 뭘 한번에 이해 하는게 잘 없는거 같다 ㅠㅠ)

따라서 데이터의 관리를 위한 설계가 아니라 데이터를 소비 하기 위한 설계라고 보면 이해가...(내가 이해 한거 설명해서 이해 시키는게 확실히 힘들구나...)

내용은 데이터의 제공, 소비, 변환, 검색 을 위한 데이터 구성 설계에 대한 것 들이다.

5부 - 새로운 시작

데이터 메시의 도입에 관한 내용이다.

앞서 내용들을 보면 당연히 도입 하는 것이 좋은 것 처럼 보이지만 책에서는 데이터 메시를 도입하기 전에 충분히 고려 해야 할 8가지 항목을 설명하고 있다. (신기술을 적용 하는것이 늘 좋기만 한 것은 아니니까)

그리고 마지막으로 데이터 메시를 위한 조직과 문화에 대한 얘기로 마무리를 짓는다.

이번 책은 특징이 있다면 매 장 마지막에 정리하기라는 내용이 있다.

코드 한줄 없이 이론적인 내용만 다루는 책이라 죽~ 읽다가 보면 크게 기억에 남지 않는 문제가 있다.(나만 그런가?)

그래서 매 장 마지막 정리하기에 있는 요약은 책을 이해하는데 상당히 도움이 되는것 같았다.

먼저 읽고 정리하기를 봐도 괜찮고, 정리하기를 먼저 보고 앞에 내용을 읽어 보는 방법도 괜찮은 것 같았다.

마무리를 하자면...중앙집중식 데이터 관리에서 비즈니스 도메인별로 데이터를 분산하는 데이터 메시라는 새로운 패러다임? 이 등장 했고 그 패러다임에 대한 내용 설명 이라고 하면 정리가 될까 싶다.

이론에 대한 기나긴 설명만 있으면 책을 읽어 내려 가기가 힘들어 지는데 다행이 각 장 마지막 부분에 요약을 잘 해놓아서, 그나마 쉽게? 읽을 수 있었던 데이터에 대한 새로운 개념을 다룬 책이 었던 것 같다.