한빛출판네트워크

"데이터 메시란 무엇인가요?"

수십 년 동안 대기업에서 소프트웨어 개발에 참여하면서 데이터 관리는 항상 아키텍처의 주요 이슈였습니다. 일을 시작한 지 얼마되지 않았을 때는 단일 전사적^{single enterprise-wide} 데이터 모델에 대해 관심이 많아, 종종 모든 데이터를 전사적 데이터베이스 하나에 저장하는 경우가 많았습니다. 하지만 수많은 애플리케이션이 전사적 데이터베이스 하나에 임시로 결합하면서 과다하게 액세스하는 것은 곧 재앙이라는 것을 알게 되었습니다. 이 문제뿐만 아니라 더 심각한 다른 문제들도 존재했습니다. 

바로 기업의 핵심 아이디어(고객 등)를 구현할 때 비즈니스 단위마다 서로 다른 데이터 모델이 필요했다는 것입니다. 설상가상으로 기업 인수 과정에서 타 기업으로부터 도입된 데이터에 의해 기존 데이터 모델의 복잡성이 증가하여 데이터를 관리하는 게 더 어려워졌습니다.

이에 몇몇 기업들은 데이터 스토리지, 데이터 모델링, 데이터 관리 기능을 여러 가지 비즈니스 도메인별로 탈중앙화시킴으로써 현명하게 대처했습니다. 이렇게 하면 도메인별로 데이터를 가장 잘 이해하는 사람이 데이터를 관리할 책임을 갖게 됩니다. 이들은 잘 정의된 API를 통해 다른 도메인과 협업합니다. 이러한 API로 다른 도메인과 정보를 주고받음으로써 데이터가 공유되는 방식과 데이터를 관리하는 방식에 대한 유연성을 확보할 수 있습니다.

이러한 방식이 일상적인 운영에서 점점 더 많이 사용되고 있지만, 데이터 분석은 여전히 중앙 집중식으로 운영되고 있습니다. 데이터 웨어하우스는 선별된 중요 정보의 엔터프라이즈 리포지토리를 큐레이팅하는 것을 목표로 했습니다. 그러나 이러한 중앙 집중식 그룹은 데이터나 소비자의 요구 사항을 잘 이해하지 못하는 경우가 많아 고객이 원하는 결과를 전달하는 데 어려움을 겪었습니다. 이러한 해결책으로 당시 차세대 아키텍처인 데이터 레이크는 미가공 데이터에 대한 액세스를 대중화하여 분석가가 소스에 더 가까이 다가갈 수 있게 해주었습니다. 그런데 정형화되지 않은 데이터가 들어온 탓일까요? 데이터가 관리되지 않아 출처가 불명확했고 이해하기 어려운 데이터 스웜프^{data swamp}가 되어버렸습니다.

데이터 메시^{data mesh}는 운영 데이터에서 얻은 교훈을 분석 데이터의 세계에도 적용하고 있습니다. 비즈니스의 각 도메인은 운영 데이터와 동일한 방식으로 API를 통해 분석 데이터를 퍼블리싱합니다. 이때 데이터를 일급 프로덕트처럼 취급하면서 데이터의 의미와 출처를 소비자에게 전달함으로써 데이터 소비자가 데이터 메시를 원활하게 사용할 수 있도록 합니다. 이러한 과정을 실현하려면 기업은 데이터 프로덕트를 빌드하고 퍼블리싱할 수 있는 플랫폼과 함께 연합된 거버넌스 구조를 제공해야 합니다. 데이터 메시의 바탕에는 비즈니스의 니즈가 변화함에 따라 플랫폼과 프로덕트가 신속하게 변화할 수 있을 만큼 기술적으로 우수해야 한다는 인식이 깔려 있습니다.

데이터 메시란 본질적으로 기존에 잘 정립된 데이터 관리 원칙을 꽤나 단순한, 어쩌면 당연한 방식으로 분석 데이터의 세계에 적용한 것입니다. 그러나 대다수의 벤더는 여전히 중앙 집중식 모델에 집중적으로 투자하고 있습니다. 중앙 집중식 모델에서는 운영 시스템 개발자에게 건전한 소프트웨어를 만들기 위해 필요한 관행(테스트, 추상화 빌드, 리팩터링 등)을 지원하지 않습니다. 그렇기에 데이터 메시를 구현하는 데에는 더욱 많은 노력이 수반됩니다.

데이터 메시를 구현하는 과정에서 겪은 수많은 성공과 실패가 이 책 한 권에 모두 담겨 있습니다. 데이터 메시를 채택하는 얼리 어답터 단계에서 세막과 동료들이 일궈낸 지식을 엿볼 수 있습니다. 

이 책을 검토하면서 실용적인 어려움을 극복하는 과정에 대해 많은 것을 배울 수 있었습니다. 조직의 데이터 리소스를 최대한으로 활용하는 것에 관심이 있는 사람에게 이 책은 최적의 방법과 방향을 제시해주는 가이드가 되어줄 것입니다.

마틴 파울러 Martin Fowler

쏘우트웍스 수석 과학자

이 글은 <데이터 메시>에 대한 마틴 파울러의 추천사를 발췌한 글입니다. 데이터 메시 창시자, 세막 데그하니가 직접 알려주는 효과적인 데이터 활용을 위한 데이터 메시 도입 가이드는 아래 도서에서 더욱 자세히 확인하실 수 있습니다.

<데이터 메시>