过去十年,绝大多数企业采用集中式数据平台统一采集、加工和分发数据。这套模式在数据量尚小、业务域有限时效率很高,但随着业务线增多、实时需求上升,中央团队逐渐成为瓶颈:需求排队、口径扯皮、上游变更无人负责。数据网格提出的思路是把数据的所有权和解释权交还给最懂业务的域团队,中央平台退回到提供基础设施与规则的位置。
从集中供给到域自治
数据网格通常被概括为四条原则:域所有权、数据即产品、自助式数据平台、联邦计算治理。它的核心变化不在技术栈,而在责任边界——每个业务域要对自己产出的数据质量、语义和时效负责,并像对待对外产品一样提供文档、接口和服务等级承诺。这样一来,数据消费方不必反复向中央团队解释需求,跨域协作从"提工单"变成"订阅产品"。
工程实践正在补齐配套
理念落地需要具体抓手,近期可观察到的进展集中在几个方向:
- 数据产品端口化。域团队把数据集封装成带契约、带版本、带服务水平协议的接口,消费方通过目录发现并订阅,变更走契约流程而非口头通知。
- 联邦计算治理。全局的安全、隐私与合规策略以策略即代码形式下发,各域在本地执行,既保证一致性,又保留自治空间。
- 自助平台工程。元数据目录、血缘追踪、数据可观测性、权限与成本计量被打包成内部开发者平台,域团队无需重复造轮子。
- 成本与价值可视化。数据产品被赋予使用量、计算成本与业务价值指标,让域团队看得见自己产出与消耗的账。
挑战与边界
数据网格并非银弹。域团队的数据工程能力参差不齐,容易出现重复建设、口径再次分裂;跨域实体对齐、主数据一致性仍需中央机制兜底;当数据产品数量膨胀,发现与信任成本反而可能上升。因此多数落地案例采取渐进路径:先选两三个成熟域试点,把平台能力与治理规则打磨成熟,再逐步推广,而不是一次性推翻原有平台。
从趋势看,数据网格与数据编织正在相互靠拢——前者解决组织与责任问题,后者解决自动化与元数据驱动问题。对大模型应用而言,可信、可追溯、语义清晰的数据产品,也是检索增强与智能问数能否稳定输出的前提。数据治理的重心,正从"把数据管起来"转向"让数据被可靠地生产和使用"。