过去十年,企业谈大数据更多关心容量、性能与实时性,成本往往被排在末位。当数据规模从TB级跃升到PB级,云上存储、计算、网络以及人力支出同步放大,“数据越用越贵”正在成为数据团队与财务部门共同面对的难题。近期部分云厂商调整计费方式,一些企业开始设立数据成本专岗,大数据成本治理由此从幕后走向台前。
成本为何容易失控
大数据成本的特殊性在于它高度间接。一次建模实验、一张宽表、一个临时查询都会产生真实账单,却很难对应到具体业务收益。常见的失控点集中在几处:
- 重复存储。同一份原始数据在多个业务域各留一份副本,长期无人清理。
- 全量计算。为求稳妥,任务动辄全表扫描,增量与抽样反而成了例外。
- 资源常驻。集群按峰值配置,低谷时段的算力大量闲置。
- 僵尸任务。上线后再无人使用的调度作业持续消耗资源,且无人认领。
这些问题单独看都不大,叠加之后就会形成一条持续上扬的成本曲线。
先让成本可见,再谈优化
治理的第一步是可见性。传统账单只到账号或集群粒度,数据团队看不到“谁在用、为什么用”。目前较为成熟的做法是把云账单与调度系统、数据血缘打通,将费用按任务、表、业务域逐层分摊,形成单位数据的成本标签。有了这层映射,团队才能回答关键问题:哪些表存储成本高但近半年无人查询,哪些任务消耗了最多算力却只服务一个小报表。
可见之后,还需要价值口径。越来越多企业尝试用“每万元成本支撑的活跃数据资产数”“单次查询的平均成本”等指标替代单纯的费用绝对值,避免优化变成简单削减,反而伤及业务。
技术手段与机制建设并行
技术侧的抓手已相对清晰。冷热分层把长期不访问的数据沉到低成本存储;存算分离让计算按需弹性伸缩,避免为峰值长期付费;小文件合并与分区裁剪能显著降低扫描量;查询治理则通过规范、限流与物化视图,拦住高消耗的重复计算。近一年,智能优化工具开始介入,自动识别低效SQL、推荐分区策略,并预测任务成本,让人工调优的负担明显减轻。
但真正决定成败的是机制。若成本指标不进考核,优化很容易成为一次性的运动。可行的路径是建立数据成本的责任分摊:平台方提供度量与工具,业务方为自身数据产品的成本负责,财务方参与预算与结算。三者形成闭环,成本意识才会沉淀为日常习惯。
结语
大数据成本治理不是单纯的省钱,而是让每一份存储与每一次计算都有明确的归属和收益判断。当数据从技术资产变成经营资产,成本与价值的对账能力,正在成为衡量数据体系成熟度的新标尺。