1、引言
做数据治理的朋友,大概率都遇到过这种窘境: 花了几个月,拉上业务、IT、数据团队一起开会,输出全套数据标准、数据质量规则、资产目录,厚厚的文档存进共享盘。 项目验收会上汇报得很漂亮,可验收一过,一切回到原样。
业务问:这份报表指标是怎么算出来的?来源哪张表? 数据开发翻半天脚本,上下游链路理不清; 报表数据异常,要花大半天逐层回溯,定位根因; 审计要溯源,只能人工截图、手工整理链路,费时还容易出错; 数据表越建越多,大量废弃表、重复指标堆积,没人敢删,生怕删了影响下游。
制度文档写得面面俱到,但没有办法自动追溯数据从哪里来、经过哪些加工、流向哪里。治理停留在纸面,无法落地。这就是绝大多数企业数据治理项目失败的核心原因。
2、过去的数据治理,犯了一个根本性错误
很多企业做数据治理的思路是:先定组织、写制度、建标准,最后再考虑工具。 顺序完全颠倒。
治理的本质,是对数据的全生命周期管控。数据从业务库产生,经过 ETL 加工、数仓分层计算,再到指标、报表、BI 看板,一路流转。 如果不知道数据的流转链路,那么:
- 数据标准,不知道该标准覆盖了哪些表、哪些指标;
- 数据质量规则,质量告警发生后,无法快速定位影响范围;
- 数据资产盘点,不知道哪些资产在使用、哪些已经废弃;
- 数据安全,修改一张底层表,无法评估会影响多少下游报表。
靠人工维护数据链路,只适合极小的数据体量。当数据表、任务、指标上百上千,人工维护的文档很快就过期、失真。文档永远滞后于代码变更。
只靠制度驱动的数据治理,是无源之水。
制度是规则,而数据血缘,是让规则自动生效的底层基础设施。
3、白话理解:什么是数据血缘?
一句话概括:数据血缘就是数据的 “家谱”。 记录数据从源头产生,经过一系列转换计算,最终流向各个应用的完整链路,区分表级血缘和字段级血缘。
举个简单场景: 业务订单表(源)→ 清洗加工 → 订单汇总中间表 → 计算订单收入指标 → 业务经营报表。 这条完整链路,就是数据血缘。 字段级血缘,还能继续细化:报表里的 “订单金额” 字段,来自上游哪张表的哪个字段,经过了哪些公式计算。
有了血缘之后,两件事发生根本性变化:
- 正向追溯:拿到报表指标,一键向上溯源,找到原始业务数据和加工逻辑,业务不用再反复找数据开发问口径;
- 反向影响分析:底层表要变更,一键查看会影响哪些下游任务、报表、指标,评估变更风险,避免线上事故。
很多人会混淆:数据血缘 ≠ 数据治理。 血缘是工具底座;数据治理是一套完整体系(组织、制度、标准、质量、资产、安全)。 没有血缘底座,治理只能靠人工;有血缘底座,治理规则才能自动化落地。
4、数据血缘,解决治理里 3 个最痛的难题
4.1 解决 “数据口径扯皮”
业务质疑报表数据不对。
- 没有血缘:数据开发逐行查脚本,一层层人工核对,几个小时甚至一两天才能定位。
- 有血缘:一键展开字段链路,查看指标计算逻辑,上下游一目了然,快速判断是源头业务数据问题,还是加工逻辑错误。
4.2 解决 “不敢删表、不敢改表”
- 数仓长期迭代,堆积大量僵尸表、废弃任务。 没人敢清理,因为不知道还有哪些下游在偷偷依赖。
- 血缘平台自动识别链路,标记无下游的废弃资产,支撑数仓瘦身,节省存储与计算成本。
4.3 解决 “合规审计溯源难”
金融、政务、医疗等行业,审计要求数据可追溯。 人工整理链路成本极高,还容易遗漏。 血缘自动保存数据流转链路,审计时直接导出溯源报告,满足监管要求。
5、误区澄清:血缘不是万能,但是治理绕不开的前提
这里也要客观:不要神化数据血缘平台。 血缘解决不了:业务口径定义混乱、组织权责不清、缺少数据 Owner 这类问题。
但是反过来:没有血缘平台,这些问题的治理成本会指数级上升。制度、组织、数据 Owner,是 “人” 的部分;血缘平台,是自动化感知数据链路的 “眼睛”。眼睛没有,治理团队只能盲人摸象。
很多企业踩坑:一上来就买庞大的数据治理平台,资产、质量、标签模块全部上线,唯独忽略血缘采集。最后平台变成空壳,资产目录靠人工录入,很快失效。
一句话总结:无血缘,不治理。