I IT 面试题库
什么是数据血缘(Data Lineage)?它对治理和排障有什么价值?实现血缘的常用手段有哪些?
中级简答题大数据开发工程师数据仓库工程师后端开发工程师数据治理数据血缘Lineage影响分析DataHub
题目
上一题排障靠血缘向上游追。请系统讲清血缘是什么、为什么是治理基石,以及工程上怎么采集。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 25 天前更新
要点:
- 数据血缘是描述数据从源头到消费端逐层流转关系的有向图(表级/字段级),回答「这张表的数据从哪来、被谁用了、某字段由哪些上游字段算出」。分为表级(A→B)与字段级(col_x → col_y),字段级更精细但更难采集。
- 价值:① 排障与影响分析——某源异常时,沿血缘快速定位受影响的所有下游报表与模型(上一题就是典型);② 变更管控——改一张表前先看清下游影响面;③ 合规审计——追踪敏感字段流向,支撑个保法/GDPR 的数据流向举证;④ 资产理解——配合数据目录帮助用户理解数据来历、提升信任。
- 实现手段:① 解析 SQL/ETL 代码静态分析(如 Spark/Hive SQL 解析,最常用但需覆盖方言);② 运行时采集(调度系统/引擎 hook 记录任务输入输出);③ 手动标注(关键链路补充);工具侧有 DataHub、Apache Atlas、OpenLineage 等统一血缘元数据。
题目与答案就在本页;收藏、批注和错题重练在应用内