I IT 面试题库
设计一个企业级数据治理平台:要支持元数据自动采集、质量规则引擎、血缘可视化、资产目录,核心模块怎么划分?
高级系统设计题大数据开发工程师数据仓库工程师后端开发工程师数据治理治理平台数据目录质量引擎血缘可视化
题目
系统设计题:收尾。把治理能力产品化——一个治理平台需要哪些模块,各模块如何协作完成「采集—存储—治理—服务」闭环?
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 25 天前更新
要点:
- 采集层(Connectors):通过连接器对接各类数据源(Hive/Spark/HDFS/关系库/调度系统/BI),自动抽取技术元数据、解析 SQL 生成血缘、采集指标与样本,是平台的数据入口,强调可扩展(新增数据源只写适配插件)。
- 存储与模型层:用图模型存血缘与资产关系(便于影响分析/上下游查询),关系库存业务元数据与规则,搜索引擎(ES)支撑目录全文检索;统一元数据 schema 屏蔽异构。
- 治理引擎层:① 质量规则引擎(配置校验规则、调度执行、产出质量分与告警);② 资产目录服务(搜索/申请/权限/打标);③ 分级分类与脱敏策略引擎(按等级自动套用安全策略);④ 血缘服务(图遍历做影响/溯源分析)。
- 服务与运营层:提供 Web 控制台、OpenAPI、与调度/数仓/BI 集成的钩子;配套数据 Owner 工作流、治理看板(覆盖率/质量分/问题项)。
- 可借鉴 DataHub(元数据图+采集框架)、Apache Atlas(血缘+策略)等开源底座,自研聚焦规则引擎、目录体验与合规策略的差异点。
题目与答案就在本页;收藏、批注和错题重练在应用内