参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 48 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 同步:用 Sqoop/DataX 或 CDC(Binlog 采集)把业务库数据抽到 Hive 的 ODS(贴源层),保留原始结构,增量按时间/主键切分。
- 分层建模:① DWD(明细层) 做清洗、脱敏、维度退化、统一口径;② DWS(汇总层) 按主题(用户/商品/交易)轻度聚合,沉淀可复用中间结果;③ ADS(应用层) 面向报表/接口的高度聚合结果。
- 治理:按 dt 天分区、必要时分桶;用调度系统(Airflow/DolphinScheduler)编排任务依赖;做数据质量校验(空值/唯一性)与血缘追踪。
- 价值:分层解耦、结果复用、口径统一、便于问题定位。