考察开源湖表格式(Open Table Format):在对象存储上补齐事务与元数据管理的原理与三格式对比,是湖仓架构面试的进阶题。
对象存储(S3/OSS/HDFS)只有文件,没有事务、没有快照、更新一行要重写整个文件——数据湖直接裸奔会遇到「读一半写一半」「并发写互相覆盖」「无法回滚」。表格式 = 在文件之上补一层元数据与事务协议:记录「当前快照由哪些数据文件组成」,写操作生成新快照、原子替换指针。
_delta_log 顺序追加 + 乐观并发)。读写互不阻塞:读老快照的查询不受写入影响;SELECT ... VERSION AS OF 3 / TIMESTAMP AS OF 直接按元数据回溯——用于审计、错误写入回滚(rollback 到昨天快照)、可复现训练数据集。代价是老文件不能立刻清,靠快照过期(expiration)+ 孤儿文件清理控制存储增长;| | Iceberg | Delta Lake | Hudi |
|---|---|---|---|
| 出身 | Netflix → Apache | Databricks(开放协议) | Uber → Apache |
| 强项 | 中立开放、引擎兼容广、隐藏分区/列级演进 | 与 Spark/Databricks 集成最深 | upsert/增量拉取最强(CDC 场景) |
| 更新模型 | Copy-on-Write / Merge-on-Read | CoW 为主(MoR 后补) | CoW/MoR 成熟,记录级索引 |
| 典型场景 | 数仓上湖、多引擎共存 | Databricks 生态 | 准实时 CDC 入湖、分钟级 upsert |
选型口诀:多引擎中立与规范演进 → Iceberg;已押注 Databricks → Delta;高频 CDC/upsert(订单、用户表分钟级更新)→ Hudi。
加分点:三格式已互相借鉴趋同(Delta 加了 MoR、Iceberg v3 规范在吸收 Hudi 特性),选型更多看生态与运维能力而非功能清单。
题目与答案就在本页;收藏、批注和错题重练在应用内