IT 面试题库

Kafka 的日志保留(retention)和日志压缩(log compaction)有什么区别?分别在什么场景下使用?

高级简答题后端架构师大数据开发工程师Java后端工程师Kafka日志压缩数据保留cleanup.policy

题目

考察点:cleanup.policy=delete 与 compact 的语义差异及选型。

参考答案

内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 54 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

两种完全不同的「清理」语义

Kafka 日志不会永久保存,清理策略由 Topic 的 cleanup.policy 决定:delete(默认)按时间或大小丢弃旧数据,compact 按 key 做细粒度压缩。

| 维度 | 按时间/大小保留(delete) | 日志压缩(compact) |

| --- | --- | --- |

| 粒度 | 粗粒度:整段旧日志按时间或大小丢弃 | 细粒度:按记录删除同 key 的旧版本 |

| 关键配置 | retention.ms / retention.bytes | cleanup.policy=compact |

| 结果 | 日志开头旧数据被整段删除,无法重建当前状态 | 保证每个 key 至少保留最后一次已知值 |

| 适用 | 时间型事件流(日志、埋点、行为流) | 键值型可变数据的变更日志(changelog) |

compact 提供的关键保证

实现与调优:压缩由后台 log cleaner 线程完成——先为日志头部每个 key 的最后 offset 建立紧凑摘要,再从头重写 segment、删除旧版本记录;不阻塞读且可限流,min.cleanable.dirty.ratio 决定触发时机,log.cleaner.min.compaction.lag.ms 保护「太新」的消息,活动 segment 始终不参与压缩。

选型结论

只要历史事件就用 delete,按业务保留窗口(如 7 天)配置 retention;需要「用日志重建一份 key 的最新状态」就用 compact,典型场景是数据库变更订阅(CDC)、事件溯源、流计算的状态 changelog。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题