考察点:cleanup.policy=delete 与 compact 的语义差异及选型。
两种完全不同的「清理」语义
Kafka 日志不会永久保存,清理策略由 Topic 的 cleanup.policy 决定:delete(默认)按时间或大小丢弃旧数据,compact 按 key 做细粒度压缩。
| 维度 | 按时间/大小保留(delete) | 日志压缩(compact) |
| --- | --- | --- |
| 粒度 | 粗粒度:整段旧日志按时间或大小丢弃 | 细粒度:按记录删除同 key 的旧版本 |
| 关键配置 | retention.ms / retention.bytes | cleanup.policy=compact |
| 结果 | 日志开头旧数据被整段删除,无法重建当前状态 | 保证每个 key 至少保留最后一次已知值 |
| 适用 | 时间型事件流(日志、埋点、行为流) | 键值型可变数据的变更日志(changelog) |
compact 提供的关键保证
delete.retention.ms(默认 24 小时)后被清掉,消费者若滞后超过这个时间就可能错过删除标记。实现与调优:压缩由后台 log cleaner 线程完成——先为日志头部每个 key 的最后 offset 建立紧凑摘要,再从头重写 segment、删除旧版本记录;不阻塞读且可限流,min.cleanable.dirty.ratio 决定触发时机,log.cleaner.min.compaction.lag.ms 保护「太新」的消息,活动 segment 始终不参与压缩。
选型结论
只要历史事件就用 delete,按业务保留窗口(如 7 天)配置 retention;需要「用日志重建一份 key 的最新状态」就用 compact,典型场景是数据库变更订阅(CDC)、事件溯源、流计算的状态 changelog。
题目与答案就在本页;收藏、批注和错题重练在应用内