参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 26 天前更新
要点:
- OOM / GC 排查:先看 TaskManager 日志的 GC 日志与
Status.JVM.Memory 指标,区分是堆内(HashMapStateBackend 大状态)还是堆外/网络缓冲溢出;Flink 内存分框架堆、任务堆、托管内存(RocksDB)、网络缓冲,需按角色调 taskmanager.memory.*。
- 状态膨胀:大 keyed state / 未设 TTL 的 ValueState/MapState 会无限增长;应给状态设
StateTtlConfig 过期清理,或改用 RocksDB + 增量 checkpoint。
- 数据倾斜:某 key 数据量远超其他,导致单 subtask 反压。定位:Web UI 看各 subtask 吞吐/记录数差异;解决:加盐打散(key+随机前缀再二次聚合)、预聚合、两阶段聚合、调大并行度。
- 兜底:开启 checkpoint 失败容忍与重启策略,避免雪崩;对倾斜 key 单独旁路处理。