I IT 面试题库
Flume 采集日志到 HDFS,怎么保证不丢不重?HDFS Sink 的小文件问题怎么破?
中级开放讨论题大数据开发工程师数据采集工程师FlumeHDFS小文件at-least-once
题目
考察点:file channel+taildir 组合、事务两阶段、roll 策略、拦截器与分区落地。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 70 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 不丢:
TAILDIR Source(持久化 offset,断点续传)+ File Channel(磁盘持久化)+ HDFS Sink 两阶段事务(先写临时文件 .tmp,事务提交后改名)——进程崩溃也不丢已提交 batch。代价是吞吐低于 memory channel,权衡看业务。
- 不重:Flume 保证 at-least-once——宕机恢复可能重放部分数据,严格不重要在下游做幂等(按事件唯一 id 去重/按文件 offset 位图)。诚实答案:Flume 原生就是 at-least-once。
- 小文件三参数:
hdfs.rollInterval(时间)、rollSize(128M 对齐块)、rollCount(条数)——任一触发滚动;生产常配「10min 或 128M 先到先滚」。再用 hdfs.path 按日期/小时分区(%Y%m%d/%H 转义)+ 时区处理(useLocalTimeStamp)。
- 补充:高吞吐用 memory channel+kafka channel 组合,把可靠性交给 Kafka;监控 channel 填充率,堵了先查 sink 下游(HDFS Namenode 抖动/权限)。
题目与答案就在本页;收藏、批注和错题重练在应用内