I IT 面试题库
日志采集选型:Flume、Filebeat+Kafka、Flink CDC 各适合什么场景?
高级开放讨论题大数据架构师大数据开发工程师FlumeFilebeatKafkaFlink CDC选型
题目
考察点:采集链路选型维度(吞吐/可靠性/转换能力/生态)、典型架构。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 70 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- Flume:JVM 生态、HDFS Sink 成熟、拦截器可做轻量 ETL——传统离线数仓日志落 HDFS 的老搭档;缺点:单 agent 吞吐一般、调优参数多、社区趋缓。
- Filebeat+Kafka:Filebeat(Go,资源占用极低,registry 断点)采集 → Kafka 削峰解耦 → 消费端(落 HDFS/ES/Flink 实时计算)。互联网公司主流:Kafka 的一份数据同时喂离线与实时,扩展性最好。
- Flink CDC:采集的是数据库变更而非日志文件——直接读 Binlog/逻辑日志,exactly-once、schema 演进友好,替代「Sqoop/Canal+Kafka」链路做库到仓/湖的实时同步。
- 选型口诀:文件日志→Filebeat+Kafka(新)/Flume(存量);数据库变更→Flink CDC;小规模简单落盘→Flume 单 agent 即可。架构趋势是「采集归采集(beat 类),流处理归 Flink」。
题目与答案就在本页;收藏、批注和错题重练在应用内