I IT 面试题库
Flume 的架构与核心概念(Source/Channel/Sink、Agent、Event)是什么?
初级简答题数据采集工程师大数据开发工程师Flume日志采集SourceChannelSink
题目
考察点:Agent 三组件、Event 流、事务机制、可靠性语义。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 70 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- Event:数据传输基本单元 = header(元数据 Map)+ body(字节数组),大小默认受
batchSize/容量限制。
- Agent 三组件:Source(采集接入:taildir/exec/netcat/kafka/avro)→ Channel(缓冲:memory=快但宕机丢、file=持久可靠、kafka=天然高可用可重放)→ Sink(写出:hdfs/kafka/avro 下游 agent)。一个 Agent 可多 source 汇聚到一个 channel,可扇出到多 sink。
- 事务保证:source→channel、channel→sink 各自走事务(put/take),channel 决定可靠性等级——memory channel 进程崩丢 batch;file/kafka channel 可做到不丢。
- 串联模式:多级 agent 用 avro source/sink 串联(边缘采集→汇总→落存储),是日志采集的标准拓扑;
spooldir/TAILDIR(记录 offset 断点续传)是文件采集首选。
题目与答案就在本页;收藏、批注和错题重练在应用内