日志链路是 Filebeat → Logstash → Elasticsearch。业务高峰后日志延迟越来越大,Filebeat 端出现阻塞。请说明你的排查思路、Logstash 内部的处理模型,以及持久化队列的容量与持久化参数该如何配置。
Logstash 内部模型是 input → queue → filter + output。输入把事件写入队列后即可向数据源回 ACK;而队列内的事件只有在 filters 和 outputs 全部处理完成后才被 ACK。因此:
背压是保护机制而非故障:队列写满后,Logstash 停止接收新事件,各 input 独立处理——beats input 会拒接新连接,直到队列里的事件被 ACK、腾出空间后才自动恢复。它避免下游(如 ES)被压垮,代价是采集侧延迟上升。
默认 queue.type: memory,进程异常终止会丢数据;建议改为 persisted,把在途队列落盘,可吸收突发流量、免依赖 Redis/Kafka 做缓冲,并保证至少一次投递(重启后重放,故下游需幂等去重)。
关键参数:
queue.max_bytes:单条队列总容量,默认 1gb,示例配置 8gb;所有队列之和必须小于磁盘容量(配置按 pipeline 生效,可用 pipelines.yml 覆盖)。queue.page_capacity:页大小,默认 64mb,一般无需调整。queue.checkpoint.acks / writes / interval:checkpoint 频率,writes: 1 最安全但性能损失很大(默认 1024)。未 checkpoint 的数据在进程被杀或硬件故障时会丢。queue.drain:关闭前等待队列排空,一般不建议开启。容量估算公式:所需容量 =(每小时接收字节数 × 可容忍下游不可用小时数)× 放大系数,系数先取 1.10 再按数据类型微调——注意 Logstash 序列化会带来开销,小事件放大倍数极高(11 字节的纯文本事件序列化后约 213 字节,放大近 19 倍),而 10KB 以上的事件几乎可以忽略。
队列以页(文件)形式落盘,页内所有事件都被 ACK 后才会被回收;只要有一个事件未 ACK,整页都会占着配额。建议按 output 拆分 pipeline(output isolator 模式),每个输出一条 pipeline 配一个大队列,这样单个下游卡死不会拖垮全部输出。短期止血可扩容 worker/批量或临时降级采集,长期用索引生命周期管理(ILM)做冷热分层与保留策略。
题目与答案就在本页;收藏、批注和错题重练在应用内