Logstash 的 pipeline(input/filter/output)如何工作?grok 过滤器如何把非结构化日志解析成字段?
要点:
input 定义数据来源(beats、file、kafka、tcp 等);② filter 是处理核心,用一堆插件(grok、mutate、date、ruby 等)把原始文本『加工成结构化字段』;③ output 定义去向(elasticsearch、stdout 调试、kafka 等)。一条事件会依次流过这些阶段。PATTERN(如 %{IP:clientip}、%{NUMBER:response}、%{COMBINEDAPACHELOG})。例如对 Nginx 行:filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
date { match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ] }
}
执行后 message 会被拆出 clientip、request、response、bytes 等字段,并可由 date 把时间字符串转成真正的 @timestamp。
补充:grok 对不匹配的行会打 _grokparsefailure tag,调试时务必先在本地用 stdout { codec => rubydebug } 输出,确认正则覆盖所有日志格式再上生产。
题目与答案就在本页;收藏、批注和错题重练在应用内