Logstash 处理 Mysql Slow Log1

franket

发布于 2022-01-20 11:31:14

37900

代码可运行

运行总次数：0

代码可运行

展示上面的例子，只是想说明，不同大版本(5.1与5.5)的mysql slow log 格式不一致，相同大版本小版本不同的mysql也不一致，并且不同mysql变种(percona server) 也会不一致，即便版本都一致了，同一个slowlog中的不同记录格式也不尽相同，这就是它麻烦的地方

不过好在logstash有插件机制，使用grok可以通过正则的方式进行自定义，这样就灵活不少，可以根据具体的环境来调配以适应

Tip: 写正则的过程，就是一个不断调校的过程，写完后，测试，再改，再测，再改……绝大部分条目可以匹配后，还要找点不同款的拿来测，尽量作到日志里的任意一条都能被匹配(当然换个版本，可能又得来一次，但方法不变)

这里分享一下logstash中处理mysql日志的配置过程，logstash中正则的相关内容可以参考 patterns 和 grok predifined patterns

Tip: 当前的最新版本为 Logstash 2.1.1

概要

环境

percona server 5.6.27-75.0
elasticsearch 2.1.1
logstash 2.1.1
kibana 4.3.1
CentOS release 6.6 (Final)
2.6.32-504.el6.x86_64

logstash配置

[root@h102 etc]# cat  logstash-multiline.conf 
input {
  stdin {
    codec => multiline {
      pattern => "^# User@Host:"
      negate => true
      what => previous
    }
  }
}


filter {
  grok {
	match => [ "message", "(?m)^#\s+User@Host:\s+%{USER:user}\[[^\]]+\]\s+@\s+%{USER:clienthost}\s+\[(?:%{IP:clientip})?\]\s+Id:\s+%{NUMBER:id:int}\n#\s+Schema:\s+%{USER:schema}\s+Last_errno:\s+%{NUMBER:lasterrorno:int}\s+Killed:\s+%{NUMBER:killedno:int}\n#\s+Query_time:\s+%{NUMBER:query_time:float}\s+Lock_time:\s+%{NUMBER:lock_time:float}\s+Rows_sent:\s+%{NUMBER:rows_sent:int}\s+Rows_examined:\s+%{NUMBER:rows_examined:int}\s+Rows_affected:\s+%{NUMBER:rows_affected:int}\n#\s+Bytes_sent:\s+%{NUMBER:bytes_sent:int}\n\s*(?:use\s+%{USER:usedatabase};\s*\n)?SET\s+timestamp=%{NUMBER:timestamp};\n\s*(?<query>(?<action>\w+)\b.*)\s*(?:\n#\s+Time)?.*$"]

  } 

  date {
    match => [ "timestamp", "UNIX" ]
    #remove_field => [ "timestamp" ]
  }
}

output {
  elasticsearch { 
  	hosts => ["localhost:9200"] 
        index=>"mysql-slow-log-%{+YYYY.MM.dd}"
	}
  stdout { codec => rubydebug }
}
[root@h102 etc]#

本文系转载，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

数据库