Logstash 处理 Mysql Slow Log7

franket

发布于 2022-01-20 11:35:09

2220

Item	Comment
(?m)	打开多行模式的开关
^#	以 # 字符顶头
\s+	匹配一个或多个空字符
\s*	0个或多个空字符
%{USER:user}	以 USER 模式进行正则匹配，结果放在user中
\[[^\]]+\]	以 [ 开头以]结尾，内容是由一个或多个不是 ] 的字符填充而成
\[(?:%{IP:clientip})?\]	以 [ 开头以]结尾，内容可能有，也可能无，如果有并且匹配 IP 的正则模式，结果放在clientip中
%{NUMBER:id:int}	以 NUMBER 模式进行正则匹配，为整数型，结果放在id中
\n	匹配换行符
%{NUMBER:query_time:float}	以 NUMBER 模式进行正则匹配，为浮点型，结果放在query_time中
(?:use\s+%{USER:usedatabase};\s*\n)?	这个匹配可能有，也可能无，如果有，就是以use开头，若干空字符，以 USER 模式进行正则匹配，结果放在usedatabase中，然后紧接着 ; ，后面是0个或多个空字符，然后是换行，注意：如果有是整体有，如果无，是整体无
\b	代表字单词边界不占位置，只用来指示位置
.*	尽可能多的任意匹配
(?<query>(?<action>\w+)\b.*)	整体匹配，存到query中，以一个或多个字符开头组成的单词，结果存到action中
(?:\n#\s+Time)?	内容可能有，也可能无，如果有，是接在一个换行之后，以 # 开头，隔着一个或多个空字符，然后是Time
.*$	任意匹配直到结尾

cat logstash-multiline.conf
/opt/logstash/bin/logstash -f logstash-multiline.conf -t
/opt/logstash/bin/logstash -f logstash-multiline.conf

附这里预定义了一些正则表达式如：USER、IP、NUMBER

USERNAME [a-zA-Z0-9._-]+
IP (?:%{IPV6}|%{IPV4})

IPV6 ((([0-9A-Fa-f]{1,4}:){7}([0-9A-Fa-f]{1,4}|:))|(([0-9A-Fa-f]{1,4}:){6}(:[0-9A-Fa-f]{1,4}|((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){5}(((:[0-9A-Fa-f]{1,4}){1,2})|:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){4}(((:[0-9A-Fa-f]{1,4}){1,3})|((:[0-9A-Fa-f]{1,4})?:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){3}(((:[0-9A-Fa-f]{1,4}){1,4})|((:[0-9A-Fa-f]{1,4}){0,2}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){2}(((:[0-9A-Fa-f]{1,4}){1,5})|((:[0-9A-Fa-f]{1,4}){0,3}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){1}(((:[0-9A-Fa-f]{1,4}){1,6})|((:[0-9A-Fa-f]{1,4}){0,4}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(:(((:[0-9A-Fa-f]{1,4}){1,7})|((:[0-9A-Fa-f]{1,4}){0,5}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:)))(%.+)? IPV4 (?<![0-9])(?:(?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5]))(?![0-9])