前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >Logstash 处理 Mysql Slow Log6

Logstash 处理 Mysql Slow Log6

作者头像
franket
发布于 2022-01-20 03:34:49
发布于 2022-01-20 03:34:49
2120
举报
文章被收录于专栏:技术杂记技术杂记

output 是经过加工和处理后,事件日志的去向

Item

Comment

output {

框定出口的定义范围

elasticsearch {

定义了一个出口,使用 elasticsearch 插件来进行输出,将结果输出到ES中

hosts => ["localhost:9200"]

指定es的目标地址为 localhost:9200

index=>"mysql-slow-log-%{+YYYY.MM.dd}"

指定存到哪个index,如不指定,默认为logstash-%{+YYYY.MM.dd}

stdout { codec => rubydebug }

定义了一个出口,使用 stdout 插件将信息输出到标准输出,也就是终端,并且使用 rubydebug 插件处理过后进行展示,也就是行成jason格式 (生产中不会这样配置,一般用来进行交互调试)


正则

"(?m)^#\s+User@Host:\s+%{USER:user}\[[^\]]+\]\s+@\s+%{USER:clienthost}\s+\[(?:%{IP:clientip})?\]\s+Id:\s+%{NUMBER:id:int}\n#\s+Schema:\s+%{USER:schema}\s+Last_errno:\s+%{NUMBER:lasterrorno:int}\s+Killed:\s+%{NUMBER:killedno:int}\n#\s+Query_time:\s+%{NUMBER:query_time:float}\s+Lock_time:\s+%{NUMBER:lock_time:float}\s+Rows_sent:\s+%{NUMBER:rows_sent:int}\s+Rows_examined:\s+%{NUMBER:rows_examined:int}\s+Rows_affected:\s+%{NUMBER:rows_affected:int}\n#\s+Bytes_sent:\s+%{NUMBER:bytes_sent:int}\n\s*(?:use\s+%{USER:usedatabase};\s*\n)?SET\s+timestamp=%{NUMBER:timestamp};\n\s*(?<query>(?<action>\w+)\b.*)\s*(?:\n#\s+Time)?.*$"

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
故障分析 | 是谁偷走了我的 IO
爱可生DBA团队成员,主要负责MySQL和DMP平台日常的维持工作,对数据库自动化运维存有浓厚兴趣。
爱可生开源社区
2022/05/23
6780
MySQL全面优化思路-基础内容
通过 top -Hp 10380 指定占用高的进程,可以看到具体是那些线程占用过高
Yuou
2022/09/26
3970
CPU、负载、磁盘同时飙升的问题分析
上周五下午的时候,线上的一个服务器出了一个报警,报警内容是CPU利用率大于80%,持续时间五分钟。
AsiaYe
2019/12/18
1.9K0
MySQL导致的CPU高负载问题
在某个新服务器上,新建了一个MySQL的实例,该服务器上面只有MySQL这一个进程,但是CPU的负载却居高不下,使用top命令查询的结果如下:
AsiaYe
2019/11/06
2.4K0
Linux高负载排查最佳实践
在Linux系统中,经常会因为负载过高导致各种性能问题。那么如何进行排查,其实是有迹可循,而且模式固定。
十里桃花舞丶
2024/03/15
4700
Linux高负载排查最佳实践
MySQL并不孤单的存在—硬件环境的限制与优化
之所以写这篇文章也是因为前几天出的一个问题,当时业务感觉到卡顿,并且伴随着锁超时的报错。最后通过分析发现是由于磁盘I/Q繁忙导致SQL耗时增加,部分锁竞争激烈的热数据出现了锁等待和锁超时。由此可见,系统的硬件环境对数据库整体性能的影响也是非常大的,MySQL在运行环境中并不是孤立存在的,它的整体性能往往受限于系统最薄弱的环节,今天想和大家分享下,都有哪些系统指标会对数据库的整体性能产生影响,我们又如何进行分析。
MySQL数据库技术栈
2020/08/04
1.3K0
docker cgroup技术之cpu和cpuset
  在centos7的/sys/fs/cgroup下面可以看到与cpu相关的有cpu,cpuacct和cpuset 3个subsystem。cpu用于对cpu使用率的划分;cpuset用于设置cpu的亲和性等,主要用于numa架构的os;cpuacct记录了cpu的部分信息。对cpu资源的设置可以从2个维度考察:cpu使用百分比和cpu核数目。前者使用cpu subsystem进行配置,后者使用cpuset subsystem进程配置。首先看cpu subsystem的用法
charlieroro
2020/03/24
2.1K0
docker cgroup技术之cpu和cpuset
业务逻辑复杂如何解决性能问题
上节针对生成订单信息这个接口做了三个阶段的分析定位和优化动作,让TPS变得正常。不过,系统资源并没有完全用起来,这个接口显然还有优化空间。性能优化的过程中,要把资源都用起来。
JavaEdge
2023/04/12
5410
业务逻辑复杂如何解决性能问题
如何避免JDBC池和内存溢出?优化策略大揭秘!
40个压力线程只跑出50多的TPS,响应时间也蹭蹭跑了近700ms。这显然是很慢的接口。
JavaEdge
2023/04/12
8930
如何避免JDBC池和内存溢出?优化策略大揭秘!
实例解析MySQL性能瓶颈排查定位
登入服务器后,我们的目的是首先要确认当前到底是哪些进程引起的负载高,以及这些进程卡在什么地方,瓶颈是什么。
用户1278550
2020/02/26
1.7K0
在 Linux 中找出 CPU 占用高的进程
你可能也会遇到在 Linux 系统中找出 CPU 占用高的进程的情形。如果是这样,那么你需要列出系统中 CPU 占用高的进程列表来确定。我认为只有两种方法能实现:使用 top 命令 和 ps 命令。出于一些理由,我更倾向于用 top 命令而不是 ps 命令。但是两个工具都能达到你要的目的,所以你可以根据需求决定使用哪个。这两个工具都被 Linux 系统管理员广泛使用。 1) 怎样使用 top 命令找出 Linux 中 CPU 占用高的进程 在所有监控 Linux 系统性能的工具中,Linux 的 top 命令是最好的也是最知名的一个。top 命令提供了 Linux 系统运行中的进程的动态实时视图。它能显示系统的概览信息和 Linux 内核当前管理的进程列表。它显示了大量的系统信息,如 CPU 使用、内存使用、交换内存、运行的进程数、目前系统开机时间、系统负载、缓冲区大小、缓存大小、进程 PID 等等。默认情况下,top 命令的输出结果按 CPU 占用进行排序,每 5 秒中更新一次结果。如果你想要一个更清晰的视图来更深入的分析结果,以批处理模式运行 top 命令 是最好的方法。同时,你需要 理解 top 命令输出结果的含义 ,这样才能解决系统的性能问题。
用户2590762
2021/08/11
4K0
软件性能测试(连载14)
由于内核CPU为sy 6.5%并不是很高,而等待I/O的CPU时间为93.8%是比较高的,另外在进程信息中心可以看到Python3的进程CPU占有率为7.2%,也是比较高的,它的PID为16520。可以定位在I/O上出现了瓶颈,可能是Python3引起的。于是用iostat来分析。
顾翔
2020/03/04
4190
java性能调优
随着系统自身数据量的增长,访问量增加,系统的响应通常会越来越慢,或者是新的功能在性能上无法满足修去,这个时候需要对系统进行性能调优。调优是一个复杂的过程,涉及的方面有:硬件,操作系统,运行环境软件和应用本身。
zhangheng
2020/04/28
1.2K0
理解 CPU 利用率
在 Linux shell 上执行 top 命令,可以看到这样一行 CPU 利用率的数据:
linjinhe
2018/12/06
2.5K0
Centos7查看内存使用情况
除了上述常用参数外,free 命令还支持其他一些选项,可以通过 man free 命令查看完整的帮助文档。
九转成圣
2024/04/15
1.8K0
Centos7查看内存使用情况
python 让cpu满载
搞zabbix监控的时候,linux服务器的负载很低,如何写一个python脚本,让它满载呢?
py3study
2020/01/20
4.8K0
Cgroup测试&CFS计算方法
首先,Linux把CGroup这个事实现成了一个file system,你可以mount。在我的Ubuntu 14.04下,你输入以下命令你就可以看到cgroup已为你mount好了。
mingjie
2022/05/12
1.1K0
linux每日命令(37):top命令
top命令是Linux下常用的性能分析工具,能够实时显示系统中各个进程的资源占用状况,类似于Windows的任务管理器。下面详细介绍它的使用方法。top是一个动态显示过程,即可以通过用户按键来不断刷新当前状态.如果在前台执行该命令,它将独占前台,直到用户终止该程序为止.比较准确的说,top命令提供了实时的对系统处理器的状态监视.它将显示系统中CPU最“敏感”的任务列表.该命令可以按CPU使用.内存使用和执行时间对任务进行排序;而且该命令的很多特性都可以通过交互式命令或者在个人定制文件中进行设定.
用户1214487
2018/12/24
1.4K0
Linux下java进程CPU占用率高分析方法
在工作当中,肯定会遇到由代码所导致的高CPU耗用以及内存溢出的情况。这种情况发生时,我们怎么去找出原因并解决。
用户1212940
2022/04/13
2.7K0
Java项目上线后,CPU过高如何定位原因
将16进制转为jstack 进程PID |grep 16进制线程PID -A 20
JokerDJ
2023/12/04
2790
相关推荐
故障分析 | 是谁偷走了我的 IO
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文