在上一节我们是讲解了如何对应用服务进行监控，这一节我将会介绍如何对mysql进行监控，在传统监控mysql(对mysql整体服务质量的监控)的情况下，建立对表级别的监控，以及长事务，复杂sql的监控，并能定位到具体代码。
『入门MySQL』系列文章已经完结，今后我的文章还是会以MySQL为主，主要记录下近期工作及学习遇到的场景或者自己的感悟想法，可能后续的文章不是那么连贯，但还是希望大家多多支持。言归正传，本篇文章主要介绍MySQL长事务相关内容，比如说我们开启的一个事务，一直没提交或回滚会怎样呢，出现事务等待情况应该如何处理，本篇文章将给你答案。
对一个固定的技术组件的分析优化思路，即组件不是我们开发的，但又要分析优化它，怎么办？
死锁是指两个或更多的事务在执行过程中，因争夺资源而造成的一种相互等待的现象。每个事务都持有一个资源并等待获取另一个事务已占有的资源，从而形成了一个循环等待的情况。除非有外部干预，否则这些事务都将无法向前推进。
我们都知道，我们每执行一次 SQL，数据库除了会返回执行结果以外，还会返回 SQL 执行耗时，以 MySQL 数据库为例，当我们开启了慢 SQL 监控开关后，默认配置下，当 SQL 的执行时长大于 10 秒，会被记录到慢 SQL 的日志文件中。
现在越来越多的开发人员使用Mac电脑，Mac平台的MySQL管理工具不多，并且很多是收费的，现在有一款基于web的TreeSoft数据库管理系统，可以直接使用浏览器管理及监控MySQL，Oracle，PostgreSQL , SQL Server, MongoDB，Redis,memcached。直接在服务器布署一套，其他电脑通过浏览器通过网络远程管理及监控数据库，十分方便。
MySQL 5.5 中就引入了metadata lock（元数据锁）。用于对管理 database objects（数据库对象）的并发访问，保证数据的一致性。
【温馨提示】由于公众号更改了推送规则，不再按照时间顺序排列，如果不想错过测试开发技术精心准备的的干货文章，请将测试开发技术设为“星标☆”，看完文章在文尾处点亮“在看”！
在结果中idletime是计算产生的，也是事务的持续时间。但事务的trxquery是NUL，这并不是说事务什么也没执行，一个事务可能包含多个SQL，如果SQL执行完毕就不再显示了。当前事务正在执行，innodb也不知道这个事务后续还有没有sql,啥时候会commit。 因此trx_query不能提供有意义的信息。
什么是大事务 运行时间比较长，长时间未提交的事务就可以称为大事务 大事务产生的原因 操作的数据比较多 大量的锁竞争 事务中有其他非DB的耗时操作 。。。 大事务造成的影响 并发情况下，数据库连接池容易被撑爆 锁定太多的数据，造成大量的阻塞和锁超时 执行时间长，容易造成主从延迟 回滚所需要的时间比较长 undo log膨胀 。。。 如何查询大事务 **注**：本文的sql的操作都是基于mysql5.7版本 以查询执行时间超过10秒的事务为例： select \* from information\_s
性能测试 活动时间：2017年8月29日 QQ群视频交流 活动介绍：TMQ在线沙龙第二十八期分享 本次分享的主题是：性能测试 共有152位测试小伙伴参加活动，在线观看视频人数 60人！ 想知道活动分享了啥吗， 请往下看吧！ 嘉宾 赵先炮，腾讯系统测试高级工程师。10年工作经验，之前在IBM从事数据库DB2的性能测试，以及SQL的性能调优。目前独立负责PC浏览器的性能测试，PC浏览器主版本测试等。 在性能测试和自动化方面有着丰富的经验，是《DB2性能管理与实战》的作者之一。 分享主题 1. 如何理解性能
在mysql5.5版本之后新增了performance_schema的数据库用于监视数据库性能，该数据库中表的引擎都是performance_schema。PS数据库默认是关闭的，其中的表都是内存表，不存储在磁盘中，在服务器重启后数据消失。在数据文件performance_schema目录下只有表结构文件不存在数据文件，对这些表的改变不会记录到binlog中。数据收集是通过修改服务器源代码来实现的，不存在与PS相关联的单独线程。PS数据库消耗很少的性能，官方文档介绍即使将PS中所有监控项开启也不会对mysql server性能造成太大影响。
MySQL的长事务会因为事务视图太老，MVCC时中需要执行很多的回滚操作才能得到对应的数据版本，而且还会形成很大的回滚段，所以会影响性能。 那么在项目开发中，应该如何避免大事务呢？ 一般可以从客户端和服务器端分别进行控制 客户端 设定事务执行的超时时间(SET MAX_EXECUTION_TIME)，可以避免意外的长事务占用过多资源 事务开始到结束的时间内，避免做耗时的操作，比如网络请求等 尽量把容易有冲突的SQL语句写在业务逻辑后面，减少锁占用时间 服务器端 监控 information_schem
如果要使用Druid的内置监控功能，需要配置数据源时加上<property name=”filters” value=”stat” />，上面已经有了。
1、master上的binlog dump线程负责把binlog 事件传到slave
墨墨导读：本文记录一次大量删除导致MySQL慢查的分析，大家有没有遇到过这种问题？
zabbix api 关联群组可以直接通过群组名字添加吗？而不是通过群组ID进行添加。
1、Druid 是阿里巴巴开源平台上一个数据库连接池实现，结合了 C3P0、DBCP、PROXOOL 等 DB 池的优点，同时加入了日志监控
说明： –db:多少个计算节点 （最少2个） –kv:多少个存储节点（最少3个） –pd:多少个管理节点 (PD：Placement Driver)（最少3个） –monitor:开启监控，使用Prometheus+Grafana进行监控（1个即可）
问题sql: select count(*) from db1.sbtest1,db1.sbtest2;
当慢查在执行的时候，大部分的都是表现在 Sending data 的状态，我们通过 profiling 去确认下慢查的时间分布：
导语 | 腾讯云原生数据库团队最新研究成果入选国际顶会SIGMOD，数据库结合AI形成自治大脑，并在2022年智能调优人机大赛中战绩不菲，标志着腾讯云在数据库自治领域取得重大突破，实现性能领先。 加入AI技术，形成数据库自治大脑 —— 周可/华中科技大学教授 周可教授表示，在海量数据的大背景下，DBA（人工运维）的增长远远跟不上数据的增长，且用户负载具有多样性和动态性，一成不变的运维方式已不能够满足用户的需求。把AI加入到数据库，形成数据库的自治大脑，符合数据库自治的发展方向。 实现数据库自治的基本框架包
原文：http://www.enmotech.com/web/detail/1/740/1.html
在MySQL中，事务支持是在引擎层实现的，并不是所有的引擎都支持事务，如MySQL原生的MyISAM引擎就不支持事务，这也是MyISAM被InnoDB取代的重要原因之一.
前段时间朋友想要我写的github监控工具，我本着独乐乐不如众乐乐的心态，就答应我朋友说过几天发到公众号上，今天实现一下子诺言，工具获取方法在文章底部。如果您觉得这个小工具对您有用，点个关注加转发是对我最大的支持。
相信很多做性能测试的朋友都知道，性能测试并不单单只是看服务器cpu、IO、内存、网络等，我们还需要了解Mysql性能，那么我们看看Mysql性能主要内容有哪些呢？
晚上正在休息的时候，突然收到一封报警邮件。 报警内容: CPU utilization is too high ------------------------------------ 报警级别: PROBLEM ------------------------------------ 监控项目: CPU idle time：59.11 % ------------------------------------ 这个报警信息已经非常明确，CPU使用率很紧张了。这台服务器上运行着Oracle和MySQL
报警的意思是每分钟超过200个sql被kill，是一个严重告警级别，会打电话给DBA。大半夜报警的确令人不爽，那么如何解决这个问题呢？
Druid有以下优点： 1) 可以监控数据库访问性能，Druid内置提供了一个功能强大的StatFilter插件，能够详细统计SQL的执行性能，这对于线上分析数据库访问性能有帮助。 2) 替换DBCP和C3P0，Druid提供了一个高效、功能强大、可扩展性好的数据库连接池。 3) 数据库密码加密。直接把数据库密码写在配置文件中，这是不好的行为，容易导致安全问题。DruidDriver和DruidDataSource都支持PasswordCallback。 4) SQL执行日志，Druid提供了不同的LogFilter，能够支持Common-Logging、Log4j和JdkLog，你可以按需要选择相应的LogFilter，监控你应用的数据库访问情况。 5) 扩展JDBC，如果你要对JDBC层有编程的需求，可以通过Druid提供的Filter-Chain机制，很方便编写JDBC层的扩展插件。
接下来详细说一下在这几个方面做的一些事情以及如何解决遇到的一些问题与将要做的事情。
大家好，又见面了，我是你们的朋友全栈君。 记录一下mysql连接池DruidDataSource的常用配置。 1.pom.xml中引入： <dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId>
为分析操作员提供编排数据流、计算分析和检测 来自多个不同实时数据源的事件数据模式的软件，以允许开发人员构建能够实时感知、思考和行动的应用程序。
4、去数据库数据目录 我的是(D:\MYSQL\data) 你会发现多了一个log.txt文件
为帮助开发者更好地了解和学习前沿数据库技术，腾讯云数据库特推出"DB · TALK"系列技术分享会，聚焦干货赋能创新，邀请数十位鹅厂资深数据库专家每月和您一起深入探讨云数据库的内核技术、性能、架构、管理运维和最佳实践等。 3月30日第一期分享会“数据库管理与运维”专场已结束，错过直播的小伙伴也不要拍大腿，本期带来腾讯云数据库产品经理陈昊分享《数据库统一纳管平台DBhouse技术路线的最佳实践》的文字回顾。 大家好，我是陈昊，我的分享包括四个部分：产品建设背景，为什么要做DBhouse；产品架构，包括技术架
Github地址：https://github.com/alibaba/druid/ com.alibaba.druid.pool.DruidDataSource 基本配置参数 如下：
在 /opt 目录下建立目录 /n9e 和 /temp 安装包存放在 /opt/temp 目录下，本次实验安装包 mysql-5.7.31-linux-glibc2.12-x86_64.7z nginx-1.14.2.7z p7zip-16.02-10.el7.x86_64.rpm redis-6.0.6.7z n9e-2.7.2.7z
在之前的博文里面写过如何通过Zabbix监控mysql主从同步是否OK,mysql从库是否有延时(Seconds_Behind_Master)主库，当mysql主从有异常时通过Email或者SMS通知DBA和系统人员。除此之外，Zabbix还可以监控mysql slow queries,mysql version,uptime,alive等。下面通过Zabbix Graphs实时查看的SQL语句操作情况和mysql发送接收的字节数。
•超高的QPS（每秒钟处理的查询量）和TPS导致SQL处理效率下降。•大量的并发导致的数据库连接数被占满和超高的CPU占用率导致资源耗尽服务器宕机。•磁盘IO性能瓶颈导致数据传输效率下降，计划任务导致磁盘IO下降。•网卡IO性能瓶颈，要减少从服务器数量，缓存要分级，避免使用 select * 这样的查询。
数据流程简单，数据处理流程简单，数据包括日志、DB log等，经Sqoop批量或Kafka实时接入大数据平台HDFS里，在大数据平台进行ETL后，通过大数据调度系统Ooize，每天定时写入到关系型数据库MySQL，再以MySQL中数据为基础产出各种报表。
最近被问到mybatis统计每条SQL的执行时间，然而虽然我第一时间想到可以通过切面编程来实现，但是平时还真是没有留意这个问题，所以就查阅了一下资料，总结一下，如果各位还有更好的麻烦留言告知，在下感激不尽。
使用数据库连接池主要考虑到程序与数据库建立连接的性能。创建一个新的数据库是一个很耗时的过程，在使用完之后，可能还需要不断的释放建立的连接，对资源的损耗大。
OK 没问题，设置 nick_name 为 utf8mb4 varchar(50)
系统从圣诞节那天晚上开始，每天晚上固定十点多到十一点多这个时段，大概瘫痪1h左右，过这时段系统自动恢复。系统瘫痪时的现象就是，网页和App都打不开，请求超时。系统架构：
刚入职的时候，同事就提醒过我，涉及三四张表的时候，数据量大，尽量不用连表查询，用单表。我最近还真的是遇到了。因为联表查询导致引发的慢sql。
尝试新增一个联合索引后，执行效率确实有所提升。不过发现当WHERE条件值换成一个新的取值时，第一次执行总是比较慢。
墨墨导读：经常会看到看到cpu 使用率非常高的情况。在这种情况下，资源的使用监控分析才是性能故障分析的根本首要任务，通过这些分析，理解服务器如何运行，资源损耗在哪些方面对问题进行故障诊断是非常有价值有意义的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
