redo是引擎层的日志，而且是InnoDB特有的。InnoDB的redo log是有固定大小的，比如可以配置为 一组4个文件（logfile-1，logfile-2，logfile-3，logfile-4），每个文件的大小是1GB，那么它总共可以记录4GB的操作。一个环状循环结构，从头开始写，写到末尾又回到开始循环写。
在我们平时工作或学习的过程中，有时需要在数据库中生成大量的测试数据，这个时候，我们可以利用mysql内存表插入速度快的特点，先利用函数和存储过程在内存表中生成数据，然后再从内存表插入普通表中。经过我的测试，这种方案插入数据是非常快的。
SQL优化中，有一条放之四海而皆准的既定方针，那就是：永远以小数据驱动大数据。其本质其实就是以小的数据样本作为驱动查询能够优化查询效率，在SQL中，涉及到不同表数据的连接、转移、或者合并，这些操作必须得有个数据集作为“带头”大哥，即驱动数据，而这个驱动数据最好是数据量最小的那一个。
我们在写代码的时候非常忌讳出现n+1次查询，这就意味的你的循环有多少次，就会查询多少次数据库，这是很恐怖的场景。
可问题来了，主表brand只有两条数据，但是查出来了三条数据，vehicle表有三条数据，却查出来五条，并不能正确展示主表数据。
本文若未特意说明使用的数据表，均为 MySQL索引（四）常见的索引优化手段 中的示例表。
网络上有不少Kettle的文章，但实际上都大同小异，都是些非常基础的文章，实际上在使用过程中还有遇到不少的坑，这部分在网上资料比较少，这里主要讲一下我们在使用过程中遇到的各种问题，属于难得的实践经验。
问题描述： 自循环删除,大概意思就是删除一个表里的部分数据，这些数据所满足的条件也在自己表里 ，我有点儿晕，直接上代码，这是select出来的，正常流程，如果要删除直接改成delete from …就行了
今天聊聊mysql表join连接，其本质是拿主表每条数据取出来和子表每行数据进行循环比较，如果满足则返回，不满足返回null
在sys_yacc.yy文件内解析t1 left join t2 on t1.c=t2.a;对应处理位置
最近线上突然发现一张表每天会产生500w条的数据，一个月下来发现已经接近8000w条的数据，达到90G之大的数据，之前在系统没有升级之前一年才产生100w左右的记录，估计开发的程序或者逻辑出现问题了，不管怎么样，作为运维发生问题，第一时间先以解决问题为第一位，所以这里总结一下删除大表数据的经验。
点击下载MySql.Data.dll 引用 using MySql.Data.MySqlClient; MySqlConnection con = new MySqlConnection(); 数据库连接配置 /// /// 数据库连接配置 /// public void OpenDatabase() { con.ConnectionString = "Data Source=连接地址;User ID=登录名;Password=密码;DataBase=数据库
mysql只支持一种join算法：Nested-Loop Join（嵌套循环连接），但Nested-Loop Join有三种变种：
上一篇文章已经编写了mysql查询以及生成请求api的body数据，那么本章节我们来继续编写解决body序列化json过程中的datetime转化问题。
本次因为服务架构重构，表优化、重构，带来的任务就是需要从原来的mysql数据库中，读取原表数据（部分存在多张关联查询）然后通过调用API的服务方式灌入新的数据库表中（包含mysql、mongodb）。
这个功能刚上线不久，起初查询和导出速度都是蛮快的，把这个SQL放到测试环境也是挺快的。
大多数SQL语句都是针对一个或多个表的单条语句。并非所有的操作都怎么简单。经常会有一个完整的操作需要多条才能完成
1、将经常要用到的字段（比如经常要用这些字段来排序，或者用来做搜索），则最好将这些字段设为索引 2、字段的种类尽可能用int或者tinyint类型。另外字段尽可能用not null 3、当然无可避免某些字段会用到text，varchar等字符类型，最好将text艾段的单独出另外一个表出来（用主键关联好） 4、 字段的类型，以及长度，是一个很考究开发者优化功力的一个方面。如果表数据有一定的量了，不妨用PROCEDURE ANALYSE()命令来取得字段的优化建议！（在phpmyadmin里可以在查看表时，点
上一篇存储过程&自定义函数，对存储过程和自定义函数做了一个简单的介绍，但是如何能够写出复杂的存储过程和函数呢？
MySQL本身并没有对单表最大记录数进行限制，这个数值取决于你的操作系统对单个文件的限制本身。业界流传是500万行。超过500万行就要考虑分表分库了。
前几天开发突然有这么一个需求，想导一份200多G的MySQL数据出来到另一台机器上，而且时间有点赶，第一时间就想要使用Xtrabackup来全备与增备。但想到之前使用Xtrabackup来备份恢复的时候出现了各种坑，就问了下同事有什么好建议来快速导出导入数据，后来知道了可以使用select into outfile导出表数据，就冒着尝试一下的心里去弄了一下，得到的结果是惊人的，个人感觉速度要比Xtrabackup快很多。
分析一下：数据库中性别用数字表示的，我们需要将其转换为（男、女），可以使用if函数。
IN和EXISTS被频繁使用在SQL中，虽然作用是一样的，但是在使用效率谁更高这点上众说纷纭。下面我们就通过一组测试来看，在不同场景下，使用哪个效率更高。
清空表数据可不是小事情，一个手抖全没了，删库跑路？如果加limit，删错也只是丢失部分数据，可以通过binlog日志快速恢复的。
其实对于上面的观点一定程度上是正确的，但不是完全正确。但之所以流传这么广，主要还是没有搞清楚实际状态，而根据实际使用中总结出来的一些模糊规律。只有了解的MySQL的Join实际执行方式，就会知道上面2种观点是一种模糊的规律，这种规律并不能指导我们实际开发。下面就说说MySQL的实际join执行方式。
最近，有一个业务需求，给我一份数据 A ，把它在数据库 B 中存在，而又比 A 多出的部分算出来。由于数据比较杂乱，我这里简化模型。
存储引擎是 MySQL 中具体与文件打交道的子系统，它是根据 MySQL AB 公司提供的文件访问层抽象接口定制的一种文件访问机制，这种机制就叫作存储引擎 。
1.SQL优化 1.1 sql只取所需字段不要 * 1.2 非业务需求无法解决情况下,不在SQL当中使用函数 1.3 删除时,务必记得删除相关表数据 1.4 尽量不要使用FULLTEXT全文索引作为MySQL索引类型的创建 1.5 做同一个记录修改时，尽量不要删掉再插入一个 1.6 对于大数据量的表(超过1000万),坚决不跨库,不联表 1.7 where语句后字段区分度高的放在前,字段区分度低的放在后 正例:WHERE id = 10086 AND gender = ‘男’ 反例:WHERE g
1.SQL优化 1.1 sql只取所需字段不要 * 1.2 非业务需求无法解决情况下,不在SQL当中使用函数 1.3 删除时,务必记得删除相关表数据 1.4 尽量不要使用FULLTEXT全文索引作为MySQL索引类型的创建 1.5 做同一个记录修改时，尽量不要删掉再插入一个 1.6 对于大数据量的表(超过1000万),坚决不跨库,不联表 1.7 where语句后字段区分度高的放在前,字段区分度低的放在后 正例:WHERE id = 10086 AND gender = ‘男’ 反例:WHERE ge
慢查询指的是数据库中查询时间超过了指定的阈值的SQL，这类SQL通常伴随着执行时间长、服务器资源占用高、业务响应慢等负面影响。随着携程酒店业务的不断扩张，再加上大量的SQLServer转MySQL项目的推进，慢查询的数量正在飞速增长，每日的报警量也居高不下，因此慢查询的治理优化已经是刻不容缓，此文主要针对MySQL。
1. 简介 Metadata Lock，顾名思义，是对元数据的保护。MDL 是在 5.5 中引入的，之前版本对于元数据也有保护，但实现为语句级别的，当语句结束后元数据相关的锁就会被释放掉。这种实现会导致两个主要的问题： 无法实现 RR 隔离级别，比如以下场景： tx1: BEGIN;tx1: SELECT * FROM tbl; -- 获取元数据锁，返回(c1,c2)，释放元数据锁tx2: ALTER TABLE tbl DROP COLUMN c2; -- 获取元数据锁，成功，释放元数据锁tx1: SEL
有时候往数据库里批量造数据，是为了某些测试前的必要条件。例如：导出 Excel 报表功能、性能压测时的压测数据等。
join 是 MySQL 用来进行联表操作的，用来匹配两个表的数据，筛选并合并出符合我们要求的结果集。
爱可生 DBA 团队成员，擅长故障分析、性能优化，个人博客：https://www.jianshu.com/u/a95ec11f67a8，欢迎讨论。
随着大数据时代的快速发展，企业每天需要存储、计算、分析数以万亿的数据，同时还要确保分析的数据具备及时性、准确性和完整性。面对如此庞大的数据体系，ETL工程师（数据分析师）如何能高效、准确地进行计算并供业务方使用，就成了一个难题。
表空间(Tablespace)：一个mysql实例，及一个数据库实例，可以对应多个表空间(ibd文件)，用于存储记录，索引等数据。
今天下午业务人员发现某功能无响应(该功能一天前上线)，技术人员初步诊断后发现是某个DB不太正常，DB为Mysql 5.7.18。
上一篇文章已经编写了解决datetime类型需要序列化的问题，那么本章节我们来继续编写循环请求API灌入数据，以及并发实现的初步分析。
版权声明：欢迎转载，请注明出处，谢谢。
redo log是基于磁盘的数据结构，在崩溃恢复期间用于修正未完成的事务写入的数据。
目录 一、MySQL工具类 二、MongoDB工具类 三、数据同步实现代码 一、MySQL工具类 # -*- encoding: utf-8 -*- import pymysql class MySQLUtil: """ MySQL工具类 """ def __init__(self, host="127.0.0.1", user=None, passwd=None, db=None, charset="utf8", *args, **kwargs): ""
本文介绍了MDL子系统的设计和实现细节，包括锁获取与释放，死锁检测，以及使用到的相关lock-free优化。
客户端访问/use_template/，服务器调用对应的视图函数，进行模板的渲染，给模板文件传递变量，将模板文件中的变量进行替换，获取替换之后的html内容，将替换之后的html内容返回给客户端，返回渲染之后的完整的html页面，客户端只是显示。
今天是学习计划的第二天，感觉自己的学习热情还是很高涨的啊，那我们就趁热打铁，开始今天的学习。 今天的学习内容是JDBC的事务控制管理。 首先是概念性的内容 事务指逻辑上的一组操作，组成这组操作的各个单元，要么全部成功，要么全部不成功。这是我对于事务的理解。 举个例子: A转账给B，对应如下的两条sql语句 update from account set money = money - 100 where name = ‘A’ update from account set money = money + 100 where name = ‘B’ 在现实生活中，这两条sql语句要么就应该同时成功，要么就应该同时失败，否则用户的账户就会产生问题。 在MySQL数据库中，默认情况下，一条sql语句就是一个单独的事务，事务是自动提交的 在Oracle数据库中，默认情况下，事务不是自动提交的，所有sql语句都处于一个事务中，需要手动进行事务提交。 数据库事务命令
最近一直在写《手撕MySQL系列》文章，我发现自己的切入点有一些问题，虽尝试深入探究MySQL中的一些关键特性，但对于MySQL的知识掌握不太能够形成较好的体系化的知识网络。我感到在对全局了解不够清晰的时候，去深究一个知识点往往会事倍功半。所以打算通过这篇文章，分析SQL语句从头到尾的执行，串连一下MySQL当中的基础知识点。
到maven仓库查看适用的mysql驱动，5.7的没有，8.0兼容5.7的，所以选择8.0的驱动
触发器，就是一种特殊的存储过程。触发器和存储过程一样是一个能够完成特定功能、存储在数据
INSERT INTO 表名 (字段名1, 字段名2, ...) VALUES (值1, 值2, ...);
分页接口的实现，在偏业务的服务端开发中应该很常见，PC时代的各种表格，移动时代的各种feed流、timeline。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
