MySQL的实战系列:大字段如何优化 # 背景 线上发现一张表,1亿的数据量,物理大小尽然惊人的大,1.2T 最终发现,原来有很多字段,10个VARCHAR,1个文本 这么大的表,会给运维带来很大的痛苦...测试后发现,65535并不是最大限制,最大的限制是65532 [MySQL 5.6.27] * char的最大限制是: N<=255 root:test> create table test( a...------+ 1 row in set (0.02 sec) * 页类型的比较 [root()@xx script]# python py_innodb_page_info.py /data/mysql_data...vs一列大字段 多个大字段会导致多次关闭页 root:test> show create table t_3_col; +---------+--------------------------...如果有多个大字段,尽量序列化后,存储在同一列中,避免多次off-page 将文等大字段从主表中拆分出来,a)存储到键值中b)存储在单独的一张子表中,压缩并且 必须保证一行记录小于8K
有一个longtext字段,用于存储长文本,仅万条数据,InnoDB存储文件就达G级,由于是一个小项目,受限于服务器与运维人员水平,不适合使用hdfs,MongoDB等拓展技术栈来解决这种问题,因此直接对mysql...涉及mysql基础知识 一、innodb存储引擎的处理方式 1.mysql在操作数据的时候,以page为单位 不管是更新,插入,删除一行数据,都需要将那行数据所在的page读到内存中,然后在进行操作,这样就存在一个命中率的问题...树底层的叶子节点为一双向链表,因此每个页中至少应该有两行记录,这就决定了innodb在存储一行数据的时候不能够超过8k,但事实上应该更小,有一些InnoDB内部数据结构要存储以及预留操作空间, 3.blob,text大字段...innodb只会存放前768字节在数据页中,而剩余的数据则会存储在溢出段中(发生溢出情况的时候适用),最大768字节的作用是便于创建前缀索引/prefix index,其余更多的内容存储在额外的page
思路: 1:由于日志查询问题,没看到日志之前怀疑:MYSQL数据库字段长度是否真的足够,排查问题未果。...at com.mysql.jdbc.MysqlIO.send(MysqlIO.java:3681) at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java...:2512) at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2683) at com.mysql.jdbc.ConnectionImpl.execSQL...(ConnectionImpl.java:2486) at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java...:1858) at com.mysql.jdbc.PreparedStatement.executeUpdateInternal(PreparedStatement.java:2079) at com.mysql.jdbc.PreparedStatement.executeUpdateInternal
MySQL不同存储引擎可能会有不同。下面的内容以InnoDB为主。 选择数据类型的步骤 确定合适的大类型:数字、字符串、时间、二进制 确定具体的类型:有无符号、取值范围、变长定长等。...MySQL检索CHAR不会使用末尾的空格。(列是定长的,MySQL没有存储写入的字符串有多长,只好一刀切,末尾的空格都忽略掉。) VARCHAR末尾的空格不会被“干掉”,检索的时候会用到。...MySQL只能对BLOB和TEXT的前面max_sort_length各字符进行排序和索引。 BLOB和TEXT都不能有default value。...而MySQL在检索BIT的时候会将其当做字符串,而不是整数,这可能会导致一些奇怪的行为。 不建议使用这三个类型:用整数代替。 一些原则 选择最小的满足需求的数据类型。...一般情况下,应该尽量使用可以正确存储数据的最小数据类型。 简单就好。
一.数值类型 Mysql支持所有标准SQL中的数值类型,其中包括严格数据类型(INTEGER,SMALLINT,DECIMAL,NUMBERIC),以及近似数值数据类型(FLOAT,REAL,DOUBLE...对于小数点后面的位数超过允许范围的值,MySQL 会自动将它四舍五入为最接近它的值,再插入它。 DECIMAL 数据类型用于精度要求非常高的计算中,这种类型允许指定数值的精度和计数方法作为选择参数。...忽略 DECIMAL 数据类型的精度和计数方法修饰符将会使 MySQL 数据库把所有标识为这个数据类型的字段精度设置为 10,计算方法设置为 0。...三.日期和时间类型 在处理日期和时间类型的值时,MySQL 带有 5 个不同的数据类型可供选择。它们可以被分成简单的日期、时间类型,和混合日期、时间类型。...MySQL 会自动使用系统当前的日期和时间来填充它。 复合类型 MySQL 还支持两种复合数据类型 ENUM 和 SET,它们扩展了 SQL 规范。
MySQL中定义数据字段的类型对你数据库的优化是非常重要的。 MySQL支持多种类型,大致可以分为三类:数值、日期/时间和字符串(字符)类型。...---- 数值类型 MySQL支持所有标准SQL数值数据类型。...这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC),以及近似数值数据类型(FLOAT、REAL和DOUBLE PRECISION)。...BIT数据类型保存位字段值,并且支持MyISAM、MEMORY、InnoDB和BDB表。 作为SQL标准的扩展,MySQL也支持整数类型TINYINT、MEDIUMINT和BIGINT。...每个时间类型有一个有效值范围和一个"零"值,当指定不合法的MySQL不能表示的值时使用"零"值。 TIMESTAMP类型有专有的自动更新特性,将在后面描述。
数据类型分类 对于数据类型分类,这里简单分为数值类型(如BIT,BOOL,INT),文本、二进制类型(如CHAR,VARCHAR),时间日期(DATE),String类型(如ENUM类型),这里简单了解一下即可...tinyint类型 用tinyint数据类型创建表t1: mysql> create table if not exists t1( -> num tinyint -> ); 插入tinyint...of range value for column 'num' at row 1 mysql> 用tinyint unsigned数据类型创建表t2: mysql> create table if not...反过来,我们如果已经有数据被插入到MySql中了,一定是插入的时候是合法的 所以MySql中一般而言,数据类型本身也是一种约束,约束程序员尽可能进行正确的插入,约束使用者,如果你不是一个很好的使用者,...bit数据类型的表t3: mysql> create table if not exists t3( -> id int, -> online bit(1) -> ); Query
MySQL的数据类型 在MySQL中有如下几种数据类型: (1)数值型 数值是诸如32 或153.4 这样的值。...列(字段)的类型比数据类型更为细化,它精确地描述了给定表列(字段)可能包含的值的种类,如是否带小数、是否文字很多。 MySQL有整数和浮点数值的列类型,如表1所示。整数列类型可以有符号也可无符号。... 3.23 ) 表3:数值列类型的存储需求 MySQL提供了五种整型: TINYINT、SMALLINT、MEDIUMINT、INT和BIGINT INT...2.3日期时间列类型 MySQL 提供了几种时间值的列类型,它们分别是: DATE、DATETIME、TIME、TIMESTAMP和YEAR。...下表给出了MySQL 为定义存储日期和时间值所提供的这些类型,并给出了每种类型的合法取值范围。
MySQL数据类型 数据类型 指定值和范围 char String(0~255) varchar String(0~255) tinytext String(0~255) text String(0~65536...YYYY-MM-DD HH:MM:SS timestamp YYYYMMDDHHMMSS time HH:MM:SS enum 选项值之一 set 选项值子集 boolean tinyint(1) 数值数据类型...一个小的整数 MEDIUMINT 一个中等大小的整数 INT 一个标准整数 BIGINT 一个大整数 DECIMAL 定点数 FLOAT 单精度浮点数 DOUBLE 双精度浮点数 BIT 一个字节字段 字符串数据类型...格式的时间值 DATETIME YYYY-MM-DD hh:mm:ss格式的日期和时间值 TIMESTAMP YYYY-MM-DD hh:mm:ss格式的时间戳记值 YEAR YYYY或YY格式的年 空间数据类型...MySQL 5.7.8版本支持原生JSON数据类型,可以更有效地存储和管理JSON文档。
mysql 数据类型 MySQL数据类型 含义(有符号) tinyint(m) 1个字节 范围(-128~127) smallint(m) 2个字节 范围(-32768~32767) mediumint...浮点型(float和double) MySQL数据类型 含义 float(m,d) 单精度浮点型 8位精度(4字节) m总个数,d小数位 double(m,d) 双精度浮点型 16位精度(8字节) m总个数... 字符串(char,varchar,_text) MySQL数据类型 含义 char(n) 固定长度,最多255个字符 varchar(n) 固定长度,最多65535个字符 tinytext...日期时间类型 MySQL数据类型 含义 date 日期 '2008-12-2' time 时间 '12:25:36' datetime 日期时间 '2008-12-2 22:06:44' timestamp...数据类型的属性 MySQL关键字 含义 NULL 数据列可包含NULL值 NOT NULL 数据列不允许包含NULL值 DEFAULT 默认值 PRIMARY KEY 主键 AUTO_INCREMENT
数据类型分类 简单看一下数据可常见类型: 数值类型 tinyint类型 创建一个表,表中内容是tinyint型有符号: mysql> create table if not exists t1 (...sec) mysql> insert into t1 values (-1); Query OK, 1 row affected (0.00 sec) mysql> insert into t1...总结: 如果插入的数据超过MySQL数据类型的范围,那么MySQL就不让你插入,直接拦截,不让做对应的操作。...如果已经有数据被成功插入到MySQL中,那么插入的时候一定是合法的。 因此,MySQL中,一般而言,数据类型本身也是一种约束。...mysql> insert into votes values('貂蝉','女','代码'); Query OK, 1 row affected (0.01 sec) mysql> insert into
数据类型实际上也是对数据的一种约束。...一.数据类型分类 二.数值类型 三.tinyint类型 数值越界测试: mysql> create table tt1(num tinyint); Query OK, 0 rows affected...(0.02 sec) mysql> insert into tt1 values(1); Query OK, 1 row affected (0.00 sec) mysql> insert into...无符号案例: mysql> create table tt2(num tinyint unsigned); mysql> insert into tt2 values(-1); -- 无符号,范围是...需要注意的是,65532是建表时的最大字节数,也就是说,若要让varchar有这么大的空间,必不能包含其他类型的字段。
MySQL 数据类型 MySQL中定义数据字段的类型对你数据库的优化是非常重要的。 MySQL支持多种类型,大致可以分为三类:数值、日期/时间和字符串(字符)类型。...---- 数值类型 MySQL支持所有标准SQL数值数据类型。...这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC),以及近似数值数据类型(FLOAT、REAL和DOUBLE PRECISION)。...BIT数据类型保存位字段值,并且支持MyISAM、MEMORY、InnoDB和BDB表。 作为SQL标准的扩展,MySQL也支持整数类型TINYINT、MEDIUMINT和BIGINT。...每个时间类型有一个有效值范围和一个"零"值,当指定不合法的MySQL不能表示的值时使用"零"值。 TIMESTAMP类型有专有的自动更新特性,将在后面描述。
数值类型 MySQL支持所有标准SQL数值数据类型。...这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC),以及近似数值数据类型(FLOAT、REAL和DOUBLE PRECISION)。...BIT数据类型保存位字段值,并且支持MyISAM、MEMORY、InnoDB和BDB表。 作为SQL标准的扩展,MySQL也支持整数类型TINYINT、MEDIUMINT和BIGINT。...每个时间类型有一个有效值范围和一个"零"值,当指定不合法的MySQL不能表示的值时使用"零"值。 TIMESTAMP类型有专有的自动更新特性,将在后面描述。
MySQL之数据类型 MySQL常见的数据类型有数值、日期和时间、字符串 数值 整数类型(精确值) Integer Types (Exact Value) - INTEGER, INT, SMALLINT...MySQL进行舍入时存储的值,所以如果你插入999.00009成浮(7,4)柱,近似的结果是999.0001 If M and D are omitted, values are stored to the
mysql数据的数据类型,指定了字段的类型,不符合指定的字段类型,传入的值则会提示错误; ?...上图思维导图简单的总结了常用的数据类型,下面简单的解释下每种数据类型 1.整数型 一般年龄的存储使用tinyint,其他没有特殊要求一般用int就ok; 2.小数类型 上述的浮点型精确度不够,我们可以使用...每个时间类型有一个有效值范围和一个"零"值,当指定不合法的MySQL不能表示的值时使用"零"值。 ...mysql中常用timestamp 4.字符串类型 字符串类型指CHAR、VARCHAR、BINARY、VARBINARY、BLOB、TEXT、ENUM和SET。
它可以用来表示某个 字段(列) 的数据内容格式是数字(例123)还是字符(例"一二三") ,可以控制字段的字符长度和硬盘占用空间; MySQL常用数据类型:[数值]、[日期时间]和[字符串]类型。...一、数值 1、整型 MySQL数据类型 含义(有符号) tinyint 1个字节范围(-128~127) smallint 2个字节范围(-32768~32767) mediumint 3个字节范围(-...int(m)里的m是表示SELECT查询结果集中的显示宽度,无实际意义,不影响实际的取值范围 2、浮点型 MySQL数据类型 含义 float(m,d) 单精度浮点型8位精度(4字节)m总个数,d小数位...---- 二、字符串 MySQL数据类型 含义 char(n) 固定长度最多255个字符 varchar(n) 可变长度最多65535个字符 tinytext 短文本字符串最多255个字符 text 长文本数据最多...[字段名] 数据类型为[字符串] (字符长度小于6) ,插入数据时 [不能为空] MySQL关键字 含义 NULL 数据列可包含NULL值 NOT NULL 数据列不允许包含NULL值 DEFAULT
MySQL数据类型优化 作者的故事 原本觉得mysql数据类型是非常简单并十分基础的知识,认为自己掌握的差不多了。但经过上一次的面试,才发现自己掌握的并不牢固,很多细节和原理并不知道。...后来翻阅了《高性能mysql》这本书,仔细阅读了第四章Schema与数据类型优化。因此,写这篇文章记录和总结下,并加深理解。...选择优化的数据类型 不管存储哪几种类型,以下几个简单的原则都有助于做出更好的选择 更小的通常更好 简单就好 尽量避免null 整数类型 数据类型 存储空间 TINYINT 8位 SMALLINT 16位...MySQL可以为整数类型指定宽度,例如INT(11),对大多数应用是没有意义的,他不会限制值的合法范围,只是规定了MySQL的一些交互工具(如MySQL命令行客户端)用来显示字符的个数。...总结 本篇文章主要是介绍MySQL常用的数据类型,如有错误或者不准确的地方,欢迎交流。
领取专属 10元无门槛券
手把手带您无忧上云