首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MYSQL数据量过大查询过慢配置优化innodb_buffer_pool_size 实践笔记

MYSQL数据量过大查询过慢配置优化innodb_buffer_pool_size 实践笔记 0.问题场景 注意 独立服务器 共享服务器 0.问题场景 有张,里面有300多万数据, 使用select...因为其它的东西也需要内存: 每个查询至少需要几K的内存(有时候是几M) 有各种其它内部的MySQL结构和缓存 InnoDB有一些结构是不用缓冲池的内存的(字典缓存,文件系统,锁系统和页哈希等) 也有一些...MySQL文件是在OS缓存里的(binary日志,relay日志,innodb事务日志等) 此处,你也必须为操作系统留出些内存 共享服务器 如果你的MySQL服务器与其它应用共享资源,那么上面80%的经验就不那么适用了...首先让我们来统计一下InnoDB的实际占用大小。...不过大多数情况你不需要那样做,你只需要缓存你经常使用的数据集。 设置好之后,我们来看看如何检查InnoDB缓冲池大小是否设置足够。

95520
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL-操作

    数据操作 复制表结构和数据 复制已有结构 CREATE [TEMPORARY] TABLE [IF NOT EXISTS] 名 {LIKE 旧表名 | (LIKE 旧表名) } 复制已有数据 INSERT...[INTO] 数据1 [(字段列表)] SELETC [(字段列表)] FROM 数据名2; 注意:若数据中含有主键,而主键具有唯一性,所以在数据复制时还要考虑主键冲突的问题 拓展 临时的创建...: CREATE TEMPORARY TABLE 数据库.名 (表单) 解决主键冲突 在数据插入数据的时候,若中的主键含有实际的业务意义 主键冲突更新 主键冲突更新操作是指,当插入数据的过程若发生主键冲突...清空数据 除了DELETE语句可以删除数据外,还可以利用TRUNCATE清空数据中的全部数据。...分组与聚合函数 分组 在MySQL中,可以使用GROUP BY 根据一个或多个字段进行分组,字段值相同的为一组。另外对于分组的数据可以使用HAVING进行条件筛选。

    2K10

    MySQL&约束&事务

    DQL操作 排序 # 通过 ORDER BY 子句,可以将查询出的结果进行排序(排序只是显示效果,不会影响真实数据) SELECT 字段名 FROM 名 [WHERE 字段 = 值] ORDER...违反约束的不正确数据,将无法插入到中 常见的约束 约束名 约束关键字 主键 primary key 唯一 unique 非空 not null 外键 foreign key 主键约束 特点:不可重复...ALTER TABLE emp2 DROP PRIMARY KEY; --主键的自增 # 主键如果让我们自己添加很有可能重复,我们通常希望在每次插入新记录时,数据库自动生成主键字段的值 -- 创建主键自增的...持 久 性 一旦事务执行成功,对数据库的修改是持久的。就算关机,数据也是要保存下来的. MySQL 事务隔离级别 一个数据库可能拥有多个访问客户端,这些客户端都可以并发方式访问数据库....查询得到的数据状态不准确,导致幻读 四种隔离级别 隔离级别相关命令 # 查看隔离级别 select @@tx_isolation; # 设置事务隔离级别,需要退出 MySQL 再重新登录才能看到隔离级别的变化

    1.2K30

    MySQL用全库备份数据恢复数据

    备份数据库时,采用了全库备份,但是因为某些原因需要回滚一个数据到备份数据库上,如果回滚整个库就比较费时间,因为可能这个只有几十M,但是其它可能有十几上百G,这时候就需要将需要恢复的提取出来了...现在有备份库fdcsqlMySQL-2018_11_30-03_00_01.sql,里面有多张,现在需要恢复其中fdc_document这张数据 提取建表语句 sed -e '/....d;}' -e 'x;/CREATE TABLE `名`/!d;q' mysqldump.sql(备份文件的文件名) sed -e '/./{H;$!...40101 SET character_set_client = @saved_cs_client */; 提取数据 grep 'INSERT INTO名' mysqldump.sql(备份文件的文件名...,就可以正常恢复数据了 建库建 先创建数据库,再根据上面的SQL语句创建fdc_document 导入数据 MySQL [document]> souce /data/backup/mysql/

    92810

    mysql存储量

    网上常说mysql2kw就需要考虑分了,但生产中我们也用过2亿的,而且毫无压力。所以记录一下为什么2kw就要分是依据什么原理,生产大概要注意什么。...1 存储原理这里只关注B+树的存储图片在MySQL中,为了保存内存地址,通常使用6字节来存储指针。...但是一般mysql到了第三层就差不多了,只需要通过3次IO,就可以读取到数据所在的叶子结点的页。至于提取需要的记录,则需要在内存中进行一次条件匹配。2 扩展这里2kw的原理就是这样的假设前提的。...如果是个小,一条数据不够1k,如0.1k,则第三层为2kw*2=2亿,3次IO也是问题。如果就是1k,256亿条以内的记录,也就是4次IO,真的有想象中的那么不堪吗?不一定!...4、为什么6 byte存储地址这是因为MySQL在32位系统上使用4字节来存储指针,而在64位系统上使用8byte来存储指针。为了在不同系统上保持兼容性,MySQL选择了6byte作为指针的存储长度。

    28020

    MySQL恢复步骤详解

    万幸的是,只是写花了,而不是哪位大神在DB里面玩drop table。...虽然已经很久没进行恢复了,但大致步骤都还在脑海中,没花多久就搞定了~ 言归正传,记录一下恢复的步骤和关键点,提醒自己也提醒大家。...第四步: 在主库上将写花的改名,其目的有二个,其一,停止对这个的写入(当然这对业务会有一定的影响,会出现一段时间内的写入失败报警,需要提前和业务部门联系好),其二,一旦恢复失败,至少还有一个写花的存在...第五步: 基本DBA的事情就没有了,这时候就需要告诉开发同学恢复完毕,进行应用测试及数据正确性效验了。如果一切都没有问题之后,我们需要将刚才rename的drop掉,整个恢复操作就算大功告成了。...drop table if exists tablename_bak; 数据库恢复是每个DBA必备的技能,需要熟练掌握,希望读过这篇文章的同学们都可以轻车熟路的进行恢复操作。

    2.2K10

    MySQL查询详细解析

    一、关键字的执行优先级   1,from:找到   2,where:拿着where指定的约束条件,去文件/中取出一条条数据   3,group by:将取出的一条条数据进行分组,如果没有group...*12,是因为我们通过查询语句查询出来的也是一张,但是这个是不是内存当中的一个虚拟,并不是我们硬盘中存的那个完整的,对吧,虚拟是不是也有标题和记录啊, 既然是一个,我们是可以指定这个虚拟的标题的...name, salary*12 AS Annual_salary FROM employee; #as + 新字段名,就是起一个别名的意思,上面的那个salary*12的字段名也是一个别名,只不过不直观,是MySQL...100   3,in(80,90,100)   4,like 'ee%' 模糊匹配,%表示任意多字符,_表示一个字符   5,逻辑运算符:在多个条件直接可以用逻辑运算符 and or not #1:条件查询...group by post;#按照岗位分组,并查看每个组有多少人,每个人都有唯一的id号,我count是计算一下分组之后每组有多少的id记录,通过这个id记录我就知道每个组有多少人了 关于集合函数,mysql

    2.6K11

    MySQL十四:最大2000W行数据

    转载~ 在互联网技术圈中有一个说法:「MySQL 数据量大于 2000 W行,性能会明显下降」。网传这个说法最早由百度传出,真假不得而知。但是却成为了行业内一个默认的标准。...超过2000W行数据一定会导致性能下降吗?我认为是不一定的,虽然说建议不超过2000W,但是我不接受它的建议可不可以?那必然也是可以的。...一、最大到底能存多少数据 先来看看下面这张图,了解一下mysql各个类型的大小 我们知道在MySQL是支持主键自增长的,不考虑其他因素的前提下,理论上只有主键没有用完,中的数据就可以一直增加。...但是数据量的大小却跟2000W没啥影响,既然百度大佬推荐最大2000W行数据,那肯定不会是空口白话,一定定会有其他影响行数的因素」。...2.1 数据存储的结构 在MySQL中默认的存储引擎是InnoDB,在之前的《存储引擎》中有说过,InnoDB为每个都生成了两个文件: .frm文件:结构文件 .ibd文件:数据文件(聚簇索引包含数据与索引

    4.6K50
    领券