首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MySQL 的 count(*) 的优化,获取千万级数据的总行数

来源:blog.csdn.net/LJFPHP/article/details/84400400 一、前言 这个问题是今天朋友提出来的,关于查询一个1200w的数据的总行数,用count(*)的速度一直提不上去...找了很多优化方案,最后另辟蹊径,选择了用explain来获取行数。 二、关于count的优化 网上关于count()优化的有很多。...这两个函数默认使用的是数据中最短的那个索引字段。我朋友这边因为中只有一个索引字段,所以使用count(1)和count()没什么区别。...三、使用explain获取行数 1、关于explain 关于explain,使用mysql的都知道,这个函数是专门用于查看sql语句的执行效率的,网上可供参考的文章很多。...我们使用explain之后,会看到返回很多参数,其中: rows:显示MySQL认为它执行查询时必须检查的行数。就是这个东西了,既然我们要获取的是数据行数,那么可以使用: ?

3.5K20

mysql源和目标端行数检查

导数据是很长有的事, 导完了总得检查一下把, 云上有DTS很方便, 但是有的环境只能手动导数据了, 这比较就比较麻烦了, 或者是用户自己导的, 让你检查检查, 总之检查两个库之间的数据量是很常见的工作...我分享下脚本检查mysql两库之间数据行数的脚本吧. 这个脚本是mysql的, 也可以改一改给pg或者oracle用, 我就不写了哈 1....例子: 并行度默认是本机线程数的2倍 默认该库所有 image.png 也可以手动指定库名: image.png 4. 脚本如下: #!.../bin/env bash #write by ddcw at 2021.06.26 #检查mysql数据是否一致, 只检查行数量 #用法, sh $0.sh src_user/src_passowrd...'{print $1}')\033[0m" echo -e "一致的: ${same_tbale} \t 不一致的: ${no_same_tbale}" } init_param # echo

95820
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Mysql获取数据的总行数count(*)很慢

    引擎把一个的总行数存在了磁盘上,因此执行count(*)的时候直接返回个数,效率很高 而innoDB引擎就麻烦了,他的执行count(*)的时候,是一行行的累加计数 当然我们要知道此事的说的是没有带条件的...,在保证逻辑正确的前提下,尽量减少扫描的数据量,是数据库优化的通用手段之一 此时你可能还依稀记得下面命令可以获取行的数量,但是据官方说明,这个命令返回的行数,是不准确的,只有达到40-50%,所以这个命令也不能直接使用...服务来保存这个行数,这个每插入一条数据,redis就加1,每次删除就减一,试想一下还有什么问题吗 缓存系统可能会发生数据丢失,由于redis不能永久的存储在内存中,因此我们可能会想到持久化存储起来...比如有个页面要显示近期操作的100条记录和操作数,这页面的逻辑就是到redis获取总数,再到数据库获取100条记录,如下两种会发生数据不一致的情况 查询到100结果里面有最新插入的数据,而redis...索引count(*),count(1),count(id),都表示返回满足条件的结果集的总行数,而count(字段)则表示满足条件的数据行里面,参数字段不为null的个数 count(主键id) innodb

    5K20

    JS获取GIF帧数

    前言 有一个Gif图片,我们想要获取它的帧数,超过一定帧数的图片告知用户不可上传,在服务端有很多现成的库可以使用,这种做法不是很友好,前端需要先将gif上传至服务端,服务端解析完毕后将结果返回,大大降低了用户体验...那么如何通过js在上传前就拿到它的帧数来判断呢?本文就跟大家分享一种解决方案,并将其封装成插件发布至npm仓库,欢迎各位感兴趣的开发者阅读本文。...Size of Global Color Table 全局颜色的大小,如果值为1,则该字段中的值用于计算全局颜色中包含的字节数。...Image Left Position 图像左位置,图像左边缘距离逻辑屏幕左边缘的行数(以像素为单位) Image Top Position 图像顶部位置,图像顶部边缘相对于逻辑屏幕顶部边缘的行数(以像素为单位...gif的宽度是748px,高度是358px gif的时长为11400ms,总共有114帧 image-20220526204406993 插件地址 该插件已发布至npm,地址为请移步: npm地址:

    7.5K30

    MySQL十四:单最大2000W行数

    转载~ 在互联网技术圈中有一个说法:「MySQL数据量大于 2000 W行,性能会明显下降」。网传这个说法最早由百度传出,真假不得而知。但是却成为了行业内一个默认的标准。...单超过2000W行数据一定会导致性能下降吗?我认为是不一定的,虽然说建议单不超过2000W,但是我不接受它的建议可不可以?那必然也是可以的。...一、单最大到底能存多少数据 先来看看下面这张图,了解一下mysql各个类型的大小 我们知道在MySQL是支持主键自增长的,不考虑其他因素的前提下,理论上只有主键没有用完,中的数据就可以一直增加。...但是数据量的大小却跟2000W没啥影响,既然百度大佬推荐单最大2000W行数据,那肯定不会是空口白话,一定定会有其他影响行数的因素」。...2.1 数据存储的结构 在MySQL中默认的存储引擎是InnoDB,在之前的《存储引擎》中有说过,InnoDB为每个都生成了两个文件: .frm文件:结构文件 .ibd文件:数据文件(聚簇索引包含数据与索引

    4.6K50

    获取导入百分比,使用easyexcel获取导入excel行数

    背景 分批读取大量数据的excel文件,每次读取1000行数据,然后插入数据库,并且去执行一个方法,执行完毕后更新此行数据的状态。需要获取已更新数据的占比,即计算百分比。...因为可能一次读取的1000行数据更新状态很快,直接1000/1000 * 100=100%了。 但实际上excel文件中实际有1w行数据,那么我们要获取excel的总行数。...方法 使用easyexcel获取行数,记录一下, 在创建监听器时,重写invoke方法时,使用下面代码获取行数(含表头): public void invoke(DemoData data, AnalysisContext...context) { // 获取行数(含表头) Integer rowNumber = context.readSheetHolder().getApproximateTotalRowNumber(...); } 目前只能获取大概的条数(每个excel都会记录一个条数,但是这个条数由于各种空行等原因,不一定正确),无法精确获取,要精确获取的自己在监听器里面一条条统计 监听器举例: // 有个很重要的点

    1K10

    为什么说MySQL行数不要超过2000w?

    作为在后端圈开车的多年老司机,是不是经常听到过,“mysql最好不要超过 2000w”,“单超过 2000w 就要考虑数据迁移了”,“你这个数据都马上要到 2000w 了,难怪查询速度慢” 这些名言民语就和...单数量限制 首先我们先想想数据库单行数最大多大?...单建议值 下面我们就以 3 层,2 分叉(实际中是 M 分叉)的图例来说明一下查找一个行数据的过程。...,其实这个最大建议值也是不同的,而且影响查询性能的还有很多其他因素,比如,数据库版本,服务器配置,sql 的编写等等,MySQL 为了提高性能,会将的索引装载到内存中。...索引结构不会影响单最大行数,2kw 也只是推荐值,超过了这个值可能会导致 B + 树层级更高,影响查询性能。

    66320

    python如何获取word文档的页数

    并且需要展示每个文档的页数。 利用AI. 分别尝试了chatGPT, 文心一言, github copilot,Kimi 等工具,给出来的答案都不尽如人意。 给的最多的查询方式就是下面这种。...使用python-docx的方式,是没有办法获取文档页数的。 如果想获取,也只能是获取一个近似值,大体就是根据每个页面平均有多少个段落,或者平均有多少行的方式,近似的得到一个结果。完全是不准确的。...那么如果想要获取页数,应该怎么办呢? 经过一番调研这里给出两种解决方案,两种方案也都各有优缺点。可能也不一定是完全准确的,但是相比于上面的方式还是要好出很多。...所以无论我们使用paged还是使用elements,都可以从返回结果(集合)中通过获取page_number的最大值,来得到该文档的页数。...没啥好办法,word2pdf 的确,没啥好的办法了,只能先把word转换为pdf, 然后获取pdf的页数。 pdf的页数获取还是很简单的,很多pdf相关工具,都有这个功能,也就一行代码的事。

    22800
    领券