首页
学习
活动
专区
圈层
工具
发布

mysql源和目标端表行数检查

导数据是很长有的事, 导完了总得检查一下把, 云上有DTS很方便, 但是有的环境只能手动导数据了, 这比较就比较麻烦了, 或者是用户自己导的, 让你检查检查, 总之检查两个库之间表的数据量是很常见的工作...常见的工作做多了就饭, 就写个脚本, py效果更好, 但是不如shell方便(因环境而异). 我分享下脚本检查mysql两库之间数据行数的脚本吧..../bin/env bash #write by ddcw at 2021.06.26 #检查mysql的表数据是否一致, 只检查行数量 #用法, sh $0.sh src_user/src_passowrd...echo -e "this script cost time: \033[32;40m`expr ${dtend} - ${dtbegin}`\033[0m second" echo -e "源和目标一致的表的数量...: $(wc -l ${same_tbale} | awk '{print $1}') \t 源和目标不一致的表的数量: \033[31;40m$(wc -l ${no_same_tbale} | awk

1.5K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    mysql 中select for update 锁表的范围备注

    mysql的锁表范围测试 1.主键明确时,行级锁:   解释:指定主键并且数据存在时,仅锁定指定的行,其它行可以进行操作   实例:指定了锁定id=1的行且数据存在①,在更新1时lock wait超时②...,但是更新id不为1的项目时可以直接更新③,释放锁后④,可以任意更新⑤ ?...2.主键不明确时,表级锁:   解释:指定主键不明确或者数据不存在时,整表锁定   指定主键不明确包括使用in、not in、等  ?...3.使用非主键限定时,表级锁:   解释:如果where条件中不存在主键限定而采用非主键筛选,全表锁定 ? 所以要实现行级锁来实现高并发场景时,必须明确指定主键,否则整个表锁定,影响其它线程操作。...注意:测试时请开两个窗口测试,并且 for update语句要在 begin后 commit前

    4.3K20

    MySQL 8.0 information_schema.tables表和之前版本的差异

    在做自动化运维开发过程中,需要从information_schema.tables获取MySQL表相关的元信息,发现MySQL8.0和5.7存在的差异还是比较大的;在MySQL8.0以前,通常会通过infomation_schema...(0.02 sec) 检查test1表的下一个AUTO_INCREMENT,确实是301 mysql>show create table test1\G ***********************...所以尝试了不断插入和更新test表,但tables视图的信息仍然是不准确的,也就说明table_stats的统计信息根本没有更新。...本文就不详细介绍所有的知识点,关于MySQL 8.0数据字典相关内容详细参考文章《MySQL 8.0新特性:数据字典》。针对tables视图等不准确的情况,其实是跟数据字典表和其数据缓存有关系。...如果没有缓存的统计信息或统计信息已过期,则在查询表统计信息列时将从存储引擎检索统计信息。 问题解决了,那么来捋一捋,都有哪些情况下,字典缓存中索引和表的统计信息不会自动更新呢?

    2.3K10

    TiDB 和 MySQL的差异

    基于这几大特性,TiDB 在业务开发中是值得推广和实践的,但是,它毕竟不是传统的关系型数据库,以致我们对关系型数据库的一些使用经验和积累,在 TiDB 中是存在差异的,现主要阐述“事务”和“查询”两方面的差异...TiDB 事务和 MySQL 事务的差异 MySQL 事务和 TiDB 事务对比 image.png 在 TiDB 中执行的事务 b,返回影响条数是 1(认为已经修改成功),但是提交后查询,status...可见,MySQL 事务和 TiDB 事务存在这样的差异: MySQL 事务中,可以通过影响条数,作为写入(或修改)是否成功的依据;而在 TiDB 中,这却是不可行的!...事务模板接口设计 隐藏复杂的事务重写逻辑,暴露简单友好的 API: image.png image.png TiDB 查询和 MySQL 的差异 在 TiDB 使用过程中...和 MySQL 相比,TiDB 的底层存储和结构决定了其特殊性和差异性;但是,TiDB 支持 MySQL 协议,它们也存在一些共同之处,比如在 TiDB 中使用“预编译”和“批处理”,同样可以获得一定的性能提升

    2.9K01

    PostgreSQL 和 MySQL 之间的性能差异

    MySQL和Postgres的最新版本略微消除了两个数据库之间的性能差异。 在MySQL中使用旧的MyISAM 引擎可以非常快速地读取数据。不幸的是,在最新版本的MySQL中尚不可用。...JSON查询在Postgres中更快 在本节中,我们将看到PostgreSQL和MySQL之间的基准测试差异。...如果没有索引,则数据库服务器将从第一行开始,然后通读整个表以找到相关的行:表越大,操作成本就越高。PostgreSQL和MySQL都有处理索引的特定方法。...MySQL还支持哈希索引,而InnoDB引擎对FULLTEXT索引使用倒排列表。 数据库复制 涉及到PostgreSQL和MySQL的另一个性能差异是复制。...- InnoDB的多版本- MySQL的MVCC 结论 在本文中,我们处理了PostgreSQL和MySQL之间的一些性能差异。

    18.4K21

    MySQL 5.7和MySQL 8.0的4个细节差异

    如果要说MySQL 5.7升级到MySQL 8.0的一些差异,从我的角度来说,其实变化是很大的,但是细数盘点,很多特性似乎是对于业务的一种友好或者透明支持。...airflow的一个表结构在MySQL 5.7中如下: CREATE TABLE kube_resource_version (one_row_id BOOL NOT NULL DEFAULT true...细节4: 在MySQL里面如果对一张大表做delete,真是一件让人尴尬的事情,在MySQL 5.7里面有点后知后觉,在show processlist的输出中。...而相反在MySQL 8.0里面,State和Info列分别显示: Applying batch of row changes (delete)和delete from xxxxx 可以明确的提示出批量操作...简单小结:MySQL 8.0里面的很多细节还是很接地气,也不能潜意识的认为是100%兼容,要拍胸脯保证的事情,得有深入的测试和案例分析支撑。

    8.8K20

    谈谈mysql和oracle的使用感受 -- 差异

    tb1_username ON tb1(username); 看起来差异不大,但oracle的索引是全局的,即所有表的索引名都不能重复,比如大家都有id索引,但却不能都叫id。...而具体操作上的差异则根据客户端工具的差异来,无可厚非。 7....对超长文本的处理 mysql中对超长文本使用text和longtext类型进行处理,和其他字段并没有太多差别(不能建有效索引除外) 而oracle中则使用CLOB类型进行存储超长字符,但它有许多限制,普通查询无法显示...分区表创建 分区表的目的,在于提高查询速度和方便隔离管理。...mysql 创建分区表,Mysql不能自动创建分区,且要求分区字段必须是主键的一部分,如果想自动创建分区,需要使用mysql event事件的方式自动创建分区.

    2K30

    Greenplum 列存表(AO表)的膨胀和垃圾检查与空间收缩

    3 3.1 查看当前数据库中有哪些AO表 3 3.2 查看AO表的膨胀率 3 3.2.1 执行查看命令 3 3.2.3 名词解释 4 3.3 检查系统中膨胀率超过N的AO表 4 3.3.1 执行命令...,但实际上GP是支持DELETE和UPDATE的,被删除或更新的行,通过BITMAP来标记删除与修改。...3.2 查看AO表的膨胀率 表的膨胀率也就是表中执行DELETE和UPDATE产生的垃圾 3.2.1 执行查看命令 stagging=# select * from gp_toolkit....(通过gp_appendonly_compaction_threshold参数和percent_hidden值判断)。...在以上中可以看出在17节点上的第1号文件有2369294记录其中有671375条记录被更新或删除,其中不可见的比例为28.34% 3.3 检查系统中膨胀率超过N的AO表 3.3.1 执行命令 stagging

    5K21

    【MySQL】库和表的操作

    MySQL: 目录: 删除数据库 drop database name 删除数据库本质其实是删除一个路径下的一个目录。...MySQL: 目录: 字符集和校验规则 数据库编码集:数据库未来存储的数据 数据库校验集:支持数据库进行对应的字段比较,使用同样的编码,本质是一种读取数据库中的数据采用的编码格式。...engine和指定的字符集。...删除列: 修改列名称: 修改列名称时必须加上对应的属性 查看使用当前数据库的用户 show processlist 总结 本篇文章介绍了数据库和表的常见操作,包括创建、修改和查看数据库及表结构...在实际应用中,合理规划数据库结构、使用合适的字符集和权限管理,能够有效提升系统的稳定性与安全性。

    47310

    Greenplum 列存表(AO表)的膨胀和垃圾检查与空间收缩

    3.2 查看AO表的膨胀率 3.2.1 执行查看命令 3.2.3 名词解释 3.3 检查系统中膨胀率超过N的AO表 3.3.1...appendonly,但实际上GP是支持DELETE和UPDATE的,被删除或更新的行,通过visimap来标记记录的可见性和是否已删除。...3.2 查看AO表的膨胀率 表的膨胀率也就是表中执行DELETE和UPDATE产生的垃圾 3.2.1 执行查看命令 stagging=# select * from gp_toolkit....在以上中可以看出在17节点上的第1号文件有2369294记录其中有671375条记录被更新或删除,其中不可见的比例为28.34% 3.3 检查系统中膨胀率超过N的AO表 3.3.1 执行命令 stagging...update test_ao.ao_table_test set alttime='2018-10-23 11:54:57.000000' where nodenum='850000'; 受影响的行

    3.5K20

    一文读懂 MongoDB 和 MySQL 的差异

    下面讨论MongoDB和MySQL在各种参数上的差异: 什么是 MongoDB 和 MySQL? MongoDB MySQL MongoDB是由 MongoDB, Inc. 开发的开源数据库。...MongoDB MySQL 在 MongoDB 中,每个单独的记录都存储为’documents’。 在 MySQL 中,每个单独的记录都存储为表中的“行”。...记录的等级上限 MongoDB MySQL 属于特定类或组的文档,存储在“集合”中。示例:用户集合。 “表”用于存储类似类型的行(记录)。...MySQL 概念不允许有效的复制和分片,但在 MySQL 中,可以使用连接来访问相关数据,从而最大限度地减少重复。 术语差异 MongoDB 和 MySQL 之间存在基于术语的差异。...数据表示 数据在两个数据库中的表示和存储方式之间存在很大差异。 MongoDB 以类 JSON 文档的形式存储数据,而 MySQL 以表行的形式存储数据,如前所述。

    3.5K21
    领券