有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。
读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。
加班原因是上线，解决线上数据库存在重复数据的问题，发现了程序的bug，很好解决，有点问题的是，修正线上的重复数据。
大家注意：因为微信改了推送机制，会有小伙伴刷不到当天的文章，一些比较实用的知识和信息，错过了就是错过了。所以建议大家加个星标
哈喽，我是狗哥。最近都在加班有点忙，一直没时间写文章。加班原因是上线，解决线上数据库存在重复数据的问题，发现了程序的 bug，很好解决，有点问题的是，修正线上的重复数据。
最近再解决线上数据库存在重复数据的问题，发现了程序的bug，很好解决，有点问题的是，修正线上的重复数据。
线上库有6个表存在重复数据，其中2个表比较大，一个96万+、一个30万+，因为之前处理过相同的问题，就直接拿来了上次的Python去重脚本，脚本很简单，就是连接数据库，查出来重复数据，循环删除。
可以看到“ALLEN”和“SMITH”这两个人的数据重复了，现在要求表中name重复的数据只保留一行，其他的删除。
数据库中表存在重复数据，需要清理重复数据，清理后保留其中一条的情况是比较常见的需求，如何通过1条SQL准确的删除数据呢？
最常见的方式就是为字段设置主键或唯一索引，当插入重复数据时，抛出错误，程序终止，但这会给后续处理带来麻烦，因此需要对插入语句做特殊处理，尽量避开或忽略异常，下面我简单介绍一下，感兴趣的朋友可以尝试一下：
写在前面：2020年面试必备的Java后端进阶面试题总结了一份复习指南在Github上，内容详细，图文并茂，有需要学习的朋友可以Star一下！ GitHub地址：https://github.com/abel-max/Java-Study-Note/tree/master
今天主要介绍一下Oracle、MySQL、sqlserver、pg数据库在删除重复数据时是怎么实现的。这里用实例来说明。
正文之前 昨天终于把我苦命的毕业设计审批表送出去了。结果暑假的生产实习开始对账，我这儿又开始忙活了，还要签字，我有时候都在想要不全班代签一遍算了。不然真的揪心啊！mmp，就学校这些东西破事多！！虽然合
业务很简单：需要批量插入一些数据，数据来源可能是其他数据库的表，也可能是一个外部excel的导入
MySQL 事务主要用于处理操作量大，复杂度高的数据。比如说，在人员管理系统中，你删除一个人员，你既需要删除人员的基本资料，也要删除和该人员相关的信息，如信箱，文章等等，这样，这些数据库操作语句就构成一个事务，详细了解可以看一下这篇【常识与进阶】！
–3、 –先去除重复,去除后的数据将重新插入新表中,即就得到了没有重复后的数据了—-
接口幂等性问题，对于开发人员来说，是一个跟语言无关的公共问题。本文分享了一些解决这类问题非常实用的办法，绝大部分内容我在项目中实践过的，给有需要的小伙伴一个参考。
数据库版本 Server version: 5.1.41-community-log MySQL Community Server (GPL)
普通索引(INDEX)：最基本的索引，没有任何限制 唯一索引(UNIQUE)：与”普通索引”类似，不同的就是：索引列的值必须唯一，但允许有空值。 主键索引(PRIMARY)：它 是一种特殊的唯一索引，不允许有空值。 全文索引(FULLTEXT )：可用于 MyISAM 表，mysql5.6之后也可用于innodb表， 用于在一篇文章中，检索文本信息的, 针对较大的数据，生成全文索引很耗时和空间。 联合（组合）索引：为了更多的提高mysql效率可建立组合索引，遵循”最左前缀“原则。
来源：http://www.telami.cn/2018/when-mysql-batch-inserts-and-how-to-not-insert-duplicate-data/
业务很简单：需要批量插入一些数据，数据来源可能是其他数据库的表，也可能是一个外部excel的导入。
报错： this is incompatible with sql_mode=only_full_group_by
在MySQL数据库中，当我们面对一个拥有大量数据的表，并且需要删除重复数据时，我们需要采用高效的方法来处理。今天了我们正好有张表，大概3千万条数据，重复数据有近2千多万条，本文将介绍几种方法，帮助您删除MySQL表中重复的数据中。
大概意思是说已经有一个一模一样的数据块了。另外ck没有事务概念，但是为了保证重复插入的insert的幂等性，会检测重复，如果重复则跳过。 本地测验重复数据会部分保留在数据库，部分被删除。
insert ignore会忽略数据库中已经存在的数据(根据主键或者唯一索引判断)，如果数据库没有数据，就插入新的数据，如果有数据的话就跳过这条数据.
项目场景是给做用户年报，项目属于活动类型，需要维持1个月左右，需要统计用户操作的一些数据，主要是统计方面的，当时注册用户大概280w左右，书单、评论、打赏还可以，之前的数据做过分表，只有阅读记录log大概将近1亿条，是个大难点。
许多面向用户的互联网业务都会在系统后端维护一份用户数据，快应用中心业务也同样做了这件事。快应用中心允许用户对快应用进行收藏，并在服务端记录了用户的收藏列表，通过用户账号标识OpenID来关联收藏的快应用包名。
可问题来了，主表brand只有两条数据，但是查出来了三条数据，vehicle表有三条数据，却查出来五条，并不能正确展示主表数据。
结构化查询语言(Structured Query Language)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。
我最近几年用MYSQL数据库挺多的，发现了一些非常有用的小玩意，今天拿出来分享到大家，希望对你会有所帮助。
注意数值，字符串，时间 自增，默认，非空，注释 索引，外键 字符集，存储引擎
点击上方蓝色“程序猿DD”，选择“设为星标” 回复“资源”获取独家整理的学习资料！ 来源：blog.csdn.net/horses/article/details/10455307 关系模型（Relational model）由 E.F.Codd 博士于 1970 年提出，以集合论中的关系概念为基础；无论是现实世界中的实体对象还是它们之间的联系都使用关系表示。我们在数据库系统中看到的关系就是二维表（Table），由行（Row）和列（Column）组成。因此，也可以说关系表是由数据行构成的集合。 关系模
参考文档 https://www.cnblogs.com/dongling/p/5710643.html
先声明一点：ON DUPLICATE KEY UPDATE 这个子句是MySQL特有的，语句的作用是，当insert已经存在的记录时，就执行update。
普通索引: 即针对数据库表创建索引； 唯一索引: 与普通索引类似，不同的就是：MySQL数据库索引列的值必须唯一，但允许有空值； 主键索引: 它是一种特殊的唯一索引，不允许有空值。一般是在建表的时候同时创建主键索引； 组合索引: 为了进一步榨取MySQL的效率，就要考虑建立组合索引。即将数据库表中的多个字段联合起来作为一个组合索引。
爱可生北京分公司 DBA 团队成员，负责 MySQL 日常问题处理和 DMP 产品维护。喜爱技术和开源数据库，喜爱运动、读书、电影，花草树木。
文章作者：Tyan 博客：noahsnail.com | CSDN | 简书
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
