mysql 数据库中存在重复记录，删除保留其中一条， 百度看了，感觉sql好长好啰嗦，有啥敏捷的方法吗
mysql 数据库中存在重复记录，删除保留其中一条， 百度看了，感觉sql好长好啰嗦，有啥敏捷的方法吗
DELETE
FROM
vitae a
WHERE
(a.peopleId, a.seq) IN (
SELECT
peopleId,
seq
FROM
vitae
GROUP BY
peopleId,
seq
HAVING
count(*) > 1
)
AND rowid NOT IN (
SELECT
min(ro
浏览 200提问于2020-02-28
回答已采纳
我应该数一下文件中重复记录的总数。
我用过
sort $TEMP_FILE2 | uniq -d
列出所有未计数的重复记录。我的问题是，我不知道用什么脚本来总结或得到这些记录的总数。
这应该是我的输出：
数据总数: xxx
重复数据计数: xxx (文件中的总重复记录)
最终数据计数: xxx
浏览 0提问于2014-03-20得票数 0
如何使用LIKE子句从MySQL结果中删除重复记录？
$lname = $_POST["lname"];
$result = mysql_query("SELECT DISTINCT fname, lname, email FROM users WHERE lname LIKE '$lname%' ORDER BY lname ASC");
但是仍然显示重复的记录？
浏览 0提问于2012-01-10得票数 0
1回答
由于我在我的项目中使用的主题数据的性质，在输入集中经常会遇到重复记录(有时它意味着同一输入集中的重复记录，这可以通过预插入筛选轻松处理，但通常输入集可以包含数据库中已经存在的记录的副本)。
MySQL和SQLite INSERT IGNORE特性在处理这方面有很大帮助。
所以我要问的问题是：
当将数据插入到INSERT IGNORE或SQLite数据库时，如何使Slick使用MySQL而不是裸的SQLite？
在不支持INSERT IGNORE功能的MS中使用Slick时，最理想的方法是什么？
浏览 3提问于2013-02-13得票数 9
我正在将我们的项目数据库从SQL Server转换到MySQL，DB转换已经完成。
我们有如下代码，用于根据哈希码识别重复记录，并将其更新为重复记录。
MySQL ([)中的Rank函数需要基于年龄的排名，它将从1开始，每条记录递增1。但是对于我来说，每个hascode的Rank应该从1开始，并且对于相同的hascode递增1，如果新的hascode到来，Rank应该从1开始。
update table set Duplicate=1
WHERE id IN
( SELECT id FROM (
select RANK() OVER (PARTITION BY Hashcode ORDE
浏览 4提问于2015-07-07得票数 0
2回答
如何在MySQL中检查重复记录？
我的任务每时每刻都在运行。
因此，每分钟我都会在MySQL中插入相同的结果。
如何确保只将非一式两份的记录插入数据库并拒绝复制记录。
这是我的代码：
if($trim != $yesterdayresult){
while($user = mysql_fetch_array($checklist)){
$usernumber = $user['msisdn'];
$usertelco = $user['telco'];
浏览 4提问于2011-09-01得票数 0
1回答
我需要删除mysql表中的重复记录。所以我有一个表名"employee“字段是empid、empname、empssn。
为了获得重复记录，我编写了一个查询
SELECT COUNT(empssn), empssn FROM employee
GROUP BY empssn
HAVING COUNT(empssn) > 1
现在我要删除重复的记录。为此，我已经写好了查询。
DELETE FROM employee
WHERE (empid, empssn) NOT IN (
SELECT MIN(empid), empssn FROM employee
G
浏览 1提问于2010-07-17得票数 6
我想创建连接器(类似于Kafka-Connect中的Debezium )来在BigQuery表中反映MySQL源数据库中的每个更改。
有一个问题-源数据库每10分钟删除一次并重新创建-一些行是相同的，一些是更新的，还有一些是完全新的。所以我不能通过Debezium做到这一点，因为每隔10分钟我就会有Kafka中的所有记录。
我希望只迁移到BQ表中的新值或更新值。“复制”整个源数据库，但删除重复记录的机制(这不是完全相同的，因为这将是一个新的数据库)。因此，例如，从每条记录创建散列，并检查散列是否已经存在于BQ中，如果没有，则添加它。
我认为应该是这样的：
而是如何创建以MySQL为源的整个管
浏览 1提问于2021-02-09得票数 1
我有以下代码：
$link=mysql_connect("localhost", "user", "password") or die(mysql_error());
mysql_select_db(raddacen_staff,$link) or die(mysql_error());
$query=mysql_query("INSERT IGNORE INTO database...............") or die(mysql_error());
if(mysql_affected_rows()>0){
e
浏览 2提问于2013-04-01得票数 1
回答已采纳
2回答
我有一个带有文本和键盘的sendMessage方法的电报代码。这是用来找音乐的。
我的代码是：
$res_media=mysql_query("SELECT * FROM mv_media");
if(mysql_num_rows($res_media)!=0){
while($resualt_media = mysql_fetch_assoc($res_media)) {
$media[][]= $resualt_media['title'];
}
var_dump(
makeHTTPRequest(&#
浏览 1提问于2017-10-08得票数 0
3回答
我使用下面的代码将点击记录到视图表中，但是当我加载此页面时，MySQL查询一次插入3行，因此1次命中意味着3次命中。我正在努力想办法，但没有任何运气。
$width = 16;
$height = 16;
$id = 30
$ip = $_SERVER['REMOTE_ADDR'];
$user_agent = $_SERVER['HTTP_USER_AGENT'];
//count views
global $db;
$sql = 'INSERT INTO '.DB_
浏览 6提问于2013-04-17得票数 0
1回答
我有一个MySQL插入查询，它将一个产品添加到多个类别：
INSERT INTO _categories_products (product_id, category_id) VALUES (1, 14), (1, 8), (1, 1), (1, 22);
但是，如果我将同一产品添加到来自同一父类的另一个子类别中，则会为父类别创建重复的记录：
INSERT INTO _categories_products (product_id, category_id) VALUES (1, 14), (1, 8), (1, 1), (1, 23);
问:忽略重复记录插入的适当MySQL查询是什
浏览 3提问于2020-02-03得票数 0
回答已采纳
2回答
我正在尝试将Jonathan Sampson (他出色的视频教程)制作的分页脚本变成一个函数，这样我就不必在我想要分页的每个页面上编写它，这样我就可以在我的网站上使用它，而不需要在每个页面上都有分页代码:)
我想我应该用函数传递查询，它工作得很好：
function pagination_query($query, $table = false, $column = false)
{
// Create some variables
$pageNumber = (isset($_GET['page']) && is_numeric($_GET['pag
浏览 0提问于2010-07-15得票数 0
我创建了一个查询:从HR_Tsalary中选择*，其中月份=‘3’和年份='2010‘，结果是473条记录，我找到了2条重复记录，然后我创建了另一个查询，只查找重复记录:选择Emp_No，COUNT()，从HR_Tsalary中选择Emp_No '10’和month='3‘组，由Emp_No进行计数()>1，结果是来自客户端的零记录(通过代码)。但是当我从服务器端使用相同的查询时，结果是2个记录。在从服务器端和客户端创建查询时有什么不同吗？
浏览 1提问于2010-04-22得票数 0
我的MySQL表中有一个2000，00行数据的集合。现在我想删除表中的第二个重复记录。(即)不应删除重复值的第一次记录。只删除表中的第二个重复记录。
示例
id | logEntry | logValue
--------------------------------
1 | AA15AA7515 | 11445588
2 | AAFIRNNFIE | 99586454
3 | AA15AA7515 | 14589313
4 | AA9894AF56 | 15985632
5 | AA15AA7515 |
浏览 1提问于2015-06-11得票数 2
回答已采纳
2回答
我想删除MySQL数据库中表的重复记录。
在那个图像id是自动增量，但我想要customer_invoice_id唯一，但要删除重复的记录。例如，我想删除1104记录，但现在我删除1105，这是这个查询的最新记录。
ALTER IGNORE TABLE table ADD UNIQUE KEY idx1(customer_invoice_id);
浏览 4提问于2013-08-16得票数 1
回答已采纳
5回答
我希望能够将mySQL数据库表中重复记录的数量限制为2。
(不包括自动递增的id字段)
我的桌子是这样设置的
id city item
---------------------
1 Miami 4
2 Detroit 5
3 Miami 4
4 Miami 18
5 Miami 4
因此，在该表中，只有第5行将被删除。
我该怎么做呢？
浏览 1提问于2012-02-02得票数 0
我有一个php表单来输入数据到mysql数据库中，我的问题是我如何处理重复的记录，例如，如果一个ID号已经存在，我如何检查是否存在，如果它确实抛出一个错误消息，对于expale说"ID已经在数据库中“，这是一个insert语句的例子，但是我希望它在输入之前检查数据库中的重复记录。
$values = $_POST;
foreach ($values as &$value) {
$value = mysql_real_escape_string($value);
}
$sql1="INSERT INTO loan (loan_id)
VALUES ('$
浏览 1提问于2012-04-15得票数 0
回答已采纳
1回答
我想修剪MySQL数据库中所有重复的条目，根据$keep是什么，只留下最早或最新的条目。我正在使用以下代码，但速度非常慢：
function pruneDuplicates($keep) {
if($keep == 1)
$order = "ASC";
else if ($keep == 0)
$order = "DESC";
//Go through and find the duplicate hashes. Grab the IDs that correspond to them then delete all but o
浏览 0提问于2012-01-09得票数 0
我有一大堆数据要插入，我决定对mysql使用bulk insert。
插入好友(请求者，好友)值(value1，value2)，(value2，value1)，(value3，value4)，(value4，value3)，...
我想知道以下几点：
1)可以使用ignore吗？例如
将忽略插入好友(请求者，好友)值(value1，value2)，(value2，value1)，(value3，value4)，(value4，value3)，...
如果我有重复的，会发生什么？它会a)不插入所有内容吗？b)在重复记录之前插入记录，在重复记录之后停止处理数据？c)忽略副本，继续其余部分？
2)
浏览 1提问于2009-08-15得票数 15
回答已采纳
我有代码：
$products = Product::whereIn('id_principal_category', $array)->inRandomOrder()->paginate(6);
它有时会向我显示重复的记录。
我读到我必须使用whereNotIn，问题是它可以工作，如果它只有一次…但是如果它有一个分页器，我怎么做呢？因为我不知道哪些是重复的记录，也不能使用whereNotIn..所以我的问题是，我如何才能使inRandomOrder不显示带有分页器的重复记录？
谢谢
浏览 20提问于2017-07-18得票数 0
与此Find duplicate records in MySQL类似，我希望根据特定列的值提取MySQL数据库中的重复记录。 要取出ID最高的那个，我可以这样做： SELECT MAX(id), name, address, no_purchase, count(id) as cnt FROM list
GROUP BY name, address HAVING cnt > 1 要取出ID最小的那个，我可以这样做： SELECT MIN(id), name, address, no_purchase, count(id) as cnt FROM list
GROUP BY name,
浏览 15提问于2021-09-28得票数 0
回答已采纳
2回答
是否有办法“卷起”重复的记录，如MySQL中的时间序列数据？目前，我正在应用程序代码中检索全时序列之后进行此操作，但是传输多馀的行似乎很麻烦。下面是一个示例：
原始数据：
date | state
..30 | A
..29 | A
..28 | A
..27 | D
..26 | D
..25 | A
“卷起”连续重复记录的结果集：
date | state
..28 | A
..26 | D
..25 | A
谢谢!
浏览 0提问于2017-05-11得票数 0
回答已采纳
4回答
在将数据插入到mysql表中时，我总是在插入之前对该数据使用select，以避免重复记录，如果查询返回null，则插入记录。
但我认为这可能不是一种专业的方式来做这项工作。
你会让我用你做的方式吗？
浏览 4提问于2010-12-06得票数 0
1回答
我有一个mysql表，表示通过一个复杂的同步(来自rest的进程)同步到我的数据库的订单--由于一个错误，我现在有重复的，而且我对mysql不太熟悉，无法正确地修复它--我很想避免"php-way"，因为我可以自己做。
表中的重复记录有一个具有相同顺序id的特定列，另一个列名为"record_state"，它表示记录的状态(1 =最新记录，2=旧记录)，我知道如何用以下语句查找重复记录：
SELECT
orderid,
COUNT(orderid)
FROM
orders
WHERE `time_get` > 1584226800 AND `syste
浏览 3提问于2020-04-24得票数 0
回答已采纳
1回答
我的守则：
$con = new PDO("mysql:host=localhost;dbname=mis","root","");
$name = $_POST['name'];
$transaction_status = $_POST['transaction_status'];
$client_id = $_POST['client_id'];
$group_id = $_POST['group_id'];
$statement = $con->prepare(
浏览 0提问于2018-04-02得票数 0
5回答
我正在尝试打印表的重复记录，但在mysql中只有一行获得了echoed.However，这个查询结果是所有重复记录。下面是查询：
$q = mysql_query("SELECT * FROM add WHERE cust_id = '144' GROUP BY cust_id");
$r = mysql_fetch_array($q);
$s = mysql_num_rows($q);
while($s !=0)
{
echo $r;
$s=$s-1;
}
代码有什么问题？
浏览 0提问于2011-07-11得票数 0
回答已采纳
我花了几天时间寻找解决问题的办法。我有一个无状态的spring引导应用程序。以使用Spring引导的支付(表)应用程序为例。下面是我在创建RESTApi时必须记住的预防和功能。
预防
I不允许管理队列中的请求。创建唯一的密钥不是一个选项。
必需的功能
使用关系数据库管理系统，如MySQL
应用程序必须允许同时插入。(可能有数百个用户同时插入)
不得有重复记录(同一用户不得重复记录)
高性能(低响应时间)
我尝试过其他方法，如多线程或使用同步方法，但这需要大量时间来处理请求。我不能让使用者等待。
基本上，我希望实现一个在编程级别防止并发请求的通用解决方案。
您的答复将不胜感激。
浏览 5提问于2022-04-04得票数 2
我从中看到，document_id可以很容易地在Logstash中使用来替换ElasticSearch中的重复记录。我将如何添加/增加计数值，例如重复syslog消息？我不只是替换记录，而是要增加计数，这样我就知道它重复了多少次。
浏览 9提问于2014-08-13得票数 3
回答已采纳
防止SQL Server数据库中出现重复记录的最佳方法是什么？使用触发器？使用唯一约束？
浏览 1提问于2015-05-05得票数 2
我有一个从表中删除重复记录的场景，但我不明白如何做到这一点，因为大数据和与三个表的关系。
candidates_table是包含重复记录的候选表。和字段是
candidate Table :
candidate_id |f_name |l_name| skills
1 Ab c php,MySQL
2 Ab c php,MySQL,java script
3 cd g Java,hibernate,spring
4
浏览 0提问于2016-05-16得票数 1
1回答
在我们遗留DWH过程中，我们根据传统RDBMS中的rowid查找重复记录并跟踪重复记录。
对于ex。
select pkey_columns, max(rowdid) from table group by pkey_columns
将仅返回对应最大记录的重复记录。即使当我们识别重复记录时，这也有助于识别/跟踪记录。
在pySpark中有没有类似的东西？如何在dwh到pyspark dwh转换项目中处理此问题？
浏览 11提问于2019-11-10得票数 0
回答已采纳
下面的php代码在数据库中查找重复记录，删除所有相似的记录(但其中一条不是)，以时间顺序重新排序所有数据，最后对所有行(id字段)从1到n逐次重新编号。
问题:当我执行这段代码时，"tmp“中的表名"mytable”发生了变化，所有的东西都停止并出错了。
为什么是这个？我如何解决这个问题？
$creatmp = mysql_query("CREATE TABLE tmp AS SELECT * FROM mytable WHERE 1 GROUP BY name, surname, birthdate");
$cancqsos = mysql_query(
浏览 1提问于2012-11-17得票数 0
2回答
我有一个查询，拉新闻故事，然后附加任何照片与特定的故事。这一切都很好，但我最近添加了一个功能，也拉与故事连接的视频，它导致重复的图像或视频链接显示。
例如，我有一个有3张图片和1个视频的新闻故事。目前，它会在每张图片旁边发布一个视频，因此它会显示3次。我实际上想要显示的是新闻故事，然后是任何图片，然后是任何视频。
这是php
$sLastStory = '';
foreach ($result AS $row)
{
$sStory = $row['headline'] . $row['story'];
if (strcasecmp
浏览 0提问于2013-06-20得票数 0
试图写入现有的MySQL表，可能包含一些重复的记录。
df.write
.mode(SaveMode.Append)
.jdbc(jdbcUrl, db_table, connectionProperties)
我想要的是“插入忽略”。但SaveMode.Append似乎不能容忍重复。SaveMode.Ignore不能工作，因为它忽略了整个表。有什么建议吗？
浏览 0提问于2018-08-28得票数 0
1回答
我将mysql模块用于nodejs，并且我的程序正在运行带有集群包的多个工作进程。
每个worker获取一些tweet并将它们存储在数据库中，但每条记录都必须由tweet_id唯一。
现在，我可以看到我的数据库中存在许多重复的记录，即使我在插入之前检查重复记录。
那么，你有没有经历过这种情况？有解决方案吗？
浏览 0提问于2016-10-25得票数 0
我有一个包含7个字段的表"Product“
1 Prod_id (PK)
2 Company_id
3 Name
3 Code
5 Start Date
6 End Date
7 Entry Date
8 Description
我想删除所有的重复记录(匹配的2个t0 6字段的复制)，并只保留一个有最新的输入日期。
mysql中是否有执行此任务的查询。或者我如何使用php来完成这个任务。
浏览 1提问于2013-10-25得票数 0
我是第一次接触asp.net，我有一个有很多重复记录的excel表格。我需要单独显示重复的记录，说明这些是重复的。我该怎么做呢。是否有特定的查询来仅获取duplicates.Please帮助！！
浏览 2提问于2011-05-19得票数 2
我正在使用SQL Server 2005，希望删除具有最旧日期的重复记录。例如，我有一个训练数据库，它捕获雇员编号、班级名称和日期。有些人上过不止一次课，但我们只需要记录最近一次的出勤率。
浏览 1提问于2014-08-16得票数 0
25回答
我想取出MySQL数据库中的重复记录。这可以通过以下方式完成：
SELECT address, count(id) as cnt FROM list
GROUP BY address HAVING cnt > 1
这会导致：
100 MAIN ST 2
我想拉出它，这样它就会显示每一行都是重复的。类似于：
JIM JONES 100 MAIN ST
JOHN SMITH 100 MAIN ST
对如何做到这一点有什么想法吗？我尽量避免执行第一个查询，然后在代码中使用第二个查询查找重复项。
浏览 4提问于2009-05-13得票数 695
回答已采纳
我目前正在开发一个购物车。我想防止它在购物车上有重复的项目。例如:如果我点击"panda"，购物车中的数量将是1。如果我再次点击"panda“，数量将变为2，而不是购物车中有2个"panda”商品。有没有人能给我带路？我是PHP新手，您的帮助将不胜感激。谢谢
以下是我的代码。
details.php
if ((isset($_POST["MM_insert"])) && ($_POST["MM_insert"] == "form1")) {
$status = $this->check
浏览 1提问于2014-01-03得票数 1
2回答
我在sql中有包含state、region、state和timestamp列的log_table
服务器。
ID state region district timestamp
-- ----- ------ -------- ---------
1 GJ RE056 DI137 2014-02-05 09:00:00.257
2 CA RE027 DI154 2014-02-04 14:00:00.183
3 GJ
浏览 6提问于2015-02-05得票数 1
我有张桌子：
PRICE_UPDATE
id (int 5, auto-increment, primary, unique)
part_number (varchar 10, non-null)
price (float(10,2), non-null)
一些part_number是重复的(一个或多个重复记录)。有时以相同的价格，有时以不同的价格。
如何根据part_number删除所有重复行，如果价格相同，则只留下最高价格或仅1条记录？
这在直MySQL中甚至可以实现吗？
浏览 2提问于2012-01-18得票数 6
要在MySQL数据库中查找重复记录。这可以写成：
SELECT address, count(id) as cnt FROM list
GROUP BY address HAVING cnt > 1
这给了我：
101 Saint ST 3
我想拉出它，这样它就可以显示重复的每一行。示例如下：
SIM JANE 101 Saint ST
JOHN SMITH 101 Saint ST
有谁知道怎么做吗？我尽量避免执行第一个查询，然后在代码中使用第二个查询查找重复项。
浏览 8提问于2016-07-26得票数 2
下面这篇文章帮助我检索在特定列中具有不同值的重复记录：
现在，我想更新这些副本的一列：
Name Type NameType
XX01 Box XX01Box
XX01 Table XX01Table
在上面的示例表中，我想用列名和类型来更新列NameType，以便在名称相同但类型不同的情况下重复记录。下面是我使用的查询：
UPDATE table
SET NameType = Name + Type
FROM table where name in (select t.Name,t.Type,t.NameType
from table t
where exists (select
浏览 2提问于2022-08-10得票数 -2
在一台2GByte的机器上，Linuxmint19在MySQL5.7中使用了大约15GByte的内存，但对于一个每分钟添加几行的应用程序，它只在数据库中添加了几行。
我在配置文件/etc/mysql/mysql.conf.d/mysql.cnf中指定了key_buffer_size =512M
导致此行为的原因是什么？当然，我的机器没有足够的内存，MySQL不应该也看到这个吗？
我使用的是INNODB，这个问题有没有针对MySQL5.7的单独设置？
浏览 1提问于2018-11-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
