一种删除所有具有重复条目的行并保留第一个和最后一个条目的方法？

文章/答案/技术大牛

发布

1回答

pandas、dataframe、python-3.7

大约有2k个序列号，我只想要它在数据中注册的第一次和最后一次。有什么办法吗？

浏览 7提问于2021-03-04得票数 0

3回答

删除spark数据帧中重复的所有记录

scala、apache-spark、duplicates、apache-spark-sql、spark-dataframe

我有一个包含多个列的spark数据帧。我想找出并删除列中有重复值的行(其他列可以是不同的)。我尝试使用dropDuplicates(col_name)，但它只删除重复的条目，但仍然在数据帧中保留一条记录。我需要的是删除所有最初包含重复条目的条目。我使用的是Spark 1.6和Scala 2.10。

浏览 4提问于2018-04-10得票数 5

回答已采纳

2回答

通过一些设置，例如使用IDENTITY_INSERT，我们在标识列中有重复的条目，什么是删除重复条目的最佳方法。我有一个表Details，列为DetailID | FKey | Col1 | Col2 | Col3 | Col4 DetailID是"Identity“，FKey是另一个表的外键。现在我们已经有240000条记录了。有人使用了"IDENTITY_INSERT“，它不适用于此表，但却错误地应用于此表。所以它有重复

浏览 0提问于2010-10-23得票数 3

回答已采纳

2回答

从CSV文件中删除两个以上的副本

awk

我找到了以下移除重复项的脚本：当它找到重复的记录而不是删除所有的重复和只保留第一个记录时，如果它能够保留前2或3条记录并删除其余的记录，那就太棒了。因此，基本上允许原

浏览 2提问于2022-09-06得票数 0

2回答

SQL Server :删除4列匹配的重复项，但将具有特定值的重复项保留在另一列中

sql、sql-server、duplicates、logic、sql-delete

我有一个审批系统，列是name, manager, traveldate, purpose, approved。如果姓名、经理、出差日期和用途与表中的另一条记录相同，我需要查找并删除除一条之外的所有重复项，而不删除任何可能已批准的记录例如，当3个具有匹配的姓名、经理、旅行日期和目的且未被批准时，2应被删除；但当4个具有匹配的姓名、经理、旅行日期

浏览 22提问于2019-12-02得票数 0

1回答

如何删除重复条目，对它们进行求和，并分配给新的向量？

c++、tuples

我有一个std::vector<std::tuple<int, int, double> triplets，它是按元组的第一个项排序的。{0, 0, 1}, {2, 2, 1}, {3, 0, 2}, {4, 4, 5}, } 我需要删除具有相同的第一和第二条目的重复元组，只保留一个与这些重复

浏览 2提问于2022-11-01得票数 0

回答已采纳

7回答

是否删除基于多列的重复记录？

ruby-on-rails-3、activerecord、duplicates、destroy

我正在使用Heroku托管我的Ruby on Rails应用程序，由于这样或那样的原因，我可能有一些重复的行。--- --- Year

浏览 4提问于2013-01-02得票数 80

回答已采纳

1回答

删除重复行的第一次出现

regex、pcre

此模式(启用mis标志)保留最后出现的重复行就像在这个中示例BananaapplebananaVarapplEAppleTESTVar 这里的重点是保持条目的原始顺序并删除重复项。

浏览 0提问于2014-10-20得票数 4

2回答

用PhpMyAdmin中的SQL删除列表记录中的重复项

mysql、sql

我使用这个命令在我的数据库中查找在city列中具有相同值的记录：当我在PhpMyAdmin中运行这个程序时，我会得到一个包含两列的巨大列表，第一列是city，第二列是c。我假设c列中的数字显示了重复条目的数量，但我不能真正列出重复条目，但可能不需要。因此，我的目标是在运行上述命令后从列表中删除所有副本。基本上，我只想删除</

浏览 0提问于2016-01-22得票数 0

回答已采纳

1回答

Python大熊猫drop_duplicates()不准确

python、pandas

我正在进行一个由编译一些.tsv文件组成的项目，我正在尝试清理其中的一个文件，这就是我到目前为止所拥有的。数据文件太大了，无法将输出粘贴到这里，下面是几张解释我当前问题的照片。

浏览 3提问于2020-10-31得票数 0

回答已采纳

1回答

如何删除Pandas DataFrame中部分重复的行？

pandas、duplicates

我有一个抓取的tweet的DataFrame，我正在尝试删除部分重复的tweet行。下面是一个带有相同问题的简化DataFrame。请注意，第一条和最后一条tweet除了附加的url之外都有相同的结尾；我需要一种方法来删除像这样的部分重复项，并只保留最新的实例。'Mon Aug 03 20:15:42',

浏览 12提问于2020-08-05得票数 0

回答已采纳

1回答

删除重复项，但不能在更改值后删除

mysql、sql

我有一个表，其中有大约800万个数据，并在MySQL中运行。因此，我需要做的是删除所有重复项，只保留date列中的第一个条目或值，但之后会有不同的条件。下面我将做一个样本数据：列是源，目标和日期，我需要删除所有具有相同值的源和目标，并保留最早的日期条目，但例如，目标更改，然后几分钟后目标值返回到与我需要删除的值相同的值，该值不

浏览 13提问于2017-02-18得票数 0

回答已采纳

3回答

删除SQL中的重复行

sql、tsql、sql-server-2016

我有一个表，它有唯一的id，但是有重复的行信息。我可以使用以下查询查找具有重复项的行 PersonAliasId, StartDateTime, GroupId, COUNT(*) as Count AttendanceGROUP BYHAVING我可以手动删除行，同时保留</e

浏览 1提问于2018-01-24得票数 5

回答已采纳

2回答

如何优化这个SQL查询以删除第二个重复行？

sql、ms-access

我只需要保留一个值被复制的行，即删除不是具有重复值的“第一个”行。我有一个名为ART_NEW的表：111 1234 ...要在某些应用程序中使用GTIN作为PK，我需要删除GTIN被复制的所有行(所有具有相同GTIN的行都描述相同的产品，其描述略有变化，因

浏览 1提问于2019-03-26得票数 1

回答已采纳

1回答

WebBrowser自动调整大小以删除div嵌入式滚动条

scrollbar

我正在使用VB WebBrowser控件查看特定的网页，并在屏幕上截取具有大量数据行的表的嵌入div，这取决于div显示的滚动条的屏幕高度，以滚动包含数据表的div中的数据。是否有一种方法可以自动调整WebBrowser高度以显示所有div/table数据，并强制删除div的滚动条。其主要目的是对整个网页进行屏幕截图。如果我使用预设的高度作为网页浏览器的高度，一些页面在div/table中有少量的

浏览 3提问于2013-10-16得票数 0

回答已采纳

1回答

整理过去两年的电子邮件日志文件。试图通过用户电子邮件找到唯一的条目

sorting、unix、sed、terminal、grep

我正在整理一个电子邮件日志文件。文件的每一行如下所示：deliver(bdillon): May 17 >: saved mail toINBOX jsmith和bdillon是电子邮件。基本上，我想要做的是修剪这个文件，只显示一个jsmith实例。那么，如果jsmith在5月17日发送了多封电子邮件，我将如何删除除其中一条之外的所有这些行？

浏览 0提问于2014-07-30得票数 0

回答已采纳

4回答

在剔除js中找到foreach数据绑定的最后一次迭代。

html、css、knockout.js、foreach

是否有一种方法可以在剔除js?中使用foreach数据绑定找到最后一次迭代。我不想为数组的最后一项画一条线(Hr)。

浏览 6提问于2014-01-27得票数 4

回答已采纳

2回答

Elasticsearch:从索引中删除重复项

elasticsearch

我有一个包含多个重复条目的索引。它们具有不同的ids，但其他字段具有相同的内容。'content1'}{id: 3, content: 'content2'}删除重复项后：{id: 3, con

浏览 1提问于2015-06-01得票数 11

回答已采纳

1回答

将CSV文件合并到windows中(最好是.cmd或.bat文件)

csv、batch-file

它们具有相同的标题和列布局。我只需要一种简单的方法将它们组合在Windows 7中，用户可能并不总是安装了excel。“打开一个命令窗口("cmd.exe")并键入以下两行(没有括号)type *.csv > my-new-file.csv但是-它似乎创建了合并条目的重复<

浏览 6提问于2013-02-04得票数 1

2回答

根据条件逻辑为每个组获取一行的SQL查询

sql、sql-server

我有一个表，其中一列中有重复的值。基于下面描述的一些逻辑，我正在尝试消除具有重复条目的行。7994113912756 12/4/18 13:55 125 13 N 152643-5658 6390 列Variable8的前3条记录和后3条记录具有重复的值。我想要做的是，如果CallDisposition是29，并且

浏览 9提问于2019-01-05得票数 0

点击加载更多