1回答
我有12个文本文件都在一个文件夹中，每个文件都有大约500万行，每个文件本身没有重复行，但是在多个文件中重复，我想删除每个文件中的重复行，但仍然单独保存它们，我尝试了许多Linux排序命令，它不断地将文件合并在一起，我有Windows、Linus和Mac，有任何代码或应用程序可以这样做吗？
浏览 0提问于2022-01-14得票数 -1
回答已采纳
2回答
我正在寻找一种从我的Notepad++文件中删除重复行的方法。每行都不是精确的重复。情况就是这样。我有一个大写公司名称的大文件和概率值(每一个用一个制表符分隔)。所以格式是这样的：
ATT .7213
SAMSUNG .01294
SAMSUNG .90222
因此，我需要删除其中的一行，因为第一列中有一个匹配行。我并没有一个真正的偏好，我需要删除的，只要我结束在最后一行。我尝试在TextFX中使用唯一的排序，但是它要查找的是整个行的副本，而不仅仅是第一列。如果有人能提供一个方便的解决方案来解决这个问题，我将非常感激。使用awk、sed或cut的Bash脚本答案也是可以接受的，也可
浏览 3提问于2014-02-06得票数 0
回答已采纳
1回答
我正在使用Ubuntu 20.04。在过去的4到5次中，我一直使用升级APT来升级以下内容
linux-headers-5.4.0-96 linux-headers-5.4.0-96-generic
linux-image-5.4.0-96-generic linux-modules-5.4.0-96-generic
linux-modules-extra-5.4.0-96-generic
当我使用autoremove时，它说这些相同的包将被删除。我对ubuntu并不熟悉，我不确定我是否在我的日常工作中使用这些包。但我想知道这是怎么回事？
可能重复。
谢谢!
浏览 0提问于2022-02-14得票数 2
回答已采纳
4回答
我有一个表，其中有以下列：
ID(primary key),
USER,
ACTION
TIME
LOCATION
我试图使用列：USER, ACTION, TIME, LOCATION一起删除重复条目。
我编写了以下查询：
DELETE FROM test.testlogins
WHERE id IN (SELECT *
FROM (SELECT id FROM test.testlogins
GROUP BY USER, ACTION, TIME, LOCATION HAVING (COUNT(*) > 1)
浏览 5提问于2015-04-11得票数 4
回答已采纳
我已经精简了一个问题，我面临的是一辆MWE。有人能确认它是一个bug还是我遗漏了一些最基本的东西吗？
平台
Ruby1.9.3p484 (2013-11-22修订版43786) x86_64-linux
GNU，版本4.3.11(1)-release (x86_64-pc-linux-gnu)
Ubuntu14.04.2 x86_64
步骤1：创建一个demo.rb脚本，如下所示
puts "[Line 1]"
puts "* [Line 2] *"
步骤2：创建一个名为driver的驱动程序脚本
#!/bin/bash
ret=`ruby
浏览 1提问于2016-01-18得票数 3
回答已采纳
我有100个文本文件，我试图提取包含单词foobar的行，但是文本文件也包含多组重复项。
我有这个，它很明显地吐出了包含foobar的每一行，它可以工作，但是生成带有副本的文件。
findstr /C:"foobar" test.txt > result.txt
例如
test.txt包含
foobar
foobar
foorbar ##
然后在文本文件中继续重复，我如何才能让它停在"foobar ##“上，其中##代表一个整数，然后删除所有内容？
我试过了，但是cmd窗口挂着，不确定是什么。
@echo off
findstr
浏览 1提问于2018-02-10得票数 0
回答已采纳
2回答
我有一个包含重复条目的mySQL表(在某些情况下可能有多个重复条目)。我有一个名为id的列，它可能包含重复的id，还有一个名为唯一id的列，顾名思义，它包含惟一的id。使用下面的SQL语句，我能够选择重复的行
SELECT id,
COUNT(id) AS NumOccurrences
FROM `TABLE 3`
GROUP BY id
HAVING ( COUNT(id) > 1 )
但是我如何删除(除了一个之外的所有)它们呢？
浏览 0提问于2012-07-24得票数 2
回答已采纳
1回答
我有一个表参与者，其中有许多字段，如姓名，性别等。我需要帮助找到重复的名字，都有性别的男性和女性。
因此，如果我有一个名为'Angel‘的名字，并且我们有重复的行，我们如何使用一个查询来输出'Angel’，因为有1行名为'Angel‘但性别为女性的行中有1行的性别=男性？
浏览 0提问于2017-05-02得票数 0
4回答
删除日志文件中的重复行
、、、
我正试图从重复行中清理日志文件。首先，我使用带有uniq -d标志的排序命令，它帮助我删除重复项，但没有解决我的问题。
sort pnum.log | uniq -d
排序命令的输出。
PNUM-1233: [App] [Tracker] Text
PNUM-1233: [App] [Tracker] Text
PNUM-1236: [App] [Tracker] Text ddfg
PNUM-1236: [App] [Tracker] Text ddfg
PNUM-1234: [App] [Tracker] Tex 123 ssd
PNUM-1235: [App] [Tracker]
浏览 0提问于2020-07-10得票数 2
回答已采纳
我正在编写一个新的变更集，以在我的表上定义一个唯一的键，但它似乎在我的表中插入了重复的行(重复的意思是，在我新的唯一约束的目标列上有两个值相同的条目)。
由于生产限制，我不能修改以前的变更集。
因此，在添加我的约束之前，我想删除重复的行。
这是我的零钱：
{
"changeSet": {
"id": "123",
"author": "me",
"changes": [
{
"de
浏览 0提问于2018-05-07得票数 2
回答已采纳
我正在处理一个具有重复行的数据集。这些行不是直接重复的，而是间隔不到一秒钟的时间戳。我想删除这些副本，但问题是如何删除。
我目前的计划是添加两个新列，它们是时间戳列的副本，但其中一个列有第二个列，另一个列被移除。然后，我可以添加步骤来删除具有所有其他值相同但具有与时间戳相同的时间戳加上1或-1的行。一个接一个地执行应该消除重复，而不是删除真正唯一的行。
如何在Power查询中完成这一任务？
浏览 0提问于2018-02-01得票数 1
回答已采纳
我的谷歌搜索结果没有什么帮助，所以我问这里。
我的Ubuntu服务器现在在~/.ssh/authorzied_keys和~/.ssh/known_hosts文件中都有许多重复的条目。
我想知道是否有一个命令/实用程序来删除这些重复行并只列出它们一次？
浏览 0提问于2017-01-19得票数 11
回答已采纳
在删除特定列中的重复行时，是否可以基于第二列和第三列优先保留重复行之一？ 考虑以下示例： # Example dataframe.
df <- data.frame(col.1 = c(1, 1, 1, 2, 2, 2, 3, 3),
col.2 = c('a', 'b', 'b', 'a', 'b', 'c', 'a', 'a'),
col.3 = c('b', 'c
浏览 15提问于2019-05-21得票数 1
回答已采纳
我有两个要求
在单列中查找所有重复的值
查找与第一个问题相反的所有唯一行，这甚至不应该包括来自重复行的单个对。
我从过去的两周开始学习。看YouTube视频，指的是Stackoverflow和其他网站，所以不多。请参考任何材料或课程。
所以回答我在这里发现的第一个问题()
# All duplicated elements
mtcars %>%
filter(carb %in% unique(.[["carb"]][duplicated(.[["carb"]])]))
所以我想和这个相反
谢谢
我有非技术背景。我在这里经历了几个问题和答
浏览 0提问于2019-07-16得票数 0
回答已采纳
1回答
我在R中有一个包含1000+行的数据帧。其中一列是eventID，还有一些重复的列。我想删除行，以便所有事件I都是唯一的。
例如，如果有3行事件ID = 78，我想删除其中的2行，但我不关心是哪2行。
我不想考虑任何其他的专栏。
浏览 0提问于2020-10-17得票数 0
我在column1和column2中有一堆包含以下内容的文本文件(用空格分隔)：
address0 data0
address1 data1
。
。
。
addressN dataN
所有数据值都是唯一的(随机的)，但有些地址值是重复的。如何使用AWK / sort / uniq删除已指定地址的行？
基本上，无论关联的数据是什么，文本文件中都不应该有重复的地址。
浏览 0提问于2010-11-11得票数 2
回答已采纳
我有一个包含很多行的文件。每一行都有8个分号分隔的列。
我如何(在Linux中)返回重复的行，而不是仅基于第2列？我应该使用grep还是其他什么？
浏览 10提问于2009-09-20得票数 14
我有一个表，其中包含帐户行和有关它们的详细信息。我创建了一个符合我的条件的临时表，并将其命名为#temp2。现在，我需要做的是从原始表中获取满足其他条件的最大前一行，该条件不同于已被带到临时表的当前行。我正在处理的问题是，我需要取上一行的最大值。简单的方法是，如果帐户有重复的行，最大前一行将在最大日期列上。如果重复的行也有相同的日期，我需要取max Code列，如果帐户有具有重复日期的行和Code列，则我将取Amount列。帐户最大上一行的优先级为-日期、代码、金额。我需要取最大值的前几行的帐户示例： **Account** **Date** **Code**
浏览 16提问于2020-07-21得票数 0
回答已采纳
我在excel中有一个数据，其中有多个重复的单元格。在excel中，我想删除所有重复的条目(删除完整的行)，发生次数为偶数。可以重复任何次数，即2，3，4，5.此外，我只想保留一份条目发生奇数的副本。我该怎么做？
例如。假设我将这些记录作为关键单元格在我的excel表中。
58795
67835
68545
68545
68555
68555
68625
68625
68625
我的预期产出是
58795
67835
68625
浏览 2提问于2016-12-14得票数 0
回答已采纳
有一个SELECT语句，它的输出可能有重复项，在这些重复项中，列k的只有一行可以具有值，而其他行的值将为0。除有值的重复项外，其他重复项的值均为0
浏览 27提问于2021-04-01得票数 0
回答已采纳
2回答
我想清理注释表(1M行)上重复的内容，在这些表中，用户发布了两次(或更多)相同的评论。然而，我想保留任何重复评论的一个例子。
下面是我提出的查询，查找这些注释并将其分组：
SELECT author, body, COUNT(*) as count
FROM db.comment
GROUP BY body
HAVING COUNT(*) > 1;
但不知道如何删除重复的行，同时只保留一个未被触及的行。我也见过类似的问题，但没有一个对我有用。所以感谢你的暗示。
更新：
mysql> describe comment;
+---------+-------------+------
浏览 5提问于2015-02-01得票数 1
回答已采纳
可能重复: 数独apt-获取更新，给出关于重复的错误
当我试图通过终端中的写命令更新我的计算机时，终端上出现了如下错误
Reading package lists... Done
W: Duplicate sources.list entry http://dl.google.com/linux/chrome/deb/ stable/main amd64 Packages (/var/lib/apt/lists/dl.google.com_linux_chrome_deb_dists_stable_main_binary-amd64_Packages)
W: Duplicate source
浏览 0提问于2012-07-27得票数 0
1回答
根据2列值删除重复行
、、、、
我有一张纸，有8列A到H，超过1000行。我想删除A列中有重复值的所有行，并检查列H是否为空(零值)单元格。
如果列H为空，则删除整行，而不是H列中有值的行。
例子-
第1行A列为ABC，H列为MyText
第2行在A栏中有ABC，在H栏中没有值
删除作为副本的第2行。
浏览 2提问于2021-03-27得票数 0
回答已采纳
如何用linux工具，如grep，sort，sed，uniq来完全删除重复行？ 这个问题真的很难写，因为我看不到任何东西可以赋予它意义。但这个例子显然是直截了当的。如果我有一个这样的文件： 1
2
2
3
4 在解析文件后，删除重复的行，如下所示： 1
3
4 我知道python或其中的一些，这是我写来执行它的python脚本。创建一个名为的文件 并按如下方式运行： import sys
#
# To run it use:
# python clean_duplicates.py < input.txt > clean.txt
#
def main():
lines
浏览 122提问于2016-12-02得票数 4
回答已采纳
1回答
这个问题类似，但不是重复的和。问题是，如果在dataframe的行中任何位置都存在字符串，则如何删除该行，而不必在函数中写入列的名称。
编辑:在答案中，如果目标是保留这些行，请删除!。
浏览 1提问于2018-02-01得票数 1
回答已采纳
有很多关于如何查找重复行、删除重复行或列出重复行的清单。在我试着在这里搜索的大量回复中，这些是我唯一找到的回复。我想我只是提出了我的问题，因为它已经一个小时了，仍然没有运气。
这是我拥有的示例数据
Table Name: Customers
_____________________________
ID | CompanyName
--------------
1 | Joes
2 | Wendys
3 | Kellys
4 | Ricks
5 | Wendys
6 | Kellys
7 | Kellys
我需要能够找到这个表中的所有重复项，然后
浏览 4提问于2012-07-11得票数 1
回答已采纳
1回答
重复：
假设64位Linux上的Intel或AMD机器上的Java1.6JVM，创建一个简单的对象使用多少内存开销(字节)？例如，二维数组中的每一行都是一个单独的对象.如果我的数组很大，我将使用多少RAM？
浏览 4提问于2009-04-07得票数 7
我正在尝试从数据集中删除重复项。
在使用df.drop_duplicates()之前，我运行df[df.duplicated()]来检查哪些值被视为重复的。我不认为是重复的值被返回，见下面的例子。所有列都已选中。
如何获得准确的重复结果并丢弃真实的重复结果？
city price year manufacturer cylinders fuel odometer whistler 26880 2016.0 chrysler NaN gas 49000.0 whistler 17990 2010.
浏览 0提问于2019-09-16得票数 1
3回答
删除重复行的方法很多，但我只想保留唯一的行，并删除所有重复行。
就像这样：
Duplicate
Duplicate
Important text
Other duplicate
Important text1
Other duplicate
为了得到这个：
Important text
Important text1
有数千行我需要删除，而独特的线条只是10-20与所有重复的行混合。
浏览 6提问于2015-09-18得票数 3
回答已采纳
可能重复: 有办法删除/隐藏旧内核版本吗？
在我的笔记本电脑上，我有有限的空间，但安装所有新的更新，包括内核更新。但是，在安装了新的内核更新后，Ubuntu似乎并没有卸载旧内核。我想这是有原因的:因为新内核可能会失败，如果GRUB提供了一种选择要引导的旧内核的方法，那就太好了。但我真的需要完整的历史吗？，我想不需要！
rc linux-image-2.6.32-21-generic
rc linux-image-2.6.32-24-generic
rc linux-image-2.6.32-25-generic
rc linux-image-2.6.35-22-generic
rc linu
浏览 0提问于2012-02-02得票数 9
回答已采纳
我想在一行中从ifconfig打印出多个IP地址。
这是我使用grep, cut and awk的尝试
user@linux:~$ ifconfig | grep ad.*Bc
inet addr:192.168.1.1 Bcast:192.168.1.255 Mask:255.255.255.0
inet addr:10.1.1.1 Bcast:10.1.1.255 Mask:255.255.255.0
user@linux:~$
user@linux:~$ ifconfig | grep ad.*Bc | cut -d: -f2
192.
浏览 0提问于2018-06-29得票数 0
2回答
例如，一个文件file1.txt包含
Hi how are you
hello
today is monday
hello
I am fine
Hi how are you
在file1.txt处理之后，它应该写入file2.txt，并且内容应该是这样的，而不重复相同的行。
Hi how are you
hello
today is monday
I am fine
在linux终端中，我可以使用什么命令来完成这个任务？
浏览 0提问于2016-01-25得票数 3
回答已采纳
我的df1类似于下图中的第一个表，键列是Name。我想从另一个数据帧df2添加新行，它只有Name、Year和Value列。应根据名称添加新行。其他列只会对每个名称重复相同的值。结果应该类似于下图中的第二个表。我怎么才能在熊猫中做到这一点呢？ ?
浏览 16提问于2020-04-17得票数 0
1回答
我正在尝试使用Mac OSX中的fdupes从目录中删除重复的文本文件。它已经删除了一堆重复的内容。
我现在遇到的问题是，在剩下的文件中，有许多是重复的，除了在其中一个文件中，文件名是第一行，后面跟着一个空行，然后是文本。
所以，我想找出文件名在顶部重复的所有文件，然后去掉这行和下面的空行，这样fdupes就会把它们识别为重复的。这将允许我使用fdupes来解析它们。
示例：
file001.txt：
test 123
test
file002.001.txt：
file002.001.txt
test 123
test
做这件事最好的方法是什么？
浏览 1提问于2013-02-15得票数 0
回答已采纳
1回答
我有这样的结构:表hits，包含以下示例数据：
page_alpha_id ok_id ip
------------- ------------ -----------
zfuUnu4K11R9C 100255884520 95.73.30.67
wL77qKOmSTFW 100279470528 91.39.146.76
OArxea90 100307614632 176.50.251.94
yuSb4zzRs 100326443828 93.88.21.86
OxyCtgwlwRFX
浏览 1提问于2014-07-25得票数 0
我有一个矩阵，这个矩阵的一些行被重复两次。我需要删除重复的行，以获得一个完整的矩阵。我能用循环做这个吗？
在MATLAB中有这样的函数吗？
浏览 2提问于2013-10-12得票数 0
回答已采纳
1回答
除了列dd中的值之外，我有一个包含多个重复值的数据。
如果任何一行包含此非重复列中的值"ACT“，则需要删除与此"ACT”行以及"ACT“行本身相匹配的所有行。因此，在示例代码中，我只想保留列aa中包含"c“和"e”的六行。
我尝试过各种嵌套的if-else循环，并尝试根据aa中的值筛选出dd中存在的"ACT“，但是还无法找到如何避免单行向量匹配。
aa <- c("b","b","b","c","c","c","d","
浏览 0提问于2019-06-19得票数 2
回答已采纳
我有一个表，希望使用DB:：not eloquent删除laravel中的重复项 我的表名为sale_details，字段为 id,orderId,shop,user,item,quantity,price,total 其中orderId、shop、user、item是唯一的 我想删除行的orderId，商店，用户，项目是重复的基于这4个字段，而不是一个。 我怎样才能做到最好呢？
浏览 65提问于2020-04-21得票数 0
2回答
我现正尝试在某些准则下删除重复名称：
他们的任务是空(完全忽略带非空任务的行)删除除最新行之外的所有重复项
使用SQL并不是最好的，但是已经把它们结合在一起了。
只有一个组合主键将first_name和另一个随机列组合在一起。因此，根据我的理解，ctid被用作行的引用。我将任务为null的重发名称分组，然后使用MAX(date_started)只选择每个组的最新名称。我删除所有重复行(a.name = b.name)，这些行符合任务为null的条件(a.task为NULL)，但我通过使用a.ctid <> b.ctid (b.ctid是date_started选择的最新行)选择的行
浏览 3提问于2021-03-26得票数 1
2回答
使用针织器制作pdfs时，当使用fig.align='center'选项时，图形不会显示：
require(knitr)
opts_chunk$set(fig.align='center')
或
```{r chunkname, fig.align='center'}
...code使数字..。
无论哪种方式，当按下编织pdf按钮时，PDF上都不会出现任何数字。但是我删除了fig.align选项，数字就会出现，左对齐。
在YAML标头中使用fig_crop: false进行了尝试，结果也是一样的。
这暗示了它不起作用的原因：，但是如果我们需要
浏览 1提问于2014-08-31得票数 12
可能重复：
我见过Linux环境中的许多数据结构都有“_t”的后缀。
它有什么特别的含义吗？
浏览 5提问于2011-07-21得票数 0
回答已采纳
我对regex很陌生，很难处理单词中重复的情况。我想做的是匹配任何至少连续三个重复字母的单词，如"whateeever“、"cooool”和"haaaapy"，只保留一个重复字母，然后在单词的末尾添加一个"(elong)“。例如，"whateeever“变成”and (elong)"，"cooool“变成"col (elong)"，"haaaapy”变成“愉快(elong)”。
以下是我所做的，但它只能消除重复，就像“任何东西”变成“任何东西”一样：
def re_sub(pattern, repl):
浏览 3提问于2018-07-13得票数 0
回答已采纳
我有很多相对较小的文件，大约有350.000行文字。例如：
档案1：
asdf
wetwert
ddghr
vbnd
...
sdfre
档案2：
erye
yren
asdf
jkdt
...
uory
如您所见，文件2的第3行与文件1中的第1行重复，我需要一个程序/ Notepad++插件，它可以在多个文件中检查和删除这些重复项。
下一个问题是，我希望将所有列表合并到大的1.000.000行文件中。例如，我有以下文件：
648563行
375924行
487036行
我希望他们得到这些文件：
1.000.000行
511.523行
浏览 2提问于2017-04-26得票数 2
回答已采纳
4回答
我有一个邮件列表，有许多条目是重复的。我在试着找到重复的，这样我就可以删除它们了。当我运行下面的完整查询时，我获得了表(142,000 +)中的所有项。当我运行子查询时，我只得到5768行。我需要每个重复行的所有列来决定删除哪一行。我做错了什么，导致完整查询返回所有行？
select * from Mailinglist
where exists
(select count(*), mailaddress, CenterName
from Mailinglist
group by MailAddress, CenterName
having count(*)>1)
浏览 1提问于2016-06-02得票数 1
假设我们在名为(tpl_users)的表中有一个名为(username)的字段，现在该表有许多重复的行
我写了这段代码来删除重复的用户名：
Delete FROM tpl_users WHERE username = username;
如何删除重复的用户名？
浏览 1提问于2010-04-27得票数 1
1回答
有两种类似的方法：
Collection<Movie> findAll(UserDetails userDetails); //find all movies rated by User
Collection<Movie> findAll(UserDetails userDetails, String s); //find all movies rated by User and containing "s" in title
第二个是第一个+正则表达式。JPQL代码分别：
select movie........ //doesn't mater
浏览 4提问于2015-09-21得票数 2
回答已采纳
我正在尝试更改MySQL结果的顺序，这取决于PHP中是否满足if条件。
我的代码检查是否有行是duplicates的，如果是，则更改row类。
我试图实现的是，如果存在重复项，则MySQL查询按Frequency排序，如果没有找到重复项，则按Name排序。
这就是我所拥有的：
function getFrequencies() {
$conn = getConnected("websiteData");
$frequencyQuery = "
SELECT
f.Name,
f.Frequency,
f.
浏览 14提问于2017-03-12得票数 1
我试图制作一个物质ui表，它的体映射在数组上，我不想重复这些项的值，我希望只在第一个子项上显示一个具有重复值的项。
如果数据看起来是这样的话：
[
{name: 'x', value: '123'},
{name: 'x', value: '124'},
{name: 'x', value: '125'},
{name: 'y', value: '234'},
{name: 'y', value: '235'
浏览 0提问于2021-07-30得票数 1
回答已采纳
我有一个在运行时收到的带有DOS行结束的文件，所以我不能脱机地将行结束转换为UNIX样式。另外，我的应用程序运行在Windows和Linux上。我的应用程序在文件上做一个fgets()，并尝试逐行读取。
在Linux上，每行读取的字节是否也占了两个尾随字符(\r \n)，还是只包含(\n)并且\r将被底层系统丢弃？
编辑：
好的，在Linux上读取文件时保留行尾，但我遇到了另一个问题。在Windows上，在"r“或"rb”中打开文件的行为有所不同。windows是否与Linux不同，明确地对待这两种模式？
浏览 9提问于2012-07-03得票数 2
回答已采纳
所以我有一个列，通过不同的模块列出，有些重复5行，有些重复20行。我试图通过VBA合并这些模块，但是我的代码有问题。下面是我为此使用的Sub，在我逐行调试错误之后，我已经对错误的位置进行了评论。如果您对此错误有任何输入，您将不胜感激！
谢谢你们！
备注：
我从7开始，因为这是模块记录从那里开始的行。
子ReMergeECURowsMPNT() Dim wsMPNT作为工作表集wsMPNT =工作表(“模块部件号跟踪器”) Dim lrowMPNT As Long lrowMPNT = CRC.LastRowInMPNT Dim i If Dim sameRows As Long sameR
浏览 2提问于2017-07-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
