我有一个很大的文件，其中每行包含一行JSON，共1563888行。为了对这个文件中的行进行重复数据删除，我一直使用shell单行程序sort myfile.json | uniq -u。对于较小的文件，此方法有效，sort myfile.json | uniq -u | wc -l大于0。由于现在的文件大小，运行sort
浏览 27提问于2019-04-30得票数 1
回答已采纳
我有一个大文件50G，我想得到文件的重复行和其余部分，我使用两个命令来获得结果，这需要很长时间。sort file.tsv | uniq -d > duplicateList.tsv 由于您可以看到这个过程重复了两次，所以我希望只执行一个命令，并返回这两个结果，而不使用
浏览 5提问于2021-10-22得票数 4
我想要完成的任务：print duplicated linesSYNOPSIS
only print duplicate linesroot@laptop:/var/www# cat file.tmp BarQux
root@laptop:/var/www# cat file.tmp | un
浏览 3提问于2010-06-27得票数 0
回答已采纳
3回答
例如，这是list.txtJack 1Fox 2Jones 6然后输出应该是5，因为2rd列中有5个不同的值。我应该如何仅使用sort cut wc uniq来完成这一任务？我有一个想法，首先使用sort -k2n按递增顺序对第二列进行排序，然后使用uniq消除第二列重复的行，结果如下
C
浏览 0提问于2018-01-31得票数 2
回答已采纳
4回答
我想从一个文件中计算单词的频率，其中单词是逐行的。这个文件真的很大，所以这可能是问题所在(在本例中它有300k行)。我执行以下命令：问题是，它给了我一个小错误:它将相同的单词视为不同的单词。例如，第一个条目为：278 apertura 189 mur
浏览 0提问于2012-08-08得票数 6
回答已采纳
1回答
假设我有两行(在txt文件中)Tuesday, Monday, Week
它们包含相同的信息，但是信息(第一列和第二列)在每一行中的顺序不同，所以我不能简单地使用sort或uniq来消除它们。如何删除包含相同信息的所有重复行？
浏览 0提问于2016-11-24得票数 4
1回答
我有一个data.txt文件，如下所示11001当我尝试的时候，我连续获取多次出现的uniq值100有没有办法，我可以得到如下结果
浏览 1提问于2013-05-28得票数 0
回答已采纳
2回答
我有一个文本文件，我想删除一些行。文件的示例内容如下--v2 has output 10.2v4 has output 1.1------------------正如上面所看到的，1.1和10.2值重复了几次，我希望保留前10行1.1和10.2并与它们相似(这些值是不同的，有上百个不同
浏览 1提问于2018-09-06得票数 0
回答已采纳
我试图找出这个命令的原因，因为我知道很基本，我发现last =上次搜索文件/var/log/wtmp (或由var标志指定的文件)，并显示自创建该文件以来登录(和注销)的所有用户的列表。cut用于显示所需的列。-f
浏览 2提问于2014-03-21得票数 0
我有一个70 400的文件，包含400行million+ (JSON)。我的最终目标是删除重复的行，以便我有一个完全“去欺骗”版本的文件。我是在一台有8核和64 am内存的机器上这样做的。对每个文件进行排序/Uniq
for X in *; do sort -u --parallel=6 $X > sorted/s-$X; don
浏览 0提问于2018-12-26得票数 0
假设我有一个文件，其中包含一堆行，其中一些重复：line1line2line3我应该使用什么linux命令来生成唯一行的列表：line2line3
如果文件未排序，即重复行可能不在块中，这种情况会发生变化吗？
浏览 2提问于2013-05-31得票数 14
回答已采纳
实际上，我正在编写一个批处理脚本，我需要使用批处理代码(这很糟糕)、uniq、sort、sed等来删除重复的行，但它不能对进程中的列表进行排序。有什么想法吗？sort <file> | uniq cat <file> | uniq
失败。
浏览 0提问于2012-11-15得票数 1
回答已采纳
13回答
我有一个文本文件，其中包含一个长的条目列表(每行一个)。其中有些是重复的，我想知道是否有可能(如果是，如何)删除任何重复的。如果可能的话，我有兴趣在vi/vim内部做这件事。
浏览 9提问于2008-12-08得票数 147
回答已采纳
2回答
我想知道如何从多个文件中消除重复行。我使用这个命令获取重复行，但它只显示了相同的行：例如，如果我有以下文件：AAATTTfile1.txt：BBBfile2.tx
浏览 3提问于2015-09-09得票数 1
回答已采纳
我使用命令进行单字计数：但我想知道有没有办法把所有的单词都数一遍？所需的输出如下所示：I 4groot 8可以使用bash文件或bash脚本完成吗
浏览 0提问于2020-10-20得票数 2
我有两个字符串列表，我生成并放入变量，$t和$nnpp。然后使用comm命令对它们进行比较。pcr=$(comm -13 <(echo “$t” | sort) <(echo “$nnpp” | sort))现在，当我试图遍历我创建的$psl的新列表
浏览 0提问于2019-07-24得票数 2
我不得不在我的nrpe.cfg文件中添加这一行，在200多个服务器中：但对于某些问题，有些机器会不止一次地使用这一行因此，现在我想检查是否有多次，并删除它，只留下一行与指定的命令。我需要在shell脚本中做到这一点。
浏览 0提问于2013-04-18得票数 0
回答已采纳
2回答
我正在尝试使用sed命令打印文件中的重复行。在一个文件中，我有以下内容：hellohow如何使用sed命令打印此文件中的重复行？？hi
hello
浏览 2提问于2015-02-28得票数 1
我的数据为/tmp/1910561689480749170406我跑了却什么都没得到这很奇怪，因为uniq -d应该
-d Only output lines that are repeated in the input.如何使用uniq -d**?** ？
浏览 6提问于2009-07-25得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
