删除多个大型CSV文件之间的重复项

文章/答案/技术大牛

发布

1回答

python-3.x、duplicates

我正在尝试找到从大型CSV文件中删除重复项的最佳方法。我每个月都会收到大约5/6百万行的CSV文件。我需要调整这些列(我只需要一些列，我需要添加一些其他列)。这些文件还包含许多重复的、不完整的行。我已经想出了一个python的解决方案，我使用一个集合，并检查每一行是否在集合中。并改变需要改变的东西。

浏览 5提问于2018-08-13得票数 0

2回答

删除多个CSV文件之间的重复项

python、csv、spreadsheet、opencsv

我有多个CSV文件，每个CSV文件中有两列：我不知道最好的方法是删除链接和描述的所有副本，只留下一个，这样只剩下一个链接和描述的实例。如果我可以同时导入所有CSV文件，那么有可能在多个CSV文件中出现一个链接。链接和描述是有一个副本将完全相同。谢谢!

浏览 3提问于2020-05-07得票数 0

回答已采纳

2回答

删除大型.csv文件中的重复项

python、duplicates、duplicate-removal

我有一个这种格式的csv文件test1 1 20131211220159 123123我试图从这个文件中删除所有旧数据，并且只保留带有最新时间戳的数据。(上面的前两个应该删除，因为上一个时间戳大于前两个时间戳)。我想保存所有的测试数据，除非相同的测试和相同的单元在

浏览 1提问于2014-01-14得票数 2

回答已采纳

1回答

在Python中操作CSV文件

python、file、parsing、csv

import csv writer=csv.writer(open('Names_NoDuplicates.csv', 'w'),delimiter=',') for row in reader: if row[0] n

浏览 1提问于2015-11-17得票数 0

3回答

从大型csv文件中删除重复项

python、python-3.x、pandas、csv

我有一个大约2400万行的大csv，我想缩小尺寸。下面是csv的一个小预览：我想删除具有相同CIK和IP的行，因为我有一堆这样的文件，它们占用了很大的空间，所以我想要找到一种有效的方法来删除重复文件。我已经做了测试有多少副本的CIK在那里，对于一些有超过100,000，这就是为什么我想削减那些重复。我试过一些东西，

浏览 0提问于2019-05-03得票数 0

1回答

如何将一列添加到多个具有不同值的.csv文件

python、csv、dataframe

我有以下场景:我有一个包含多个.csv文件的文件夹，我最终希望合并并删除重复的文件。我目前遇到的问题是，我只想删除合并文件时产生的重复项。换句话说:一些单独的.csv文件已经有了我不想删除的重复行。为了实现这一点，我考

浏览 22提问于2019-09-03得票数 0

回答已采纳

1回答

等同于熊猫df.drop_duplicates的C# Deedle？

c#、csv、duplicates、deedle

在Python 中，我可以使用以下命令轻松地在DataFrame中删除重复项：在C#或中有没有这样简单快速的东西呢？或者我需要遍历整个框架(从一个大的CSV文件)来删除重复项？我使用的数据是从一个大约有40列和12k

浏览 1提问于2014-07-06得票数 0

2回答

swi-prolog:如何按照子列表的第n个元素对列表进行排序，允许重复

list、sorting、prolog

(我使用了“asserta”将一个包含多个列的大型csv文件放入数据库。)是否有一种不删除重复项的按列进行数字排序的方法？正如您从我的简单示例(按第二列/元素进行排序)中所看到的，predsort方法删除重复项。我可以通过切换和移除一些列并使用msort来解决这个问题，但我在这里专门要求您提供一个替代方案。

浏览 3提问于2014-08-04得票数 5

回答已采纳

3回答

Pandas处理大型CSV数据

python、pandas、dataframe

我正在使用pandas处理至少8 8GB大小的大型数据集。在我的理解中，分块整个文件将创建许多不同的数据帧。因此，使用我现有的例程，这只删除特定数据帧上的重复值，而不是整个文件上的重复值。我需要删除基于“唯一键”列的整个数据集上的重复</em

浏览 33提问于2020-03-11得票数 3

回答已采纳

1回答

使用Python将具有相同文件名模式(但实际文件名不同)的多个TSV文件转换为CSV

python、csv

一个文件夹中有多个tsv文件。我想将每个tsv文件转换为csv文件，并将所有csv文件合并为一个大型csv文件。customer_data = r"C:\Users\username\Desktop\folder\CustomerData_20201030031520.tsv" customer_data = pd.read_csv(customer_data,

浏览 29提问于2020-10-30得票数 0

1回答

python pandas，删除用于任何DataFrame特定列的重复功能，但有一个例外：

python、pandas、dataframe、csv、data-science

无论如何，我正在试图弄清楚如何为从.csv文件读取的DataFrame的一个或多个列的所有单元格实现删除重复项功能，在python脚本中，您可以设置要在DataFrame的列的所有单元格中删除重复项的符号，但有一个例外，当一个符号是一个单元格的唯一符号时，不要删除该符号的<e

浏览 1提问于2021-04-05得票数 0

2回答

如何从visual studio web项目中删除重复条目？

visual-studio、web-applications、projects-and-solutions、duplicates

我在一个大型团队中工作，有多个分支和合并，定期发生。删除Project中的项目(删除所有条目以及磁盘文件)，然后从源代码管理中再次获取该文件并将其添加回去。卸载项目文件，查找重复项，删除</em

浏览 2提问于2009-08-06得票数 7

回答已采纳

3回答

如何根据两列删除csv文件中的重复项？

python

我有一个这样的csv文件：adam stephensonjohn我想从这个文件中删除重复项，只得到：adam stephenson我写了这个脚本来删除基于姓氏的重复<e

浏览 1提问于2012-10-12得票数 12

回答已采纳

1回答

加快使用重复项加载数据的速度- 250 GB

mysql、duplicates、innodb、load-data-infile

我正在寻找建议，是否有任何方法可以加快大约250 GB的数据导入到一个MySQL表(InnoDB)从8个源csv文件约。每个30 GB。csv本身没有副本，但在文件之间确实包含副本--事实上，所有8个csv文件中都会出现一些单独的记录。因此，这些重复项需要在过程中的某个时刻删除。我目前的方法创建了一个具有主键的空表，然后使用八个

浏览 1提问于2015-07-14得票数 0

1回答

Pandas，仅当其他列中没有重复项时才跨多个列删除重复项

python、pandas、duplicates

对于大型数据集(>800,000条记录)，需要跨多个列查找重复项，但如果单独的列中没有重复项，则将其删除。例如，在本例中，我们通过subset='Col2'，'Col3'，'Col4‘搜索重复项，并在Col1中选择None： +------+------+------+------+| None | c | 2 |

浏览 15提问于2021-03-26得票数 1

回答已采纳

2回答

从大型CSV文件中删除特定的CSV列，并使用Perl复制行。

perl

我有一个大型的CSV文件(300MB+)，我只想使用Perl删除列2、3和6-8，并删除重复的行：注2:我添加了input.csv和output.csv</em

浏览 0提问于2022-03-14得票数 1

回答已采纳

1回答

MySql加载数据加密副本

php、mysql、csv

我有一个12000行90列的大型CSV文件。但我一直收到这样的错误:我的CSV在主键上有重复项。我确信它在主键上没有重复项。$sql = "LOAD DATA INFILE '/a_bysch_store (2)

浏览 1提问于2014-04-30得票数 0

3回答

删除重复项

scala、csv、duplicates

我想从CSV文件中的数据中删除重复项。第一列是年份，第二列是句子。我想删除句子的任何重复项，而不考虑年份信息。val source = CSVFile("science.csv"); source ~

浏览 0提问于2013-01-10得票数 1

回答已采纳

1回答

从csv中删除重复项

python、csv

好的，我有一个csv文件，我想删除重复的文件。我有一个正常工作的代码示例，但我后来也尝试复制它，副本显示为空白，我相信是因为我用来删除重复项的代码没有关闭csv文件，然后再进行复制。如果我在删除重复文件之前复制该文件，它可以完美地工作。但我希望避免删除两个<

浏览 0提问于2020-01-23得票数 1

1回答

如何根据重复日期和ID去除数据框行

r、date、duplicates

需要删除的重复项总是出现在该对中的第一个，所以我在考虑以某种方式使用该信息来删除它们。我简化了下面的数据，以减少问题(注意:我正在寻找一个函数，可以在大型数据集中删除多个重复项，而不必手动识别它们)：到目前为止，我一直在尝试完成以下代码： test <- ea2[!duplicated(ea2[,c("PatientID", "SessionDate2

浏览 1提问于2019-07-06得票数 0

点击加载更多