通过检查不同的列来删除重复行
是一种数据处理操作，常用于清洗和整理数据。该操作可以帮助我们去除数据集中的重复记录，以保证数据的准确性和一致性。
具体步骤如下：
- 首先，确定哪些列是用来判断重复行的依据。可以根据业务需求和数据特点选择一个或多个列作为判断依据。
- 使用数据库或编程语言中的去重函数或方法，例如SQL中的DISTINCT关键字、Python中的pandas库的drop_duplicates()方法等，对数据集进行去重操作。
- 在去重操作中，根据选择的列进行比较，如果某行在这些列上的值与其他行完全相同，则认为是重复行，只保留其中的一行，其他重复行将被删除。
- 完成去重操作后，可以将结果保存到新的数据集中，或者直接在原数据集上进行修改。
该操作的优势包括：
- 提高数据的准确性和一致性：去除重复行可以避免数据重复导致的错误和混乱。
- 减少存储空间和提高查询效率：去除重复行可以减少数据集的大小，节省存储空间，并且在查询时可以提高效率。
应用场景：
- 数据清洗：在数据清洗过程中，经常需要去除重复行，以确保数据的准确性和一致性。
- 数据分析：在进行数据分析之前，通常需要对数据进行预处理，其中包括去除重复行，以避免对重复数据进行重复计算。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据库：提供多种数据库产品，如云数据库MySQL、云数据库Redis等，可以方便地进行数据存储和管理。链接地址：https://cloud.tencent.com/product/cdb
- 腾讯云数据万象：提供数据处理和分析服务，包括数据清洗、去重等功能，可以帮助用户高效处理数据。链接地址：https://cloud.tencent.com/product/ci
相关·内容
我刚刚开始学习python，并且尝试删除那些被认为是基于2列的重复行，但这些行似乎与Excel的结果不匹配。
为了说明我从熊猫的文档中复制了下面的内容，因为它与我想做的类似，
df
brand style rating
0 Yum Yum cup 4.0
1 Yum Yum cup 4.0
2 Indomie cup 3.5
3 Indomie pack 15.0
4 Indomie pack 5.0
df.drop_duplicates(subset=['brand', 'style']
浏览 2提问于2022-09-09得票数 1
回答已采纳
我有一个google，人们提交他们正在做的任务，他们会提交一个状态更新，或者是‘正在进行’或者‘完成’，比如任务A，任务A在D4列，状态在E5列中。当任务A的状态为“完成”时，我试图让这段代码只删除任务A的“进行中”行。这可以识别复制，并按顺序删除重复行，但我不知道如何才能在存在'Task A‘’完全‘行的情况下，只删除重复的'Task’'In Progress‘行。任何帮助都将不胜感激！
function removeDuplicates() {
var sheet = SpreadsheetApp.getActiveSpreadsheet().getSheetB
浏览 2提问于2018-10-26得票数 0
回答已采纳
我们有一个相当大的电子表格，其中可能有许多重复项。
我正在尝试找到一种方法来突出显示和删除单个列中的重复项-例如，B列用于电子邮件地址。
一个人的电子邮件应该只出现一次，所以如果他们在B列中出现的次数更多，那么X行就是重复的信息。行X可能包含B列中电子邮件地址的多个实例，具体取决于信息的收集方式。
在Excel2010中执行条件格式化->高亮显示重复项在这种情况下将不起作用，因为虽然具有2个电子邮件地址实例的第X行在技术上是重复的，但它可能不在B列中。
希望我的逻辑是有意义的。
因此，以这种方式删除重复项将删除不正确的部分。
是否有任何公式可以高亮显示和删除B列中出现的重复项，而不是通常
浏览 1提问于2016-12-06得票数 0
我有一个相当大的表，其中包含20+列和近300万行，我希望从单个列中选择所有唯一值，并将它们输入到新创建的表中。经过研究，我尝试了使用DISTINCT和GROUP BY方法，但这两种方法都产生了重复的值。此外，我已经将新表中的新列设置为主键，我认为这不应该允许重复的值。
我绝对是一个初学者，所以也许我做错了一些简单的事情。下面是一些示例代码：
使用GROUP BY
INSERT INTO ResourceGroups(ResourceGroup)
SELECT ResourceGroup
FROM dbo.UsageData
WHERE ResourceGroup IS NOT NULL
GR
浏览 0提问于2017-01-24得票数 1
2回答
我有一个没有唯一键或主键的表。它有50列，其中任何或所有列都可以重复。如何删除所有重复行但保留第一次出现？
浏览 4提问于2014-02-11得票数 0
回答已采纳
2回答
我试图返回显示OrderIds的行，这些行在Notes列中具有重复值，即在Notes列中具有相同值的不同的OrderIds。
我正在使用以下查询：
SELECT
[OrderId],
[Notes]
FROM
[ord].[LineItems]
GROUP BY
OrderId, Notes
HAVING
COUNT(Notes) > 1;
上面的查询的问题是它返回假阳性，即在Notes列中有重复项的行，但是它们具有相同的OrderId (有时会有显示相同OrderIds和Notes值的重复行，因为其他字段中有不同的值)。
我只希望它返回唯一
浏览 0提问于2019-07-26得票数 2
我有一个dataFrame：
ID | a |
--------
1 | 10
1 | 40
2 | 5
2 | 10
df.drop_duplicates('ID')
我希望通过检查列'ID‘中的重复条目来删除重复行，并保留a列中值为10的行。
我希望我的df看起来像
ID | a
--------
1 | 10
2 | 10
浏览 2提问于2015-10-01得票数 4
回答已采纳
3回答
我有一个很大的表-3600万行-在SQLite3中。在这个非常大的表中，有两列：
hash - textd - real
有些行是重复的。也就是说，hash和d具有相同的值。如果两个哈希值相同，则d的值也相同。然而，两个相同的d并不意味着两个相同的hash。
我想删除重复的行。我没有主键列。
做这件事最快的方法是什么？
浏览 20提问于2011-11-19得票数 103
回答已采纳
我有一个表(e_v2)，上面有一些时间序列数据.我希望获取"POINT_KEY“列中的数据出现在另一个表(etraining_v1)中的"KEY”列中的所有行。下面的代码(我不确定它是否正确)确实返回了一些行，但是有很多重复的代码。我想排除这些复制件。
SELECT * FROM e_v2
WHERE EXISTS (SELECT FROM etraining_v1 WHERE "POINT_KEY" = etraining_v1.key)
ORDER BY
"POINT_KEY",
"INTERVAL_READING"
浏览 0提问于2019-08-28得票数 0
回答已采纳
我必须从随机数据集合中删除重复的行。
数据由api作为JSONArray对象从数据库中检索，并且可以包含任意数量/类型的列。
例如，在一种情况下，情况可能是：
TimeStamp Id Value Person
--------- ---- ----- ------
01-01-2018 14:22:16 12 0.3 Mac
01-01-2018 14:32:16 11 0.1 Arya
01-01-2018 14:32:16 2 0.8 Stephen
01-01-
浏览 1提问于2018-03-29得票数 0
4回答
中有一种方法可以检查dataframe列是否有重复的值，而不实际删除行？我有一个函数将删除重复的行，但是，我只希望在特定列中实际存在重复的情况下运行它。
目前，我将列中唯一值的数量与行数进行比较:如果惟一值少于行数，则存在重复值并运行代码。
if len(df['Student'].unique()) < len(df.index):
# Code to remove duplicates based on Date column runs
是否有一种更容易或更有效的方法来检查在特定的列中是否存在重复的值，使用熊猫？
我正在处理的一些示例数据(只显示了两列)。如
浏览 5提问于2018-05-08得票数 76
回答已采纳
假设有一个employee表，其中包含列name、id和salary，这三个rows...then中有两行或两行以上具有相同的值，如何编写查询来删除重复行。
浏览 0提问于2010-12-22得票数 3
如何在添加行时防止数据视图中的行重复？
我需要创建一个类似于sql的唯一列。
有任何方法可以通过属性窗口或programmaticalLy来完成此操作吗？
浏览 0提问于2015-06-10得票数 2
回答已采纳
我已经在Google Sheets中创建了一个员工培训数据库。一名工作人员将出现在几张纸上。
我想在Master Sheet中员工姓名列旁边添加一列，并在该列中添加Yes/No下拉列表，这样当该员工离开公司时，Yes下拉列表将被激活，与该员工相关的所有行都将被剪切并粘贴到具有重复标题的工作表和删除原始数据层的空白单元格中。
这个是可能的吗？有没有人能帮我写公式或代码？
下面是数据库副本的链接：
该下拉列表位于“管理员工”工作表的K列中。我是否需要首先使用活动人员创建每个工作表的副本，以便可以传输存档的行？
浏览 0提问于2019-10-23得票数 0
我有一个超过60-70个列名的Dataframe。在这个60-70中，大多数列名都是重复的。 我想将重复的列行绑在一起。如何找出重复的列名，并将行分别添加到列中。 最后，dataframe必须是不相等的行dataframe(用NA填充空单元格)。谢谢
浏览 196提问于2021-08-27得票数 0
2回答
如果一列中有重复，我对“整行删除”有问题。如果B栏有重复，我想删除整行。
我的桌子上有A，B，C，D列。如果我标记B列，我使用删除重复-它将删除只是重复从B栏，如何摆脱整行，如果有重复在B栏？
有什么建议吗？
真的谢谢
Example:
A B C D
car.name car.color car.price 250 000
car.value car.color car.speed 250 km/h
在这个例子中，我想删除第二行(B列
浏览 7提问于2014-12-15得票数 0
回答已采纳
4回答
因此，我正在处理一些表，它们之间存在一些数据不一致……一个或两个表对特定的表(称为表X)具有外键约束，但该表有多行具有外键列。
我想要做的是删除表X中的重复行，但是外键约束阻止了我这样做。既然我知道自己在做什么，有没有办法在忽略外键约束的情况下强制删除行？
浏览 6提问于2012-03-29得票数 61
回答已采纳
我需要一个查询。Delete表中的所有行，但顶部N行除外。该表只有一列。喜欢,
|friends_name|
==============
| Arunji |
| Roshit |
| Misbahu |
| etc... |
此列也可能包含重复的名称。
包含重复名称
只有一列。
浏览 6提问于2013-06-25得票数 9
回答已采纳
情况：
我有一个电子表格，同样是由许多用户修改约20，每分钟添加和后续事件。
我有一个脚本，它将超级链接添加到列A中。
列(A) =超级链接(“”；“12345”)
注意:当我输入票证ID时，将出现列A中的每一行的超链接。
问题：
当此脚本运行并删除重复数据的信息时，也清除超链接，然后A列只拥有没有超链接的数据。
脚本删除内容，而不是删除行。有时删除行，而其他只删除行中的de数据。
例如：
第10行:数据为Test1
第11行:数据为Test1
第12行:数据为Test3
当脚本运行时，删除行，将第12行删除到第11行，而另一些时候只删除第11行和第12行中的内容，不移
浏览 2提问于2014-08-17得票数 0
3回答
我有一个包含多个列的spark数据帧。我想找出并删除列中有重复值的行(其他列可以是不同的)。
我尝试使用dropDuplicates(col_name)，但它只删除重复的条目，但仍然在数据帧中保留一条记录。我需要的是删除所有最初包含重复条目的条目。
我使用的是Spark 1.6和Scala 2.10。
浏览 4提问于2018-04-10得票数 5
回答已采纳
1回答
我需要查看列'b‘中的所有行，如果该行不是空的，则转到另一个相应的列'c’，并对第三列'c‘中的所有其他行删除此特定索引的重复项，同时保留该特定索引。我遇到了drop_duplicates，但是我无法找到只查找突出显示的行的副本的方法，而不是一列中的所有重复。我不能对整个列使用drop_duplicates，因为我希望在该列中保留可能只对应于'b‘列中空值的重复项。
因此，可能的情况是:如果在“b”中找到一个非空值，则可以转到“c”中的当前索引，并找到该索引的所有副本并删除这些索引。这些重复可以对应于'b‘中的空值或非空值。如果在“b”中找到空值，跳到下
浏览 6提问于2016-09-22得票数 1
回答已采纳
我试图想出一个精益且防错误的宏来删除列A中包含重复值的行。我有两种解决方案，它们都有各自的优点。他们都不是我想要的。
我需要删除包含重复项的行，但保留包含重复项的最后一行.
这个太棒了。它没有循环，并且可以即时工作。问题是，它删除了包含重复项的后续行，从而留下了重复的第一次出现(我需要最后/或第二次--大多数只显示两次)。
Sub Delete() ActiveSheet.Range("A:E").RemoveDuplicates Columns:=1, Header:=xlNo End Sub
这一个从底部删除重复。它的持续时间比第一个(我有大约6k行)，但问
浏览 3提问于2015-12-23得票数 0
回答已采纳
我有点不知道该从哪里着手解决这个问题。
数据集：
AAA15200 12A 60
AAA15200 12B 60
AAA15200 12C 60
AAA15200 13A 60
AAA15200 13A 70
AAA15200 12A 65
问题：
第1栏将是产品代码。
我需要在第2栏中找到每件产品的副本。
如果在第二列中出现重复，则需要转到第3列，查找哪个是较小的值，并删除较小值的行。
所以在上面的数据集中- AAA15200有一个重复的13A。底部的副本有70，大于60，所以我想删除包含60的行。
底线与顶部行
浏览 2提问于2016-02-23得票数 1
回答已采纳
我在Laravel 7中导入一个包含员工记录的excel文件。该档案包含员工编号列和日期。存在包含相同职员编号的重复行和日期。我只想存储1条这样的记录，并丢弃重复的行。有没有办法做到这一点？
浏览 44提问于2021-05-22得票数 0
1回答
下面的代码每天运行两次，以清理从API导入的数据。我只是需要它来删除重复的行，因为数据有时是重复的，而且非常长。一个大问题是它将在一年内每天收集超过2300行的4列数据，因此它将在840,000行左右，并在某个时候接近400万个单元格。已经有了大约一周的数据，它已经开始超时了。我最初把它作为主代码的一部分(正如您在示例表中看到的那样)，但现在我已经将它移到了客户机工作表中的它自己的函数中。不过，它的运行时间太长了(最后一次执行时间是316秒，非常接近超时)。对如何加快速度有什么建议吗？以下是代码：
function removeDupes(){
var ss = SpreadsheetAp
浏览 2提问于2020-11-10得票数 2
回答已采纳
1回答
我知道如何根据列数据删除重复行。我还知道如何根据行索引删除双倍行。我的问题是:是否有一种方法可以根据索引和一列删除重复行？
谢谢!
浏览 10提问于2020-07-25得票数 2
回答已采纳
我有一个表，其中包含帐户行和有关它们的详细信息。我创建了一个符合我的条件的临时表，并将其命名为#temp2。现在，我需要做的是从原始表中获取满足其他条件的最大前一行，该条件不同于已被带到临时表的当前行。我正在处理的问题是，我需要取上一行的最大值。简单的方法是，如果帐户有重复的行，最大前一行将在最大日期列上。如果重复的行也有相同的日期，我需要取max Code列，如果帐户有具有重复日期的行和Code列，则我将取Amount列。帐户最大上一行的优先级为-日期、代码、金额。我需要取最大值的前几行的帐户示例： **Account** **Date** **Code**
浏览 16提问于2020-07-21得票数 0
回答已采纳
4回答
删除没有主键的重复项
、、、
这里希望删除具有复制列的值(Product)的行，然后将其用作主键。
该列的类型为nvarchar，我们不希望一个产品有2行。该数据库是一个大型数据库，需要删除大约、数千行、。
在查询所有重复项时，我们希望保留第一项，并删除作为副本的第二项。
还没有主键，我们希望在删除重复项的活动之后使其生效。那么Product列可能是我们的主键。
数据库是Server。
我尝试了几种方法，大部分都是错误，类似于：
解析查询时出错。令牌行号= 2，令牌行偏移= 1，令牌错误=从
我尝试过的一种方法：
DELETE FROM TblProducts
FROM TblProducts w
INNE
浏览 5提问于2012-07-15得票数 5
回答已采纳
1回答
我必须在我的工作表中查找基于两列的重复条目-列A和列D。如果这两列下的条目在任何两个给定行中都匹配，那么我认为它们是重复的。为此，我一直在尝试对行进行排序，以便在列A和列D下具有匹配条目的行一个接一个地出现。例如，如果我有：
A列B列C D列
ABC PQR 123 456
ABC XYZ 789 006
ABC BNM 376 456
ABC QWR 387 006
最好是通过VBA，我希望能够将其放在以下格式中：
A列B列C D列
ABC PQR 123 456
ABC BNM 376 456
ABC XYZ 789 006
ABC QWR 387 006
我知道如何按一列排序，但不确定是
浏览 15提问于2019-08-15得票数 0
回答已采纳
问题所在
我的桌子是这样的：
Email | Name
test@example.com | Test
info@example.com | Lorum
info@example.com | Ipsum
bot@example.com | Bot
现在，我希望在第1列中找到名为Email的重复项，然后删除除第一个条目之外的所有重复项，因此输出必须是：
Email | Name
test@example.com | Test
info@example.com | Lorum
bot@example.co
浏览 3提问于2013-11-04得票数 0
回答已采纳
6回答
表中有重复行，如何根据单个列的值删除它们？
例如
uniqueid, col2, col3 ...
1, john, simpson
2, sally, roberts
1, johnny, simpson
delete any duplicate uniqueIds
to get
1, John, Simpson
2, Sally, Roberts
浏览 8提问于2013-08-15得票数 10
回答已采纳
我有一个包含数百行的excel表格。
特定列可能在同一列中的多个行中具有重复的值。
我需要在该列中标识这样的值。我该怎么做？
如果我需要检查一列中的值是否存在于另一列中，VLOOKUP将非常方便；但我猜在同一列中查找重复项将非常麻烦。
浏览 1提问于2019-08-08得票数 0
我想删除数据文件中包含第2列中的值的所有行，这些值在其他行的第2列中重复。
我已经按第2列中的值进行了排序，但无法知道如何将uniq仅用于一个字段中的值，因为这些值不一定具有相同的长度。
或者，我可以使用awk一行来删除重复的行，比如
awk -F"[,]" '!_[$2]++'
但这保留了与第一次发病率的重复值在第二次。
例如，如果我的数据是
a,b,c
c,b,a
d,e,f
h,i,j
j,b,h
我想删除第二列中出现b的所有行(包括第一行)。如下所示：
d,e,f
h,i,j
谢谢你的建议！！
浏览 5提问于2014-03-10得票数 2
回答已采纳
我有一个for循环来在R中做矩阵操作。对于一些检查是真的，我需要再次来到同一行。，这意味着i需要减少1。
for(i in 1:10)
{
if(some chk)
{
i=i-1
}
}
实际上，i并不是为我减少的。以第五行为例，我将I减少到4，所以它应该是5，但它是6。请指教。
我的意图是:检查一个矩阵的第一个列值，如果我发现任何重复的值，我会获取第二个列值，并附加第一行的第二列，然后删除重复的行。因此，当我删除一行时，我不需要增加I in while循环。(这只是一个map reduce方法，追加相同key的值)
浏览 0提问于2014-06-26得票数 0
2回答
通过一些设置，例如使用IDENTITY_INSERT，我们在标识列中有重复的条目，什么是删除重复条目的最佳方法。
我有一个表Details，列为DetailID | FKey | Col1 | Col2 | Col3 | Col4
DetailID是"Identity“，FKey是另一个表的外键。
现在我们已经有240000条记录了。有人使用了"IDENTITY_INSERT“，它不适用于此表，但却错误地应用于此表。所以它有重复身份记录。
因此，首先我们只需要挑选那些具有相同标识的行，然后我们需要匹配所有列的数据，如果所有列都相同，那么只保留一行并删除其他行，但只有标识是重复的
浏览 0提问于2010-10-23得票数 3
回答已采纳
3回答
可能重复：
我的标题很大程度上解释了我想要做的事情，但我会详细介绍一下。当调用它时，我正在创建一个存储过程，首先检查该行是否已经存在(通过比较两个参数)，如果存在，它将更新行中的一个特定列，如果该行不存在，它将向表中插入一个新行。
BEGIN
SELECT
(
CASE WHEN [Site] = @site and Plant = @plant
then
UPDATE [Status]
FROM Server_Status
WHERE [Site] = @site
ELSE
Insert into Server_Status(Name, [Path], [Site], Pla
浏览 6提问于2012-09-25得票数 0
回答已采纳
4回答
我已经通过了不同的网站和代码，但似乎没有什么能结束我的痛苦。它们要么帮助查找和删除特定列的重复项，要么只从datatable中删除，而不是从基础数据库本身中删除。我想从我的mdb文件的表"table1“中删除重复行。
为了使我的要求更清楚：
表中的任何列都没有主键设置(而且我负担不起)
我想删除所有重复行，除了一个！(秩序没有意义)
在更新数据库本身之前，我更喜欢从数据库中删除副本，而不是首先检查是否存在这样的行(如果这是最后的方法，那就欢迎)
所谓重复行，我指的是不明确的行。例如，在下面的示例中，只有第3行和第5行是重复的。我想删除其中任何一个。
Name1 Name
浏览 5提问于2011-04-08得票数 2
回答已采纳
1回答
我在获取数据透视表(从PowerPivot模型创建)时遇到了问题，因为在不期望数据的情况下，重复的数据值会显示出来。
为了简化模型，我试图在下面描述它(因为我无法在这里发布图像)：
表1
列: Org，Org名称
第1行: H，人力资源
第2行: S，销售
第3行: M，市场营销
表2
列:应用程序，Org名称
第1行: bizPaycheck，人力资源
第2行: bizLeads，销售
第3行: bizProducts，市场营销
我将数据输入到PowerPivot中，然后根据我的数据集创建一个数据透视表。
透视表选择字段
表
浏览 2提问于2013-07-03得票数 0
回答已采纳
这个问题是关于SQL UNION操作符查找重复行的内部方法--而不是编写我们自己的查询来比较2行。
例如，考虑一下，我使用的是带有2个select查询的union。每个选择是连接5个或6个表，并在结果集中有10列。
问题是：UNION如何找到重复的行？column1 of select1和column1 of select2 & column2 of select1和column2 of select2 .
当我在每个选择中有10列时，结果包含7000行(例如)。
当select语句中有9或11列时(但连接/查询逻辑没有改变)--结果包含不同的行数，而不是7000行。
有人能解释一下，
浏览 3提问于2015-12-04得票数 3
回答已采纳
2回答
我一直在使用两列主键，但我刚刚发现第二列(第2列)的值映射到同一项，从而导致重复。
我已经创建了一个新列(第3列)，我想从该列创建一个包含两列的主键。我需要通过删除重复的行项目来为新的主键准备数据库。
我正在寻找一个可以隔离重复列的查询:例如，其中列1和列3都是重复的。例如。
Column 1 Column 2 Column 3 Remove?
1 a x n
1 b x y
2 b y n
3 c
浏览 2提问于2013-06-19得票数 0
2回答
我有一个表，其中一列名为mid。它有很多价值，其中一些是重复的。还有一个名为chashrate的列。对于每个中间行，它都有一个不同的值。还有一个名为pid的列，它显示每一行的id。
我尝试过使用HAVING提取特定的值行，但我一次只能提取一个值或多个彼此不匹配的值
$miner = $pdo->query("SELECT * FROM data WHERE pid='6'")->fetchall();
我需要做的是收集所有相同的MID列值行，id为pid=6，例如所有的mid = 8；pid=6，收集它们的chashrate并求和。例如，我会得到mi
浏览 13提问于2019-07-08得票数 0
4回答
下面的表格中，B列的服务器名称重复了两次，有些时候多次重复，或者根本没有重复。相应的C列的大小可以是相同的，也可以是小于或不同的，或者都是相同的数字。我想删除所有的dups行，留下一行，其中C列中的数字更大，或者相同(如果所有的行都有相同的编号)。我试着用下面的代码循环
Option Explicit
Sub removeDups()
Dim NumberOfValues, counter As Integer
Dim name, foundname As String
Dim value1 As Long
Dim i As Long
NumberOfValues = ThisWorkboo
浏览 10提问于2022-01-18得票数 3
回答已采纳
1回答
是否可以查询同一行中是否有重复的记录？
我试图找到一个解决方案，但我能找到的只是检测到列中的重复字段，而不是行中的重复字段。
例如，假设我有一个包含行和项的表：
| id | item1 | item2 | item3 | item4 | item5 | upvotes | downvotes |
--------------------------------------------------------------------
| 1 | red | blue | red | black | white | 12 | 5 |
因此，我想看看是否可以进
浏览 1提问于2011-01-23得票数 1
回答已采纳
5回答
我使用以下实现在DataTable中查找重复项。它的效率非常低，并且永远需要大约20K行。我只需要为第二个列值找到重复的条目：
private List<string> checkForDuplicates(DataTable results)
{
List<string> duplicateLists = new List<string>();
for (int i = 0; i < results.Rows.Count; i++ )
{
string cellvalue = results.Rows[i][1
浏览 3提问于2011-03-10得票数 1
回答已采纳
我有一个大的固定宽度的文件被读成块10000行熊猫。除了从数据中删除重复项外，这对于所有东西都很有用，因为复制项显然可以在不同的块中。由于文件太大，无法全部装入内存，所以文件正在以块形式读取。
我第一次尝试去复制文件的目的是只引入去重复文件所需的两列，并列出不读取的行列表。只阅读这两列(在大约500列中)很容易就可以在内存中使用，并且我能够使用id列查找重复项，并使用一个合格列来决定两个或三个具有相同id的列中的哪一个。然后，我使用read_fwf()命令的skiprows标志跳过了这些行。
我遇到的问题是Pandas固定宽度的文件读取器不能同时使用skiprows = list和iterat
浏览 1提问于2015-06-04得票数 8
回答已采纳
我正在创建一个数据管道，将数据从一个文件复制到另一个文件。我的输入文件有4列，输出文件有2列。我只想复制输入文件的第一列和第三列，并将其存储在输出文件中。复制完成后，我想从输出文件中删除重复项。但我无法使用Dataflow、Databricks或Azure datalake分析，因为我的设置中没有计算。有没有办法不用compute就能做到呢？
浏览 0提问于2020-04-23得票数 1
2回答
我有一点优秀的知识，但我遇到了一个问题。我正在处理的工作表有一个列，列中有一个列表名，其中一些是重复的。下一列列出了每个人的属性列表，其中每个重复都有不同的属性IE。
Toni BB>H 19</code>Toni BC<code>H 210</code><code>H 111</code>Gerry GH<code>H 212</code><code>H 113</code>Gerry YH<code>H 214</code><H 115</c
浏览 6提问于2021-09-18得票数 0
2回答
我有一个大约有5500行的XL文件。其中一列是所有重复的数字，比如邮政编码。如何计算该列中有多少个数字，但又要消除重复项呢？例如，该列中可能只有250个邮政编码。我怎么才能算出来呢？
浏览 1提问于2014-08-08得票数 0
1回答
我有一个带有10000+行的表，但是数据来自2个源，因此对于相同的唯一键组合存在重复。因此，假设A和B列是唯一的标识符。列C到K有关于由唯一键指定的项的数据。我需要检查唯一键组合是否有第二次出现，如果有，第二次出现的C到K列中的数据是否与第一次出现的数据相同。如果它们是相同的，那么将行复制到第2页。
如果a1 = a2和b1 = b2，则检查c1:k1等于c2:k2 ->复制到第2页。
我需要分别创建匹配和不匹配的列表。
浏览 4提问于2012-05-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
