如何创建从没有重复的列中获取的唯一值的pandas数据帧
在pandas中，可以使用drop_duplicates()方法创建一个从没有重复的列中获取唯一值的数据帧。
具体步骤如下：
- 导入pandas库：
import pandas as pd - 创建一个包含重复值的数据帧：data = {'col1': [1, 2, 2, 3, 4, 4, 5],
'col2': ['a', 'b', 'b', 'c', 'd', 'd', 'e']}
df = pd.DataFrame(data)这里的
col1和col2是两列数据，其中col2包含重复值。 - 使用
drop_duplicates()方法创建一个新的数据帧，其中包含从没有重复的col2列中获取的唯一值：unique_df = df.drop_duplicates(subset='col2')这里的subset='col2'表示只考虑col2列的重复值。 - 打印新的数据帧：print(unique_df)输出结果为： col1 col2 0 1 a 1 2 b 3 3 c 4 4 d 6 5 e
这样就创建了一个从没有重复的列中获取唯一值的pandas数据帧。
推荐的腾讯云相关产品：腾讯云数据库TDSQL、腾讯云数据仓库CDW、腾讯云数据传输服务DTS。
腾讯云产品介绍链接地址：
相关·内容
1回答
在连接pandas中的数据帧列表时，有没有办法保留重复的列。例如，我创建了一个数据帧列表： import pandas as pd
Label1 = ['A', 'B', 'C', 'A']
Label2 = ['A', 'C', 'D', 'E']
Label3 = ['A', 'B', 'C', 'D', 'E']
row1 = [1, 2, 3, 5]
row2 = [2,4,5
浏览 97提问于2021-07-12得票数 0
1回答
数据帧中的一列是STANME (州名称)。我想创建一个pandas序列，索引= STNAME，值= DataFrame中的条目数量。例如，示例输出如下所示
STNAME
Michigan 83
Arizona 15
Wisconsin 72
Montana 56
North Carolina 100
Utah 29
New Jersey 21
Wyoming 23
我目前的解决方案如下所示，但由于需要挑选任意列，重命名此列等，所以似乎很笨拙。
浏览 1提问于2020-12-24得票数 0
我有一个csv文件，它有很多列(20+)。我想过滤时间列("mins")，这样它就可以创建60个独立的数据帧，其中包含每分钟的所有数据。我可以使用下面的方法实现它，但是可以使用for循环来实现，而不是重复我自己60次？
import pandas as pd
df = pd.read_csv("data.csv")
mins_0 = df[df['mins']==0]
mins_1 = df[df['mins']==1]
mins_2 = df[df['mins']==2]
mins_3 = df[df[
浏览 0提问于2021-06-10得票数 0
我有一个具有多次出现特定值的pandas数据框。我希望删除所有重复的值或替换为NaN，并最终获得具有任意数量的唯一值的列的名称。Pandas drop_duplicates函数只删除有重复值的行，但我想删除数据框中的值/单元格。对此有解决方案吗？
根据下面的输入数据帧，除了列"02“的第一行之外的所有值在数据帧中都有重复出现，所以列"02”就是我想要的。如果问题不清楚，请告诉我。谢谢。
DF: 02 03:10 03:02 03:02:09 0 6716 45355 45355 45355 1 4047 4047 7411
浏览 56提问于2019-04-02得票数 1
回答已采纳
我正在尝试合并两个都有'product_desc‘列的数据帧。我使用的是Pandas 0.13和Python 2.7。
small_df = pd.merge(small_df, linregress_df, on = 'product_desc', how = 'left')
但是，我得到以下错误：
pandas.core.index.InvalidIndexError: Reindexing only valid with uniquely valued Index objects
我将两个数据帧导出到平面文件中，其中的索引或其他列都没有重复值。我需
浏览 8提问于2014-06-09得票数 2
我有一个包含多个行的pandas数据框，这些行基于id列是彼此重复的，除了它们各自行中的其余值不是重复的。我的目标是将这些行合并到一行中，而不会丢失其余列中的数据。
我希望预期的结果如下所示：
浏览 1提问于2020-03-01得票数 0
3回答
给定一个Pandas数据帧，其中一列如下所示：
Date
2016-04-15
2016-04-14
2016-04-13
2016-04-12
2016-04-11
2016-04-08
假设值是唯一的，我如何获得特定值的行索引？
例如，"2016-04-13“将返回2
浏览 0提问于2016-05-29得票数 5
回答已采纳
3回答
我有一个Pandas数据集，我想要一个列值的列表，不要重复。例如，如果您有以下数据集
import pandas as pd
ds = pd.DataFrame({'col1':['a', 'b', 'c', 'd'], 'col2':[2021, 2022, 2022, 2021]})
对于列col2，您应该有以下返回[2021, 2022]。我使用这个命令：
ds['col2'].value_counts().index.to_list()
它正在工作，其输出是[2021, 2
浏览 6提问于2022-09-01得票数 0
回答已采纳
我有一个包含1000行的Pandas数据帧。并且它的Names列包含客户名称及其记录。我希望根据每个客户的唯一名称为其创建单独的数据帧。我把独一无二的名字写进了名单
customerNames = DataFrame['customer name'].unique().tolist()这将提供以下数组
['Name1', 'Name2', 'Name3, 'Name4']
我尝试了一个循环，方法是捕获上面列表中的唯一名称，为每个名称创建数据帧，并将数据帧分配给客户名称。因此，例如，当我编写Name3时，它应该将Name3的
浏览 2提问于2017-06-23得票数 3
回答已采纳
3回答
我有一个包含2列的数据帧，如下所示：
Index Year Country
0 2015 US
1 2015 US
2 2015 UK
3 2015 Indonesia
4 2015 US
5 2016 India
6 2016 India
7 2016 UK
我想创建一个新的数据帧，其中包含每年国家的最大计数。新的数据帧将包含3列，如下所示：
Index Year Countr
浏览 0提问于2017-08-12得票数 2
1回答
我有一个Pandas数据帧，我正在检查它的重复项。我得到了下面的输出，但我不知道为什么它会将它们显示为副本。一行中的所有列值不都应该是相同的，但却显示为重复的吗？如果我错了，请纠正我，我是Python的新手
浏览 17提问于2020-05-13得票数 0
回答已采纳
我已经阅读了将csv文件加载到pandas数据帧中，并希望对该数据帧进行一些简单的操作。我不知道如何根据从原始数据框中选择的列来创建新的数据框。我的尝试是：
names = ['A','B','C','D']
dataset = pandas.read_csv('file.csv', names=names)
new_dataset = dataset['A','D']
我想用原始数据帧中的列A和D创建一个新的数据帧。
浏览 1提问于2017-07-11得票数 24
回答已采纳
2回答
我有一个Pandas数据帧，看起来像这样： Group1 Group2 Sim
A A 1.0
A B 0.5
A C 0.8
B B 1.0
B A 0.5
B C 0.7
C C 1.0
C A 0.8
C B 0.7 Group1和Group2列表示两个组对，Sim列表示Jaccard相似性
浏览 30提问于2020-07-09得票数 4
回答已采纳
我想要查找包含pandas数据框中除NaN以外的所有非重复项的列。
x y z
a 1 2 A
b 2 2 B
c NaN 3 D
d 4 NaN NaN
e NaN NaN NaN
列"x“和"z”具有除NaN之外的非重复值，因此我希望将它们挑选出来并创建一个新的数据框。
浏览 16提问于2020-05-14得票数 1
回答已采纳
1回答
首先，我需要说明我的代码运行时没有任何错误消息，但是我不理解一些结果。
我在networkx中从一个pandas数据帧创建了一个图，它有398595个整数ID。
# Create Graph
G = nx.Graph()
G.name = "Graph from Pandas"
# Add Nodes to Graph
G.add_nodes_from(test_df['ID'].tolist())
print(nx.info(G))
nx.info(G)的输出如下所示，这也是正确的，这是我所期望的：
Type: Graph
Number of nodes:
浏览 0提问于2020-09-28得票数 0
1回答
我有一个数据帧，如下所示： Name Variable Field
A 2.3 412
A 2.9 861
A 3.5 1703
B 3.5 1731
A 4.0 2609
B 4.0 2539
A 4.6 2821
B 4.6 2779
A 5.2 3048
B 5.2 2979
A 5.8 3368
B 5.8 3216 如您所见，我在"variable“列中有重复的值。我想为A和B之间的每个变量计算增量(%)。我想要生成的数据帧是： Name Variable Field Ref field (A) Delt
浏览 28提问于2019-02-15得票数 4
回答已采纳
我像这样将CSV读入数据帧并运行info() dlqcsv = pd.read_csv(a1, sep=',', encoding ="ISO-8859-1", low_memory=False, index_col=False)
dd = dlqcsv.info(verbose=True)
dd.describe() 它产生： <class 'pandas.core.frame.DataFrame'>
RangeIndex: 504334 entries, 0 to 504333
Data columns (total 288 c
浏览 13提问于2020-01-05得票数 0
回答已采纳
我正在尝试通过sqlalchemy.I将pandas数据帧上传到sql表中。我应该将数据帧中的一些列插入到sql表中，然后读取主id，并根据id将其他列插入到另一个表中。到目前为止，我已经尝试过：
df1= df[['date','name','email','contact']]
before inserting the dataframe:
df['recordid']= pd.read_sql_query('select MAX(recordid)+1 from table1', conn)
浏览 0提问于2020-06-08得票数 0
有没有人知道pandas，python中的所有列？我刚刚为pandas创建了一个包含超过20,000列的数据帧，但我得到了内存错误。
非常感谢
浏览 5提问于2013-10-07得票数 1
我有两个数据帧
df1
Srlno id image
1 3 image1.jpg
2 3 image2.jpg
3 3 image2.jpg
df2
Srlno id image
1 1 image1.jpg
2 2 image2.jpg
3 3 image3.jpg
我希望匹配基于列图像的两个数据帧，并将Id从df2作为新列返回给df1。df2中的图像名称是唯一的，而df1中的图像名称有很多重复的。我希望保留重复的图像名称，但为来自df2的每个图像填写正确的id。
预期产出如下：
Srl
浏览 2提问于2019-02-21得票数 4
回答已采纳
3回答
Pandas:聚合列的值
、、、
我有以下数据框：
name pet
----------------
John ['cat']
Mary ['cat','dog','bird']
Ann ['bird','rat']
Dave ['cow','dog']
对于每个人，列pet是一个动物列表。我需要得到所有宠物的最终列表(没有重复)：
final_list = ['cat', 'dog', 'bird'
浏览 9提问于2018-07-21得票数 2
回答已采纳
我正在寻找pandas分析工具用来识别重复行的方法的基本原理(在具有多列的数据帧中)？我在Pandas分析文档中找不到它。
浏览 27提问于2020-09-25得票数 1
我有一个5列数据框架，我需要找出第一列(A)中每个元素重复多少次，并在一个新列(F)中将该元素前面的数量相加，例如第一列(A)中的'a‘在整个数据帧中重复5次，因此需要在第0行的相关单元格中创建列()和添加5，等等。感谢您的支持。我是python的新手，需要你的宝贵评论。
以下是原始数据框架：
A B C D E
a -
b a -
c a -
d b a -
e d b a -
优先采用的数据框架是：
A B C D E F
a -
浏览 0提问于2021-01-16得票数 2
回答已采纳
在PySpark中是否有与pandas info()方法等效的方法？
我正在尝试获取有关PySpark中数据帧的基本统计信息，例如:列数和行数、空值数、数据帧大小
pandas中的Info()方法提供了所有这些统计信息。
浏览 4提问于2017-06-08得票数 6
2回答
作为一名R用户，我现在正在使用资源学习merge，并且对Stata命令感到困惑。
在R中，我不必担心错误地合并数据，因为它无论如何都会合并所有内容。我不需要担心公共列是否包含任何重复的列，因为Y数据帧将合并到X数据帧中的每个重复行。(在merge中使用all=FALSE )
但是对于Stata，在继续合并之前，我需要从X中删除重复的行。
在Stata中，是否假设为了让merge继续，主表中的公共列必须是唯一的？
浏览 0提问于2011-09-07得票数 8
我正在尝试从pandas数据帧中的单个列中的字符串中找到一个最大的数字，然后根据最大结果创建另一个列。 我的数据帧： number_quotes
0 I have 1-50 ice-creams
1 4 people out of 10 said hello
2 8889 or 9500 but could be 10903 期望的结果： number_quotes max_number
0 I have 1-50 ice-creams 50
1 4 people out of 10 said hello
浏览 39提问于2021-08-18得票数 1
回答已采纳
有没有办法检查当前行中的所有列值是否小于pandas数据帧(整个数据帧)中所有前一行(直到当前行)中的相应列值，并相应地创建一个值为1或0的新列？
浏览 0提问于2017-06-15得票数 1
我使用Python Pandas对一个名为"Trace“的列进行分组。对于每个跟踪，都有一个包含两个峰值的"Value“列，我试图将它们传输到不同的数据帧中。第一个问题是，当我使用groupby时，它不会保留我想要选择的值所在行的其余数据。例如，如果一个Pandas数据帧有6列，那么我想在使用groupby之后保留所有6列。第二个问题是，我想要的两个最大值不是列中的两个最大值，而是数据集中的“峰值”。例如，附加的图像显示了我想要其值的两个峰值。我希望将两个峰值中每个峰值的最大值导出到新的数据帧中，并将先前数据帧中其他列的行值导出到新的数据帧中。
在下面的代码中，我希望按"
浏览 54提问于2018-08-05得票数 0
回答已采纳
2回答
在一个包含名为source的列的数据帧中，该列由两个不同的单词列表组成 source words letter_count
1 list1 apple 5
2 list1 pear 4
3 list1 banana 6
4 list2 ford 4
5 list2 chevy 5
6 list2 apple 5
7 list2 banana 6 我正在尝试返回一个新的数据帧，其中显示了list1和list2中的重复单词 words letter_count
1 apple
浏览 6提问于2021-11-20得票数 1
回答已采纳
我有一个pandas dataframe，它包含一个非数字值的列。如何将它们转换为整型/浮点型。
eq：
Col1 Col2
Lip_GD 267
Gly_hy_68 467
Hint_2 628
Jac+Jac 339
Lip_GD 234
Jac+Jac 267
当我将这些数据读入pandas数据帧时，我将如何将列1转换为int？
浏览 4提问于2015-11-26得票数 3
我是Pandas和python的新手，我正在尝试了解如何将Pandas Dataframe的所有内容(所有字段都是字符串)转换为分类内容。 在将行和列中的所有值转换为分类数字之前，必须将它们作为一个大型的唯一数据集处理。 到目前为止，我已经能够编写以下代码 for col_name in X.columns:
if(X[col_name].dtype == 'object'):
X[col_name]= X[col_name].astype('category')
X[col_name] = X[col_name].ca
浏览 16提问于2019-05-14得票数 1
回答已采纳
我有两个大的数据帧，df1和df2。我在df2中缺少一列(colB)，我想根据共享列(colA)中的值添加该列。如果我使用的是Excel，我会通过一个标准的vlookup公式来做这件事，但是我正在努力使用pandas合并函数来获得想要的结果。
colA和colB都包含具有相同值的多个条目，因此我使用这行代码来创建一个仅包含唯一对的新数据帧。
df_keyvalues = df1[["colA", "colB"]].drop_duplicates()
然后使用merge将colB添加到df2中
df2 = df2.merge(df_keyvalues, how =
浏览 5提问于2021-06-11得票数 0
回答已采纳
在熊猫中，这可以通过column.name来完成。
但是，当它的spark数据帧列时如何做同样的事情呢？
例如，调用程序有一个spark数据帧: spark_df
>>> spark_df.columns
['admit', 'gre', 'gpa', 'rank']
此程序调用我的函数: my_function(spark_df 'rank‘)在my_function中，我需要列的名称，即’rank‘
如果是pandas数据帧，我们可以在my_function内部使用
>>> pand
浏览 1提问于2016-09-28得票数 55
1回答
我有一个包含两列的Pandas dataframe df，A和B，这样对于A中的值，B中的所有值都是不同的，但是A中的两个不同的值在B中可以有重复的值。 A B
ABC1 XYZ XYZ 123
ABC2 XYZ XYZ 123
ABC1 XYZ XYZ 135
ABC3 XYZ PQR 123
ABC2 XYZ PQR 123
ABC3 XYZ XYZ 135
ABC4 XYZ XYZ 135
ABC2 XYZ PQR 987
ABC4 XYZ PQR 123
ABC5 P
浏览 13提问于2021-09-28得票数 1
回答已采纳
在python和pandas中，我可以创建一个新的专栏，如下所示： 使用pandas dataframe中的两列来创建字典。 dict1 = dict(zip(data["id"], data["duration"])) 然后，我可以应用这个字典在第二个dataframe中创建一个新列。 df['id_duration'] = df['id'].map(lambda x: dict1[x] if x in dict1.keys() else -1) 如果我有一个数据帧id_duration (有两列：id和duration)和
浏览 38提问于2021-01-22得票数 0
回答已采纳
我有两个不同的Pandas数据帧，它们有一个共同的列。我在Stack overflow上看到过类似的问题，但似乎没有一个问题以两个数据帧中的列结尾，所以请在标记为重复之前阅读下面的内容。 示例： 数据帧1 ID col1 col2 ...
1 9 5
2 8 4
3 7 3
4 6 2 数据帧2 ID col3 col4 ...
3 11 15
4 12 16
7 13 17 我想要实现的是一个数据帧，其中包含来自两个数据帧的列，但没有在dataframe2中找到的ID。即： 期望的结果：
浏览 17提问于2019-01-16得票数 5
回答已采纳
2回答
我正在处理pandas中的spread等效项，我的数据框架如下所示
Name age Language year Period
Nik 18 English 2018 Beginer
John 19 French 2019 Intermediate
Kane 33 Russian 2017 Advanced
xi 44 Thai 2015 Beginer
并查找如下所示的输出
Name age Language Beginer Intermediate Advanced
Nik 18 English 2018
John 19 Fre
浏览 0提问于2020-12-24得票数 0
1回答
我有一个包含许多空值的稀疏Pandas数据帧，我希望对其进行过滤，以便在最终数据集中只保留具有超过10个浮点型条目的行和列。我尝试使用现有的代码片段，但似乎不起作用： df.drop([col for col, val = df.count(axis=1, numeric_only='float') if val < 10], axis=1, inplace=True) 谁能告诉我在我的数据帧中删除稀疏列的最好方法是什么？
浏览 16提问于2020-06-29得票数 3
3回答
两只熊猫联盟DataFrames
、、、、
假设我有两个数据帧：
df1：
A
0 a
1 b
df2：
A
0 a
1 c
我希望结果是两个框架的联合，其中有一个显示该行所属的源数据框架的额外列。在重复的情况下，应删除重复项，并在相应的额外栏中显示这两个来源：
A B
0 a df1, df2
1 b df1
2 c df2
我可以获得级联的数据帧(df3)，而不需要重复，如下所示：
import pandas as pd
df3=pd.concat([df1,df2],ignore_index=True).drop_duplicates().reset_index(drop=True)
我想/找不到一种方法来控制
浏览 0提问于2019-01-22得票数 13
回答已采纳
我有一个包含许多行和列的pandas数据框，如下所示 Name Skill Age
Adam C++ 23
Beth Java 25
Micheal Scala 21
...
Aaron Erlang 23 我有另一个列表，我可以从中创建一个熊猫系列 dept = ['Country', 'UK']
pd.Series[dept]
s = pd.Series(dept) 现在，我想要连接数据帧，并重复使用列表中的第二个元素的Series
浏览 10提问于2019-01-02得票数 0
回答已采纳
我有一个包含重复列名的dataframe。现在，我正在尝试使用以下命令将重复的列组合到单个列中(以下数据帧仅用于演示。它不包含重复的列名，但重复的列名也会出现同样的问题)。
d=pd.DataFrame({'col1': [1, 2], 'col2': [3, 4]})
d['col2']=d['col2'].astype(str)
d['col1']=np.nan
d=d.groupby(lambda x:x, axis=1).sum(min_count=1)
the output is:
col1
浏览 3提问于2018-11-25得票数 2
我想创建一个包含2列x行的Pandas数据帧，其中包含随机字符串。 我找到了生成带有随机int和随机字符串生成器的pandas数据帧的代码。我仍然没有看到一条清晰的路径来创建一个带有随机字符串的pandas数据框架。 用于随机int数据帧的代码 import numpy as np
import pandas as pd
df = pd.DataFrame(np.random.randint(0,100,size=(100, 4)), columns=list('ABCD')) 随机字符串的代码 import string
import random
def id_gener
浏览 60提问于2019-06-01得票数 4
回答已采纳
我有一个带有点几何体的GeoPandas数据帧。dataframe是使用以下代码从Pandas dataframe创建的，该dataframe包含用于easting和northings的单独列： import numpy as np
import pandas as pd
import geopandas as gpd
from shapely.geometry import Point
df = pd.DataFrame({'id':[1,2,3,4,5],
'easting':[545200.0,np.nan,360
浏览 26提问于2020-06-19得票数 1
回答已采纳
我有一个包含21列的pandas数据框架。我将重点放在具有完全相同的列数据值的行子集上，除了每行唯一的6个之外。我不知道这6个值对应的是先验的列标题。
我尝试将每一行转换为Index对象，并对两行执行set操作。例如。
row1 = pd.Index(sample_data[0])
row2 = pd.Index(sample_data[1])
row1 - row2
它返回一个索引对象，其中包含row1独有的值。然后，我可以手动推断哪些列具有唯一值。
如何以编程方式获取这些值在初始数据帧中对应的列标题？或者，有没有办法比较两个或多个数据帧行，并提取每行的6个不同的列值，以及相应的标题？理想
浏览 4提问于2013-05-14得票数 8
我有一个变量存储字符串时间戳(以Unix时间表示)，我希望将其作为列附加到现有的Python Pandas数据帧中。也就是说，我希望该列包含143个重复的单个时间戳，因为这是数据帧的观测计数。谢谢。
浏览 1提问于2013-07-08得票数 3
1回答
我有一个数据帧，其中第一列有重复项。在第三列中有另一个标签，但是，这些标签有重复的数据。我想要更改所有重复的数据，如果不匹配“covered”，如果在initial列中有重复和“covered”明显。 下图: SAWAD应该都被修改为covered。SC应保持不受覆盖。SCB应全部更改为覆盖 ?
浏览 16提问于2020-04-02得票数 0
回答已采纳
所以基本上我的数据框中有3列，如下所示： <class 'pandas.core.frame.DataFrame'>
Int64Index: 158143 entries, 0 to 203270
Data columns (total 3 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 users 158143 non-null int64
浏览 12提问于2020-04-14得票数 0
回答已采纳
我有一个模式：
patternDel = "( \\((MoM|QoQ)\\))";
我想删除pandas dataframe中列df['Event Name']与此模式匹配的所有行。哪种方法是最好的？数据帧中有超过100k行。
浏览 8提问于2016-10-10得票数 26
回答已采纳
我尝试对文件中的Unicode字符进行编码，并将其传递到pandas数据帧中。但是，我在Jupyter notebook中使用df.column.value_counts()获得的唯一行数与同一文件的excel行数不匹配(在删除重复值之后)。
我如何解决这个问题？
我加载了一个文本文件(以制表符分隔)，并使用encoding = 'ISO-8859-1‘将其转换为pandas数据帧。创建数据帧时，其中一列的唯一行数为66370。
当我在原始csv文件上的所需列上应用‘删除重复项’时(我正在使用MS Excel读取导出文件)，唯一值的数量= 66368。
这两个文件- Jupyter N
浏览 13提问于2019-01-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
