如何使用条件选择和groupby聚合来生成带有虚拟变量的df？
使用条件选择和groupby聚合来生成带有虚拟变量的df可以通过以下步骤实现：
- 导入所需的库：首先，导入需要使用的库，如pandas和numpy。
import pandas as pd
import numpy as np- 创建原始数据框：创建一个包含需要聚合的数据的原始数据框。
data = {'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
'B': ['one', 'one', 'two', 'two', 'two', 'one', 'two', 'one'],
'C': [1, 2, 3, 4, 5, 6, 7, 8],
'D': [10, 20, 30, 40, 50, 60, 70, 80]}
df = pd.DataFrame(data)- 使用条件选择和groupby聚合：使用条件选择和groupby聚合来生成带有虚拟变量的数据框。
df_agg = df.groupby(['A', 'B']).agg({'C': 'sum', 'D': 'mean'}).reset_index()- 生成虚拟变量：使用pandas的get_dummies函数生成虚拟变量。
df_dummy = pd.get_dummies(df_agg, columns=['A', 'B'])完整的代码如下：
import pandas as pd
import numpy as np
data = {'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
'B': ['one', 'one', 'two', 'two', 'two', 'one', 'two', 'one'],
'C': [1, 2, 3, 4, 5, 6, 7, 8],
'D': [10, 20, 30, 40, 50, 60, 70, 80]}
df = pd.DataFrame(data)
df_agg = df.groupby(['A', 'B']).agg({'C': 'sum', 'D': 'mean'}).reset_index()
df_dummy = pd.get_dummies(df_agg, columns=['A', 'B'])这样，你就可以得到一个带有虚拟变量的数据框df_dummy，其中的'A'和'B'列被转换为虚拟变量。你可以根据需要进一步处理和分析这个数据框。
关于腾讯云相关产品和产品介绍链接地址，由于要求不能提及具体品牌商，建议你参考腾讯云的官方文档和网站，了解他们提供的云计算相关产品和服务。
相关·内容
1回答
我从数据库中提取了一个表，并希望对一些条目做一些主题分析。我已经创建了一个具有唯一主题名的空矩阵，并且我有重复的行，因为每个“name”条目可能有多个主题。最终，我想要一个数据文件，它有一个与主题相关的行的1。然后，我将删除“topic”列，并在某个时候删除重复的行。实际的dataframe要大得多，但是这里我只是展示一个例子。
这是我的数据：
topic_label name Misconceptions Long-term health issues Reprod
浏览 4提问于2022-05-04得票数 0
回答已采纳
1回答
根据其他列的条件创建新列
、、、
我有如下所示的df
Year IndexDate WorkDate ID Name
0 2019 NaT 2018-12-12 9265299 FV
1 2019 2019-01-09 2019-01-09 9265299 OM
2 2020 2020-11-27 2020-11-27 9962241 PM
3 2020 NaT 2020-11-27 9962241 Other
4 2020 NaT 2021-01-19 9962241 Other
df.dtypes
Out[50]
浏览 10提问于2022-09-08得票数 1
回答已采纳
我尝试使用pandas dataframe来检索结果，以获得相同的结果
这是我的SQL查询：
SELECT strftime('%m', date_report) as month, count(*) as total_infector
from cases
where has_travel_history = 't' and age >= '50'
group by month
order by total_infector desc limit 2
使用pandas数据帧：
import pandas as pd
df = pd
浏览 4提问于2020-09-01得票数 0
我根据我想要的列在dataframe上使用groupby，然后我必须获取其组中每个项的索引。我指的是，如果一个组中有10个项，则索引从0到9，而不是dataframe索引。
我的代码如下：
import pandas as pd
df = pd.DataFrame({'A': np.random.randint(0, 11, 10 ** 3), 'B': np.random.randint(0, 11, 10 ** 3),
'C': np.random.randint(0, 11, 10 ** 3), &
浏览 2提问于2015-08-14得票数 6
回答已采纳
2回答
我有一只熊猫，它看起来像：
-这里是创建输入的示例运行代码：
#Create Dataframe with example data
df_example = pd.DataFrame(columns=["START_D","ID_1", "ID_2", "STOP_D"])
df_example["START_D"] = ['2014-06-16', '2014-06-01', '2016-05-01','2014-05-28', '201
浏览 4提问于2016-10-24得票数 3
回答已采纳
1回答
我在read_excel之后有df，其中一些值(来自一列，带有字符串)被分割。我怎么才能把它们合并回去？
例如:我拥有的df
{'CODE': ['A', None, 'B', None, None, 'C'],
'TEXT': ['A', 'a', 'B', 'b', 'b', 'C'],
'NUMBER': ['1', None, '2', None, None,
浏览 1提问于2022-06-09得票数 1
回答已采纳
1回答
我想把聚合的数据放入内存，但得到error.Any建议？
orders = spark.read.json("/user/order_items_json")
df_2 = orders.where("order_item_order_id == 2").groupby("order_item_order_id")
df_2.persist(StorageLevel.MEMORY_ONLY)**
回溯(最近一次调用)：File ""，第1行，在AttributeError中：'GroupedData‘对象没有属性’持久化
浏览 1提问于2020-05-06得票数 1
回答已采纳
2回答
我有一个DataFrame：
loan_status Principal
244 PAIDOFF 1000
245 PAIDOFF 1000
246 PAIDOFF 1000
247 PAIDOFF 1000
248 PAIDOFF 1000
249 PAIDOFF 1000
250 PAIDOFF 800
252 PAIDOFF 1000
253 PAIDOFF 1000
254 PAIDOFF
浏览 21提问于2019-10-31得票数 0
2回答
我有这样一个数据框架：
pk_dcdata threshold last_ep diff
window
1 11075761 0.00001 4 3
1 11075768 0.00001 7 6
2 11075769 0.00001 1 -1
2 11075770 0.000
浏览 0提问于2018-07-24得票数 2
回答已采纳
我尝试根据第一列的值对所有列求和，但groupby.sum出乎意料地不起作用。 下面是一个最小的例子： import pandas as pd
data = [['Alex',10, 11],['Bob',12, 10],['Clarke',13, 9], ['Clarke',1, 1]]
df = pd.DataFrame(data,columns=['Name','points1', 'points2'])
print(df)
df.groupby('Name'
浏览 42提问于2020-03-24得票数 1
回答已采纳
1回答
我有一个熊猫系列，有两个指数：
df_agg=df.groupby(['yearID','teamID']).sum()['Salary']
df_agg.head()
yearID teamID
1985 ATL 14807000
BAL 11560712
BOS 10897560
CAL 14427894
CHA 9846178
我想把int转换成一个熊猫数据框架，比如
yearID teamID
浏览 4提问于2018-01-16得票数 5
回答已采纳
2回答
让我们说这是数据文件：
First Name Last Name Val1
George Clooney N
George Clooney N
George Clooney Y
George Freeman N
George Freeman N
Claire Stark N
Claire Stark Y
我们的目标是产生这样的结果：
First Name Last Name Val1 Total
George
浏览 7提问于2022-04-03得票数 0
回答已采纳
7回答
展示了如何使用带有输出列名作为键的dict对groupby对象一次应用多个函数：
In [563]: grouped['D'].agg({'result1' : np.sum,
.....: 'result2' : np.mean})
.....:
Out[563]:
result2 result1
A
bar -0.579846 -1.739537
foo -0.280588 -1.402938
但是，这只适用于Series group
浏览 12提问于2013-01-25得票数 367
回答已采纳
我想知道是否可以创建您自己的groupby函数，根据索引是否在某个列表中，对单个列中的输出运行不同的方法。例如： df = pd.DataFrame({'ID' : [1, 1, 1, 2, 2, 2, 2, 3, 3, 3],
'Data' : [5, 7, 6, 13, 14, 11, 10, 2, 4, 3]})
some_list = [2, 3] 我想按ID列分组，并返回数据列的平均值(大多数值为df.groupby('ID').mean())。但是，如果ID在some_list中，那么我希望将
浏览 17提问于2021-09-24得票数 1
回答已采纳
3回答
我有一个交易的Pandas DataFrame：
transactions.head():
Amount Date of Transaction Description \
0 39.95 2017-03-30 Fake_Transaction_One
1 2.39 2017-04-01 Fake_Transaction_Two
2 8.03 2017-04-01 Fake_Transaction_Three
3 34.31
浏览 0提问于2018-07-22得票数 3
回答已采纳
1回答
下面的代码出错了：
np.where(df['A'].groupby([df['B'], df['B_1']]).sum() > 0, 1, 0)
错误： ValueError: operands could not be broadcast together with shapes (2013,) (1353,) ()
熊猫可以在groupby的np.where里做吗？
做这件事最好的方法是什么？
我想用sum列df[A]，其中列df[B]和df[B_1]
excel中的公式：
=IF($J3=$C3,IF(SUMIFS($S:$S,$A
浏览 1提问于2018-12-03得票数 3
回答已采纳
4回答
我有一个类似下面这样的数据
Start Time End Time Trip Duration Start Station End Station
01/01/17 15:09 01/01/17 15:14 321 A B
01/02/17 15:09 01/02/17 15:14 321 C D
12/03/17 15:09 12/03/17 15:14 321 E F
浏览 0提问于2018-10-26得票数 2
我有一个列名为x.y的DataFrame，其中我希望对x上具有相同值的所有列求和，而不必显式地命名它们。也就是说，column_name.split(".")[0]的值应该决定它们的组。下面是一个例子：
import pandas as pd
df = pd.DataFrame({'x.1': [1,2,3,4], 'x.2': [5,4,3,2], 'y.8': [19,2,1,3], 'y.92': [10,9,2,4]})
df
Out[3]:
x.1 x.2 y.8 y.92
0 1
浏览 1提问于2017-02-19得票数 2
回答已采纳
这是我的档案。
我必须找出每次警报的次数(坠落、遇险等)。为每个empId(例如PBE001、PBE002等)发生怎么算？
浏览 3提问于2022-08-01得票数 -1
1回答
Track Actor Movie
1 Katherine Hepburn Guess Who's Coming to Dinner
2 Katherine Hepburn Guess Who's Coming to Dinner
3 Katherine Hepburn On Golden Pond
4 Katherine Hepburn The Lion in Winter
5 Bette Davis What Ev
浏览 11提问于2021-04-14得票数 0
回答已采纳
1回答
我有两个PySpark数据帧df1和df2，它们的架构如下
df1:
root
|-- RCBNorthAmps: double (nullable = true)
|-- RCBSouthAmps: double (nullable = true)
|-- RCBTOB: double (nullable = true)
|-- time: timestamp (nullable = true)
+-----------------+-----------------+------+-------------------+
| RCBNorthAmps| RCBS
浏览 1提问于2021-05-30得票数 1
1回答
我有一个数据框架： id timestamp value start
31833 32074 2012-01-06 15:20:09.830 45.0 0
31834 32075 2012-01-06 15:20:09.930 45.5 1
31835 32076 2012-01-06 15:20:18.833 25.0 0
...
50000 32076 2012-12-27 15:20:18.833 15.0 1
50000 32076 2012-12-28 22
浏览 13提问于2020-04-13得票数 0
回答已采纳
我有一个带有无意义索引的dataframe，它包含的行中的一列可以重复。如下所示：
df = pd.DataFrame({
'file': ['file1.txt', 'file2.txt', 'file3.txt', 'file1.txt'],
'size': ['52', '41', '32', '55'],
'attempts': [4, 4, 3, 1]
})
file
浏览 25提问于2021-05-17得票数 0
回答已采纳
2回答
我有一个具有多类分类的大数据集(3个类)，我想获取数据的子样本，即获取属于每个类的200条记录，并对该数据进行拆分。
假设这三个类是cat、dog、cow。我想在数据子集上应用一个分割，其中从一个大型数据集中为每个类cat、dog、cow选择200个记录来训练ML模型。
200 observationsdog - 200 observationscow - 200 observations
这是分割数据的代码行：
# split data
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify = y, test_s
浏览 2提问于2021-04-20得票数 0
回答已采纳
1回答
是否有一种标准的方法来计算电火花中的加权平均值，忽略分母和中的缺失值？
以下列例子为例：
# create data
data2 = [(1,1,1,1),
(1,None,1,2),
(2,1,1,1),
(2,3,1,2),
]
schema = (StructType([
StructField("group",IntegerType(),True),
StructField("var1",IntegerType(),True),
StructField("v
浏览 3提问于2022-05-13得票数 2
回答已采纳
3回答
我试图在我的dataframe中计算同一个数据包的出现次数，如果一个数据包具有以下匹配字段，则它是相同的：
['SourceIP', 'SourcePort', 'DestinationIP', 'DestinationPort', 'Protocol']
我想在我的dataframe中创建一个带有出现值的新列，并将该列命名为'PerSec‘。
我尝试实现这个问题的解决方案，在这里可以找到
然而，当我跑步时：
df['PerSec'] = df.groupby(['SourceIP&
浏览 1提问于2020-02-18得票数 1
回答已采纳
2回答
我有一个DataFrame，看起来像这样:-
ID | act
1 A
1 B
1 C
1 D
2 A
2 B
3 A
3 C
我正在尝试获取IDs，其中一个活动act1后面跟着另一个act2，例如，A后面跟着B。在这种情况下，我希望获得[1,2]作为ids。我如何用矢量化的方式来做这件事呢？
编辑:-预期输出:对于上面定义的示例df，输出应该是所有is的列表/序列，其中A后面紧跟着B
IDs
1
2
浏览 6提问于2020-02-19得票数 0
回答已采纳
我有以下数据：
ID customer Month Amount
0 026 201707 31,65
1 026 201708 31,65
2 026 201709 31,65
3 026 201710 31,65
4 026 201711 31,65
.
其中'Amount‘是对象类型。我想要计算每个ID的和和平均值。
df‘数量级’=pd.to_numeric(df‘数量级’，错误=‘胁迫’)
但是我得到了NaN
浏览 1提问于2020-01-30得票数 0
回答已采纳
2回答
在这个场景中，我想了解在星火中进行聚合的最佳方法：
import sqlContext.implicits._
import org.apache.spark.sql.functions._
case class Person(name:String, acc:Int, logDate:String)
val dateFormat = "dd/MM/yyyy"
val filterType = // Could has "MIN" or "MAX" depending on a run parameter
val filterDate = n
浏览 0提问于2018-08-25得票数 2
回答已采纳
1回答
我使用以下代码绘制条形图：
df.groupby(['Borrow_Rank'])['Outcome'].mean().plot(kind = 'bar')
这显示了从0到1的结果变量的平均值。但是，我需要条形图来显示每个组中有多少实例或行(每个组中有2000-5000个实例或行)。
浏览 2提问于2022-06-22得票数 2
回答已采纳
1回答
我有一个数据集，如下所示： Categories | Clicks
1 | 1
1 | 3
1 | 2
2 | 2
2 | 1
2 | 1
2 | 2
3 | 1
3 | 2
3 | 3
4 | 2
4 | 1 为了制作一些柱状图，我希望它看起来像这样： Categories | Clicks_count | Clicks_pr
浏览 17提问于2021-11-03得票数 1
回答已采纳
有一个带有值的df
df
name marks
mark 10
mark 40
tom 25
tom 20
mark 50
tom 5
tom 50
tom 25
tom 10
tom 15
如何将名字的记号相加，并计算它花了多少次
expected_output：
name total count
mark 100 3
tom 150 7
浏览 7提问于2020-05-28得票数 1
我试着在一个熊猫数据框架上做一些汇总。下面是一个示例代码：
import pandas as pd
df = pd.DataFrame({"User": ["user1", "user2", "user2", "user3", "user2", "user1"],
"Amount": [10.0, 5.0, 8.0, 10.5, 7.5, 8.0]})
df.groupby(["User"]).agg({"
浏览 10提问于2017-06-19得票数 63
回答已采纳
1回答
用附加数据元素创建直方图
、、、、
我有一个数据，与数量和价值的不同类别总结。我需要想象这个，以显示在不同数量组下有多少个类别，以及它们早些时候的求和值是多少。
要使用的数据示例：
df = pd.DataFrame({'cat': ['A','B','C','D','E','F','G','H','I','J'],
'count': [5,10,50,20,3,18,28,93,42,31],
浏览 1提问于2021-03-27得票数 0
回答已采纳
我使用Pandas来填充6个新变量，这些值对其他数据变量是有条件的。整个数据集由大约700,000行和14个变量(列)组成，其中包括我新添加的变量。 我的第一种方法是使用itertuples()，主要是在这里体验最小化。这大约是9600秒。 我已经设法通过使用apply()获得了更高的效率(~3500秒)。下面是其中一个新变量的示例。 housing_df = utils.make_data_frame("data/source_data/housing_with_child.dta", "stata")
""" Populate n
浏览 13提问于2019-06-30得票数 5
回答已采纳
3回答
我有以下df，我想按“名称”分组，这样就有一个'A‘和'B’计数栏和一个‘总销售额’之和栏：
把这个转过来：
data = {'A or B' : ['A','A','B','B','A','B'],
'Name' : ['Ben','Ben','Ben','Sam','Sam','Sam'],
'Sales ($)&
浏览 5提问于2020-08-10得票数 3
回答已采纳
1回答
如何将这些日期行合并为月份？
、、、、
我有一个用于covid案例的多个csv文件数据帧，如下所示： Region active
Date
2020-03-20 Tabuk 1
2020-03-21 Tabuk 1
2020-03-22 Tabuk 1
2020-03-23 Tabuk 1
2020-03-24 Tabuk 1
... ... ...
2021-02-04 Tabuk 8
2021-02-04 Tabuk 3
2021-02-04 Tabuk 34
2021-02-05 Tabuk 4
2021-02-05 Tabuk 34 正如您所看到
浏览 40提问于2021-02-25得票数 0
回答已采纳
4回答
我有一个dataframe df：
ORDERID PRODUCTTYPE PRODUCTID PRODUCT
123 Fruits 2 Banana
123 Vegetables 3 Tomato
123 Vegetables 3 Onion
321 Fruits 2 Grapes
321 Fruits 2 Avocado
我需要输出
ORDERID FRUITS VEGETA
浏览 4提问于2020-03-11得票数 5
回答已采纳
我有一个带有head uid, col1, col2的dataframe，其中col1具有k1唯一值(例如a,b,c)，col2具有k2唯一值(例如“低”、“高”)。在按uid分组之后，如果我想要计算为col1=='a'的数目，我会这样做
df.groupby("uid")['col1'].apply(lambda group: sum(group=='a')).reset_index(name="a_cnt")
如果我想数一下col1=='a' and col2='low'的数量，
浏览 1提问于2020-05-05得票数 1
回答已采纳
1回答
我有下面的数据
a = [1,2,2,3,5]
b = [10,20,30,40,50]
df = pd.DataFrame(list(zip(a,b)), columns=['a','b'])
我想像下面这样生成字典
{1:10, 2:[20,30], 3:40, 5:50}
浏览 2提问于2021-07-05得票数 1
回答已采纳
1回答
现在，我有了GAMS代码，如下所示。语句二进制变量x(i，j)表示GAMS将创建带有索引(i，j)的100个变量x。当r(i，j)存在时，如何才能让GAMS创建变量x(i，j)以减少变量x的数量？
set i nodes /1*10/;
alias (i, j);
parameter r(i,j) factor /1.2 1 ...... 7.8 1/;
binary variables x(i,j);
浏览 2提问于2018-03-15得票数 0
回答已采纳
1回答
基于Python的顺序模式挖掘
、、、、
我有一个数据集
Name Subset Type System
A00 9-IU00-A OP A
A00 IT00 PP A
B01 IT-01A PP B
B01 IU OP B
B03 IM-09-B LP A
B03 IM03A OP B
B03 IT-09 OP A
D09 IT-A09 OP B
D09 07IM-09A LP B
D09
浏览 5提问于2022-04-17得票数 0
3回答
我真的不明白为什么在为“课程”创建一个带有groupby的Dataframe时，我会得到一个入口位置输出？
代码：
import pandas as pd
technologies = ({
'Courses':["Spark","PySpark","Hadoop","Python","Pandas","Hadoop","Spark","Python","NA"],
'Fee' :[22000,250
浏览 22提问于2022-10-22得票数 0
回答已采纳
2回答
我有一个类似于此的数据集，其中DATE和LETTER是多索引的。
我希望每个日期返回一个最大LETTER A VALUES的列表。
因此，在这种情况下，我希望返回VALUES 3和8。
VALUE
DATE LETTER
1-2002 A 1
B 7
A 3
浏览 5提问于2017-03-15得票数 2
回答已采纳
我想看看是否有一种更好、更有效的方法来做到这一点：
样本数据：
df = pd.DataFrame ({'ID' : ['A','A','A','A','B','B','B','B'],
'Month' : [-4,-3,1,2,-3,-2,1,2],
'Cost' : [20,30,10,15,1,2,5,10] })
然后，我groupbyID：
df = df.groupby(ID)
然后，在for循环中将成本聚
浏览 3提问于2019-10-11得票数 2
回答已采纳
1回答
熊猫数据中所有值的随机对
、、、
import pandas as pd
df = pd.DataFrame({ 'lat' : range(0,8),
'name' : ['a', 'a', 'a', 'a', 'b', 'b', 'b', 'b']})
df
产出如下：
lat name
0 0 a
1 1 a
2 2 a
3 3 a
4 4 b
5 5 b
6 6
浏览 0提问于2017-05-26得票数 0
回答已采纳
我试图在DataframeB.ColA中搜索DataframeA.IDCol2的值，然后为匹配的值创建一个带有DataframeA.IDCol1和DataframeA.IDCol3之和的数据格式。
DataframeA
IDCol1 IDCol2 IDCol3
0 ABC 123 2
1 ABC 456 5
2 ABC 789 2
3 ABC 1011 1
4 CDE
浏览 0提问于2019-07-12得票数 3
回答已采纳
1回答
Pandas聚合特定列
、、、
如何仅聚合pandas中的特定列？
import numpy as np
df = pd.DataFrame({'A': [1, 1, 2, 2],
'B': [1, 2, 3, 4],
'C': np.random.randn(4)})
df.groupby('A').agg(['max']) #works as expected, but gives values for col B & C
df.groupby('A&
浏览 0提问于2018-03-06得票数 0
1回答
我有以下数据帧： df[['ID','Team']].groupby(['Team']).agg([('total','count')]).reset_index("total").sort_values("count") 基本上，我需要按团队计算ID的数量，然后按ID的总数进行排序。 聚合部分很好，它给了我预期的结果。但是当我尝试排序部分时，我得到了这个： KeyError: 'Requested level (total) does not match index na
浏览 66提问于2020-09-17得票数 1
回答已采纳
1回答
我为这个糟糕的头衔向你道歉。
我正在尝试自动执行电子邮件任务。我需要发送与特定流程相关的电子邮件。我不知道如何正确地遍历数据帧。我不希望结束每个任务的电子邮件，只是过程。
我需要groupby吗？我真的很困惑如何做这件事。
Process ID Task Execution Date Execution Time Start Date Start Time End Date End Time Status Emails Process Status
0 A 1 8/7/2019 1:00 PM 8/
浏览 17提问于2019-08-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
