Pandas pivot_table包含空身份
基础概念
pandas.pivot_table 是 pandas 库中的一个功能强大的工具，用于创建数据透视表。数据透视表是一种交互式的表格，可以对大量数据进行汇总、分析和探索。它允许你通过将数据从长格式转换为宽格式，从而更容易地进行多维度的数据分析。
相关优势
- 灵活性：可以轻松地对数据进行分组、聚合和重塑。
- 易用性：提供了简洁的 API，使得创建复杂的数据透视表变得简单。
- 性能：在处理大数据集时，pandas 的数据透视表功能表现出色。
类型
- 单层索引透视表：只有一个层次的索引。
- 多层索引透视表：具有多个层次的索引，适用于更复杂的数据分析需求。
应用场景
- 销售数据分析：按产品、地区和时间维度分析销售额。
- 用户行为分析：按用户特征和行为维度分析用户数据。
- 财务分析：按部门、项目和时间维度分析财务数据。
遇到的问题：包含空身份
当使用 pandas.pivot_table 时，可能会遇到包含空值（NaN）的情况。这通常是因为某些组合在原始数据中不存在，导致透视表中相应位置为空。
原因
- 数据缺失：原始数据中某些组合确实不存在。
- 聚合函数：使用的聚合函数可能无法处理空值，导致结果为空。
解决方法
- 填充空值：可以使用
fillna方法填充空值。 - 填充空值：可以使用
fillna方法填充空值。 - 使用
dropna方法：可以选择删除包含空值的行或列。 - 使用
dropna方法：可以选择删除包含空值的行或列。 - 自定义聚合函数：可以定义一个自定义的聚合函数来处理空值。
- 自定义聚合函数：可以定义一个自定义的聚合函数来处理空值。
参考链接
通过以上方法，你可以有效地处理 pandas.pivot_table 中包含空值的情况，从而更好地进行数据分析。
相关·内容
下面的代码创建一个包含两列date和category的pd.DataFrame。date列被设置为使用datetime64[ns]类型。 >>> df = pd.DataFrame(data={'date': pd.Series(['2021-01-01', '2021-01-02',
'2021-01-03'], dtype='datetime64[ns]'), 'category': ['A', 'B
浏览 41提问于2021-08-12得票数 1
3回答
pandas.crosstab和Pandas数据透视表似乎提供了完全相同的功能。有什么不同吗？
浏览 1提问于2016-03-29得票数 23
1回答
我正在尝试用python从一个Numpy数组创建一个数据透视表。我做了很多研究，但我找不到一个直接的解决方案。我知道你可以用Pandas来做，但我在安装它时遇到了问题--但肯定有一种方法可以在没有Pandas的情况下完成。我的Numpy数组是
[[ 4057 8 1374]
[ 4057 9 759]
[ 4057 11 96]
...,
[89205 16 146]
[89205 17 154]
[89205 18 244]]
我需要一个透视表，其中行是第一列，列是第二列，值是第三列。请帮帮我！
谢谢
浏览 1提问于2013-06-11得票数 6
回答已采纳
1回答
我已经创建了以下pandas数据帧： +------+-------+------------+
|userID|movieID|timesWatched|
+------+-------+------------+
|u1 |mv1 |5 |
|u1 |mv2 |2 |
|u2 |mv1 |1 |
|u3 |mv4 |30 |
+------+-------+------------+ 我也有一个列表，上面有6部这样的电影： movies =['mv0&
浏览 10提问于2021-09-23得票数 0
回答已采纳
这个带有dict aggfunc的pivot_table示例没有问题：
df=pandas.DataFrame([
{'JOB':'Worker','NAME':'Bob' ,'YEAR':2013,'MONTH':12,'DAYS': 3,'SALARY': 17},
{'JOB':'Employ','NAME':'Mary','YEAR':2013,'MONTH
浏览 2提问于2014-09-19得票数 0
2回答
我正在处理包含多个UNSPSC代码的数据，每个代码都有不同的价格。我想得到一个透视表，结合了每个UNSPSC代码的所有价格。
最终，我想通过它们的最高价格提取前5个UNSPSC。
UNSPSC= pivot_table(analysis, rows=['UNSPSC'], cols =['Extended Price'])
这肯定行不通。我不想要它提供的所有列。我只想要两个。UNSPSC，然后是与唯一代码关联的总价格。
<class 'pandas.core.frame.DataFrame'>
Index: 78 entries,
浏览 2提问于2013-10-18得票数 2
在Python 3和pandas中，我有数据帧： comps.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 62679 entries, 0 to 62678
Data columns (total 39 columns):
cnpj 62679 non-null object
razao_social 62679 non-null object
nome_fantasia 3
浏览 26提问于2020-01-22得票数 0
回答已采纳
我有一个文本文件，其中包含以下格式的数据
101.223.129.4 918801641445^0^paus
101.223.129.4 918801641445^0^german
101.223.129.4 918801641445^0^photo
101.223.129.4 918801641445^0^polish
101.223.129.4 918801641445^0^find
101.223.129.4 918801641445^0^extra
101.223.129.4 918801641445^0^access
101.223.129.4 918801641445^0^priv
浏览 0提问于2015-10-08得票数 1
回答已采纳
dropna=False关于熊猫pivot_table的论点并不是我所期望的那样。我从以下DataFrame开始：
import pandas as pd
# pd.__version__ = '0.23.3'
df = pd.DataFrame({'fruit':['apple','orange','peach','apple','peach'],
'size': [1,1.5,1,2,1],
'taste': [7,8,6,6,
浏览 2提问于2018-07-27得票数 2
回答已采纳
我有一个大约8700万行的数据帧，所以我使用Dask。我正在尝试做一些如下的事情： df2 = df.groupby(['A','B'])['B'].count().unstack('A')
df2.plot(kind = 'bar', stacked = True) 这就是我在Pandas中要做的，但是Dask没有'unstack‘和'plot’。我可以尝试使用.compute()将Dask DF返回给Pandas，但我会冒着内存问题的风险。你知道我如何(或者是否)可以完成上面的两行吗？
浏览 10提问于2020-04-21得票数 0
使用pandas，是否可以计算包含来自两个不同聚合函数的值的交叉表？ import pandas as pd
d = {'col1': ['a', 'b','b','a','a'], 'col2': ['g1', 'g1','g2','g2','g2'], 'col3': [3, 4,5,6,6]}
df = pd.DataFrame(data=d)
pd.crosstab(index=
浏览 21提问于2021-01-14得票数 1
我试图使用Panda库的'loc‘函数在dataset中的一个列中计算缺少的值，但是代码没有成功执行。代码行如下所示。
# Impute missing data by mean weight of each sub-category in 'Item_Weight' column
data.loc[miss_bool,'Item_Weight'] = data.loc[miss_bool,'Item_Identifier'].apply(lambda x: item_avg_weight[x])
正在生成的错误如下，
data.loc
浏览 0提问于2018-08-01得票数 1
如果我在Pandas中有一个多索引DataFrame，如果我通读了pivot和pivot_table的文档，我似乎找不到pivot在这个例子中不能工作的原因。显然，我遗漏了一些东西，但它采用了相同的参数，似乎表明它会起作用。这里我漏掉了什么？为什么pivot抛出一个错误，而pivot_table却完美地工作。谢谢。
# standard imports
import pandas as pd
# create a random multiindex dataframe
outside = ['G1','G1','G1','G2'
浏览 2提问于2019-08-12得票数 0
我有一个包含很多列的CSV表(列名是很长的问题)。我正在为每一列中的每个问题(“是”和“否”的编号)编写value.counts()代码。我的代码是：
import pandas as pd
df = pd.read_csv("fixed_site.csv", encoding= 'unicode_escape')
q1 = df['Any shortage of supplies? (Vaccines/Syringes)'].value_counts()
你可以看到列名，即“供应短缺吗？(疫苗/注射器)”。与此相比，还有许多其他非常长的问题。
浏览 6提问于2022-02-20得票数 1
回答已采纳
案例:我的脚本返回一个枢轴表，但它不能正确地得到最大老化天数。例如，CELOVIS应该是12天的最大老化，但我一直得到1。
代码：
import pandas as pd
from collections import Counter
data = pd.read_csv("my_problem.csv")
def pivot_table(df):
df_count = Counter(df['Supplier Name'])
courier_count = pd.DataFrame(df_count.items(), columns=[
浏览 8提问于2022-11-28得票数 0
回答已采纳
2回答
我的目标是通过“标签”来绘制“分数”，我不关心“日期”和"Cusip“。我想使用'pivot‘来重塑数据，这样每个标签都在一列中，我可以对其进行箱图绘制。
date Cusip Label Score
663182 2015-07-31 00846UAG AAA 138.15
663183 2015-07-31 00846UAH AAA 171.93
663184 2015-07-31 00846UAJ AAA 175.67
663185 2015-07-31 023767AA BB 187.92
浏览 74提问于2016-07-30得票数 6
回答已采纳
将数字替换到pandas数据透视表中的好方法是什么？ 我使用了这段代码，但语法总是无效的。语法应该是什么？用于替换pivot中的数字。 ? 我希望当表中的数字大于或等于2.5时返回1，如果小于2.5则返回0。 pivot_table.fillna(-1).apply(lambda x: 1 if x > 2.5 else 0) 请给我建议。
浏览 6提问于2020-06-30得票数 0
1回答
多索引数据帧，熊猫
、、、
我正在尝试操作excel文件中的数据，但是它合并了列的标题，我设法将它们转换为pandas。请参考下面的原始数据示例。
所以我转换成了这种格式。
我的最终目标是获得下面的格式，并绘制一段时间内的品牌商品及其销售数量和价格，但是我不知道如何访问多索引数据框架中的信息。你能给我提个建议吗？谢谢。
我的代码：
import pandas as pd
df = pd.read_excel('path.xls', sheet_name = 'data', header = [0,1])
a = df.columns.get_level_values(
浏览 4提问于2021-03-10得票数 0
我的目标是聚合一个pandas DataFrame，按身份字段对行进行分组。值得注意的是，我希望保留DataFrame中的所有信息，而不仅仅是收集组的汇总统计信息。我已经通过多次迭代执行了这种转换，但我正在寻找一种更干净/更蟒蛇的方法。值得注意的是，每个组的重复次数可能多于或少于2次，但所有组的重复次数始终相同。 例如:我想翻译一下下面的格式 df = pd.DataFrame([
["group1", 4, 10],
["group1", 8, 20],
["group2", 6, 30],
["gro
浏览 33提问于2020-12-01得票数 0
回答已采纳
我不明白为什么每个单元格中的pandas数据框中的值显示两次。
最初，我将数据从MySQL下载到pandas dataframe，并将数字格式化为“monthly_perf”列中的百分比：
data_frame = pd.read_sql(query, con=engine)
data_frame['monthly_perf']=data_frame['monthly_perf'].astype(float).map('{:,.2%}'.format)
结果对我来说很好(下面是部分数据)：
start_date end_date
浏览 9提问于2020-05-18得票数 0
我刚刚开始学习pivot_table()，我想知道Pandas函数和Pandas函数之间有什么不同。有人能帮我理解它们之间的区别吗？如果能帮上忙，我们将不胜感激。
浏览 3提问于2016-01-10得票数 86
回答已采纳
2回答
在不提供分组的情况下，使用pandas.pivot_table计算整个表上的聚合函数的最佳方法是什么？
例如，如果我想将A、B、C的和计算成一个有一行的表，而不按任何列进行分组：
>>> x = pd.DataFrame({'A':[1,2,3],'B':[8,7,6],'C':[0,3,2]})
>>> x
A B C
0 1 8 0
1 2 7 3
2 3 6 2
>>> x.pivot_table(values=['A','B'
浏览 10提问于2015-07-01得票数 2
回答已采纳
1回答
太奇怪了。
pivot_table绝对不是空的。当我把它打印出来的时候，它显示了一切都没有问题。但是，当我尝试用to_excel (或仅用to_excel)编写它时，它给了我一个几乎空的工作表(只包含值，而没有其他值)。
这是我的密码：
result = df.pivot_table(
index=['Client Code','Client Name'],
values='Fiscal year',
aggfunc = lambda x: '/'.join(list(set(str(v) for v in
浏览 6提问于2022-06-24得票数 0
1回答
两天来，我一直在尝试重塑一只熊猫的数据。我想把我的多索引数据转换成多列形式，但是使用pd.stack()、pd.unstack()、pd.melt()、.
我有一个通用的多索引数据，如下所示：
import pandas
df = pandas.DataFrame({'Scenario' : ['Scen1', 'Scen1', 'Scen1', 'Scen1',
'Scen1', 'Scen1',
浏览 1提问于2019-02-06得票数 4
回答已采纳
1回答
Pandas中的透视表-无序类型
、、、、
我有一个pandas dataframe (df)，它基本上看起来像下面这样
TestDate Manager Score
0 2015-06-05 00:00:00 Jane Smith 5.000000
1 2015-06-05 00:00:00 John Doe 4.875000
2 2015-06-05 00:00:00 Jane Doe 4.428571
3 2015-06-05 00:00:00 John Doe 4.000000
4 2015-06-07 00:00:00 Josh Smith 3.5
浏览 1提问于2015-06-30得票数 2
我有三个数据帧(来自.mean())，如下所示：
A 533.9
B 691.9
C 611.5
D 557.8
我想把它们连到像这样的三列
all X Y
A 533.9 558.0 509.8
B 691.9 613.2 770.6
C 611.5 618.4 604.6
D 557.8 591.0 524.6
我下面的MWE是有用的。但我想知道我是否可以使用.crosstab()或其他更容易的熊猫功能。
初步数据框架：
group A B C D
0 X 844 908
浏览 16提问于2022-07-29得票数 1
回答已采纳
2回答
我目前正在从一个bar chart pandas df手动创建一个df。是否有更有效的方法直接从df读取它？
import pandas as pd
import matplotlib.pyplot as plt
d = ({
'A' : ['1','1','1','2','2','2','3','3','3','3'],
'B' : ['A','B&#
浏览 1提问于2018-06-28得票数 0
回答已采纳
我有一个CSV文件，其中的tweet有4列(user_Id、status、tweet_Id、tweet_text)，超过50,000行。第一列user_id有4个唯一的Id，它们在整个列中重复。第二列状态是二进制分类，每个tweet具有0或1。第三列是tweet Id，第四列是tweet的文本。对于第一列。 输入文件已经根据两列进行了排序，首先是tweet_id，然后是user_id.The文件，如下所示： Sr#, user_id, status, tweet_id, tweet_text
1, 37
浏览 21提问于2020-01-28得票数 0
回答已采纳
import pandas
link = 'https://raw.githubusercontent.com/dvanderelst-python-class/python-class/spring2021/assignment_data/young_people_survey.csv'
data = pandas.read_csv(link,index_col=0)
grp = data.groupby(['Gender','Smoking','Healthy eating'])
mns = grp.mean()
mn
浏览 1提问于2021-03-24得票数 0
1回答
我一直在试图弄清楚如何向pandas数据透视表中添加行和。谁能帮我指一下正确的方向？
下面是我的代码。
x.pivot_table(index = ["am","spot_or_contract"],
columns = "status",
values = "shipment_id",
aggfunc = "count").fillna('')
非常感谢你提前
浏览 0提问于2018-04-06得票数 7
回答已采纳
我正在尝试将每小时索引的数据转换为以每小时值为列的每日索引数据。 示例数据hourlyvol 2010-01-02 03:00:00 0.193571
2010-01-02 04:00:00 0.262009
2010-01-02 05:00:00 0.179023
2010-01-02 06:00:00 0.132121
2010-01-02 07:00:00 0.146968 所需的输出格式(不是相同的值，因为我是从另一个可以工作的脚本粘贴的)： 0 1 2 3
浏览 62提问于2020-07-03得票数 0
我可能完全疯了，但我在读“潘达斯”中的 pivot_table，甚至
实际上，用我自己的数据使用文档中的示例：
import pandas as pd
df = pd.read_csv('data.csv')
pivot_table(df, values='D', index=['A', 'B'], columns=['C'], aggfunc=np.sum)
产生一个错误：
pivot_table(df，value=‘D’，index='A'，'B'，列=‘C’，aggfunc
浏览 3提问于2015-06-08得票数 3
回答已采纳
我想按下面的方式来分析一个dataframe df，其中Id作为索引，Value作为值，以及自定义的[x0, x1, x2]列。
df
Id Date Value
9129 10 2021-01-01 00:00:00 10
9130 10 2021-01-01 00:01:00 15
9131 10 2021-01-01 00:02:00 20
1972 13 2021-01-01 00:00:00 125.0
1973 13 2021-01-01
浏览 3提问于2021-11-17得票数 2
回答已采纳
1回答
使用Plotly go.Table()函数和Pandas，我尝试创建一个表来总结一些数据。我的数据如下：
import pandas as pd
test_df = pd.DataFrame({'Manufacturer':['BMW', 'Chrysler', 'Chrysler', 'Chrysler', 'Brokertec', 'DWAS', 'Ford', 'Buick'],
'M
浏览 2提问于2020-06-18得票数 1
回答已采纳
我是Python的新手，正在和Pandas打交道。更具体地说，我在数据框中有一列(感觉分数)，它由多个单词组成，如下所示： *Treatment* *Sensory scores*
A soft, short
B soft, tender
C short, tender 现在我想在数据框中添加额外的列“soft”、“short”和“tender”，这样就可以像这样提取和量化各个分数： *Treatment* *Sensory scores* *soft* *short* *tender*
A
浏览 19提问于2021-02-09得票数 1
1回答
长到宽格式的多索引熊猫
、、、
我有一个像这样的数据文件：
data.head()
Out[2]:
Area Area Id Variable Name Variable Id Year \
0 Argentina 9 Conservation agriculture area 4454 1982
1 Argentina 9 Conservation agriculture area 4454 1987
2 Argentina 9 Conservation agriculture
浏览 2提问于2017-11-08得票数 4
回答已采纳
1回答
我是Python和pandas的新手，有一个问题我不太确定该如何解决。我有一个熊猫DataFrame，里面包含了在同一年为多支球队效力的曲棍球运动员： Player Season Team GP G A TP
Player A 2020 A 10 8 3 11
Player A 2020 B 25 10 5 15
Player A 2020
浏览 15提问于2019-12-18得票数 0
回答已采纳
2回答
如何在熊猫中计数？
、、、
经过几天的研究，我被困住了。我是Python/Pandas的新手。尝试将数据分析从多个excel表转换为python解决方案。
我在计算新员工在特殊技能方面的学习曲线。为此，我有以下数据集：
COMM_ID -每个通信的唯一数字标识符
技能-交流的范畴-文本
登录-为个人-文本登录
提供-是一份调查，1还是0？
答复-对调查是否有答复，1或0
NOs -反应为阴性，为1或0
在下面，我构建了按SKill、Login和COMM_ID排序的数据，COMM_ID将其按时间顺序排列。然后我以技巧和登录为基础。
我将如何获取数据并将数据切割成两个数据流？一个用于响应，另一
浏览 3提问于2014-12-24得票数 0
回答已采纳
1回答
我有数据
import pandas as pd
pd.DataFrame({'Date': ["2022-01-01","2022-01-02","2022-01-03"],
'customer_type': ['A','A','B'],
'process_A': [2,4,5],
'process_B': [3,9,6]})
op
Date cu
浏览 1提问于2022-04-12得票数 1
回答已采纳
2回答
我有一个数据集，其中包含三种动物的摄食数据，包括动物的标签I (1,2,3)，在每次“用餐”时给出的饲料类型(A，B)和数量(kg)：
Animal FeedType Amount(kg)
Animal1 A 10
Animal2 B 7
Animal3 A 4
Animal2 A 2
Animal1 B 5
Animal2 B 6
Animal3 A 2
在基R中，我可以很容易地输出下面有unique('Ani
浏览 0提问于2014-01-03得票数 7
回答已采纳
我有一个Pandas DataFrame，其中一个列包含布尔值。想想这样的事情：
id is_male count
0 1 True 10
1 1 False 8
2 2 True 5
3 2 False 10
4 3 True 3
5 3 False 4
例如，id标识了一个学校班级，其他列显示了班里有多少男学生和女学生。现在，同样的信息可以以更清晰的方式呈现，比如：
id male female
0 1 10 8
1 2
浏览 8提问于2019-11-04得票数 5
回答已采纳
1回答
我有一只熊猫DataFrame (名为"df1")，它的结构如下(尽管我有很多个月的每日数据)：
date WeightedReturn
0 15/07/2015 0.005128
1 15/07/2015 0.002844
2 15/07/2015 0.003055
3 15/07/2015 -0.001481
4 15/07/2015 -0.000741
5 15/07/2015 -0.000741
6 16/07/2015
浏览 2提问于2015-10-11得票数 1
回答已采纳
2回答
我有一个这样的数据集
CookieID ItemID
0 ERG-278-REDD 5651
1 NaN 2377
2 STQ-134-DDVH 1217
3 NaN 1798
4 XYZ-541-EFFG 1234
5 NaN 2378
我想在Pandas中将它转换为这个
CookieID Item1 Item2
ERG-278-RREDD 5651 2377
STQ-134-DDVH 1217 1798
XYZ-541-
浏览 0提问于2017-02-05得票数 1
1回答
我确实有一个数据透视，并希望通过索引中包含的值来过滤索引。我知道如何对列"Value“中大于110的值执行此操作。
pd_pvt = pivot_table[(pivot_table['Value'] > 110)]
如何根据索引中数据(债券)的名称选择数据(债券)？
pd_pvt = pivot_table[(index_name['Value'] == "Bonds")]
上面的代码不能工作，因为索引不能作为列来处理。
浏览 0提问于2016-11-22得票数 1
回答已采纳
我正在研究一个机器学习实践问题，来自https://datahack.analyticsvidhya.com/contest/practice-problem-big-mart-sales-iii/#ProblemStatement。
我想替换'Item_Weight‘列中的空值，为此，我使用了pivot_table给出的平均值，其中计算了'Item_Weight’的平均值，并按数据集的'Item_Identifier‘列对平均值进行了分组。
item_weight_mean = ds.pivot_table(values='Item_Weight',c
浏览 0提问于2021-05-09得票数 0
我有一个用于ID集合的键值对的Pandas DataFrame。DataFrame中的列是(ID、Key、Value)。
data = {
"ID":{0:1,1:1,2:1,3:2,4:2,5:2,6:3,7:3,8:3,9:4,10:4,11:4},
"Key":{0:"A",1:"B",2:"B",3:"A",4:"B",5:"B",6:"A",7:"B",8:"B",9:"A",1
浏览 2提问于2019-09-05得票数 0
回答已采纳
2回答
Python和Pandas的菜鸟来了！我正在尝试使用for循环来转换包含一百万条记录的数据。正如你所能想象的，它非常缓慢。请参阅下面我的过程和代码。
我正在使用两种数据格式:事务--其中包含customer_id，以及它们从其中购买的类别。
transactions=pandas.DataFrame({'a':['johnny','sally','maggy','lassy','johnny','sally','maggy'],
'category':
浏览 0提问于2016-02-01得票数 0
回答已采纳
我有一个pandas df，如下所示，其中可以有多个组，具有名称和变量x1，x2，x3等。
group name x1 x2 x3
1 A 32 21 34
1 B 12 13 14
1 C 12 14 16
2 A 23 19 26
2 B 18 28 45
2 C 12 46
浏览 0提问于2020-01-31得票数 2
我想我需要一些关于“融化”功能的帮助。
我有一个dataframe，它看起来如下所示：
正如您所看到的，当前的索引是时间。
但是，如果希望实现以下目标：
背后的理由是，我想比较同一季度的RZS值在不同的日子。
我知道我可以使用熔融函数，但我不知道这个函数是如何工作的。
from pandas import melt
df = pd.DataFrame(index=['00:00:00', '00:15:00'], columns=["2014-12-01","2014-12-02"])
这创造了数据，但我不知
浏览 1提问于2015-01-06得票数 0
回答已采纳
2回答
所以我在pandas中遇到了一个格式化问题。有什么想法吗？如果之前有人问过这个问题，请让我知道，并告诉我在哪里！返回类型对我来说无关紧要，只要它的格式与我在那里的内容一致即可。我有以下内容，其中数字是本例中的索引，New是我的列。
New
3 A
2 A
4 B
5 C
8 C
我想要
A
3 2
B
4
C
5 8
浏览 2提问于2020-02-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
