['b'].unique(): 查看某一列的唯一值 df.values: 查看数据表的值 df.columns: 查看列名 df.head(): 查看默认的前 10 行数据 df.tail():...查看默认的后 10 行数据 数据表清洗 df.fillna(value=0): 用数字 0 填充空值 df['pr'].fillna(df['pr'].mean()): 用列 pr 的平均值对 na...[(df['city'] == 'beijing') & (df['pr'] >= 4000), 'sign'] = 1 对 category 字段的值依次进行分列,并创建数据表,索引值 df 的索引列...pr 进行求和 df.query('city' == ['beijing', 'shanghai']).pr.sum() 数据汇总 主要使用 groupby 和 pivote_table 进行处理。..., np.sum,np.mean]): 对 city 进行分组,然后计算 pr 列的大小、总和和平均数 数据统计 数据采样,计算标准差、协方差和相关系数。
[‘b’].unique()查看某一列的唯一值df.values查看数据表的值df.columns查看列名df.head()查看默认的前 10 行数据df.tail()查看默认的后 10 行数据 数据表清洗...df.set_index('id') 按照特定列的值排序 df.sort_values(by=['age']) 按照索引列排序 df.sort_index() 如果 pr 列的值大于 3000 , group...[(df['city'] == 'beijing') & (df['pr'] >= 4000), 'sign'] = 1 对 category 字段的值依次进行分列,并创建数据表,索引值 df 的索引列...([‘beijing’])判断 city 的值是否为北京df.loc[df[‘city’].isin([‘beijing’,‘shanghai’])]判断 city 列里是否包含 beijing 和 shanghai...pr 进行求和 df.query('city' == ['beijing', 'shanghai']).pr.sum() 数据汇总 主要使用 groupby 和 pivote_table 进行处理。
(维度、列名称、数据格式、所占空间等) df.dtypes 列数据的格式 df[‘Name’].dtype 某一列格式 df.isnull() 空值 df.isnull() 查看某一列空值 df[Name...’].unique() 某一列的唯一值 df.values 数据表的值 df.columns 列名称 df.head() 查看前10行数据 df.tail() 查看后10行数据 数据操作 代码 作用...() 对筛选后的结果按prince进行求和 数据统计 代码 作用 df_inner.groupby(‘city’).count() 对所有的列进行计数汇总 df_inner.groupby(‘city...(‘city’)[‘price’].agg([len,np.sum, np.mean]) 对city字段进行汇总,并分别计算prince的合计和均值 df_inner.sample(n=3) 简单的数据采样...的索引列,列名称为category和size df_inner=pd.merge(df_inner,split,right_index=True, left_index=True) 将完成分裂后的数据表和原
数据透视表将每一列数据作为输入,输出将数据不断细分成多个维度累计信息的二维数据表。...可以使任何对groupby有效的函数 fill_value 用于替换结果表中的缺失值 dropna 默认为True margins_name 默认为'ALL',当参数margins为True时,ALL行和列的名字...行索引和列索引都可以再设置为多层,不过行索引和列索引在本质上是一样的,大家需要根据实际情况合理布局。...columns:指定了要分组的列,最终作为列。 values:指定了要聚合的值(由行列共同影响),需要指定aggfunc参数。 rownames:指定了行名称。 colnames:指定了列名称。...必须指定values的值。 margins:布尔值,是否分类统计。默认False。 margins_name:分类统计的名称,默认是"All"。 dropna:是否包含全部是NaN的列。
数据表检查 数据表检查的目的是了解数据表的整体情况,获得数据表的关键信息、数据的概况,例如整个数据表的大小、所占空间、数据格式、是否有 空值和重复项和具体的数据内容,为后面的清洗和预处理做好准备。...df.shape 2.数据表信息 使用info函数查看数据表的整体信息,包括数据维度、列名称、数据格式和所占空间等信息。...) 数据表清洗 本章介绍对数据表中的问题进行清洗,包括对空值、大小写问题、数据格式和重复值的处理。...Rename是更改列名称的函数,我们将来数据表中的category列更改为category-size。...#对category字段的值依次进行分列,并创建数据表,索引值为df_inner的索引列,列名称为category和size pd.DataFrame((x.split('-') for x in df_inner
1、维度查看: df.shape 2、数据表基本信息(维度、列名称、数据格式、所占空间等): df.info() 3、每一列数据的格式: df.dtypes 4、某一列格式: df['B'].dtype...5、空值: df.isnull() 6、查看某一列空值: df['B'].isnull() 7、查看某一列的唯一值: df['B'].unique() 8、查看数据表的值: df.values 9、...,并创建数据表,索引值为df_inner的索引列,列名称为category和size pd.DataFrame((x.split('-') for x in df_inner['category']),...[:3,:2] #冒号前后的数字不再是索引的标签名称,而是数据所在的位置,从0开始,前三行,前两列。...prince进行求和 df_inner.query('city == ["beijing", "shanghai"]').price.sum() 七、数据汇总 主要函数是groupby和pivote_table
返回 表——包含汇总依据及新列名的表 C. 注意事项 汇总的依据必须是表或者相关表的列。 不能用于虚拟添加列这种。 尽量用其他方式来替换第3和第4参数。...分组依据的列 第3可选重复参数 Name 增加列的名称,文本格式 第4可选重复参数 Expression 增加列的计算表达式 B....CurrentGroup函数不带参数,通常和带X结尾的聚合函数一起使用。 D. 作用 返回按指定列分组后计算的表达式结果 E....) 解释:通过姓名进行分组汇总,并计算当前汇总数据表的成绩合计。...功能在某些地方和SummarizeColumns以及Summarize类似,在汇总时如果值为空的话,也会忽略汇总,所以姓名为无值的这里也依旧不显示。
【例4】对groupby对象进行迭代,并打印出分组名称和每组元素。 关键技术:采用for函数进行遍历, name表示分组名称, group表示分组数据。...sum','mean']}) 2.2逐列及多函数应用 【例10】同时使用groupby函数和agg函数进行数据聚合操作。...和agg函数对该数据表进行分组聚合操作。...为True时,行/列小计和总计的名称; 【例17】对于DataFrame格式的某公司销售数据workdata.csv,存储在本地的数据的形式如下,请利用Python的数据透视表分析计算每个地区的销售总额和利润总额...: 行名称 margins : 总计行/列 normalize:将所有值除以值的总和进行归一化,为True时候显示百分比 dropna :是否刪除缺失值 【例19】根据国籍和用手习惯对这段数据进行统计汇总
向数据库中添加数据时,列名和值要一一对应,如果未写出列名,则添加数据的默认顺序是列的存放顺序,这就引出两种添加方式,一种是向全部字段(即列)添加数据,只需不写出列名就可以;另一种是向部分字段添加数据,需要写出具体的添加数据列名...3)、给查询结果中的列换个名称 使用AS关键字给列设置别名, SELECTcolumn_name1 AS ‘别名1’,column_name2 AS ‘别名2’,……....3、聚合函数 求最大值函数(MAX)、最小值函数(MIN)、平均值函数(AVG)、求和函数(SUM)、求记录行数函数(COUNT) SELECT 函数(column_name)FROM table_name...上面语句中:GROUPBY是分组查询的关键字,在其后面写的是按其分组的列名,可以按照多列进行分组。 HAVING是在分组查询中使用条件的关键字。该关键字只能在GROUPBY后面。...HAVING子句要放在GROUPBY 子句之后,也就是要对数据进行分组,然后再对其按条件进行数据筛选。还有一点使用HAVING语句作为条件时,条件后面的列只能是在GROUPBY子句后面出现过的列。
="p" 11 ser2.index.name = 'state' 12 print(ser2) View Code 2.DataFrame:表示的是矩阵的数据表,它包含已排序的列集合,每一个可以是不同的值类型...loc使用方法:DataFrame.loc[行索引名称或条件,列索引名称,如果内部传递的是一个区间,则左闭右开。...loc内部可以出入表达式,返回布尔值的series iloc和loc的区别是,iloc接受的必须是行索引和列索引的位置。...#返回每个分组的最小值 18 print(group.std()) #返回每组的标准差 19 print(group.sum()) #返回每组的和 20 group2 = df['data1'].groupby...#返回每组的标准差 print(group.sum()) #返回每组的和 print(group.quantile(0.9)) #返回每组的分位数 group2 = df['data1'].groupby
而在SQL面试中,一道出镜频率很高的题目就是行转列和列转行的问题,可以说这也是一道经典的SQL题目,本文就这一问题做以介绍分享。 ? 给定如下模拟数据集,这也是SQL领域经典的学生成绩表问题。...两张期望的数据表分别如下: 1)长表: ? scoreLong 2)宽表: ?...由多行变一行,那么直觉想到的就是要groupby聚合;由一列变多列,那么就涉及到衍生提取; 既然要用groupby聚合,那么就涉及到将多门课的成绩汇总,但现在需要的不是所有成绩汇总,而仍然是各门课的独立成绩...这样,无论使用任何聚合函数,都可以得到该uid下指定课程的成绩结果。这里是用了sum函数,其实用min、max效果也是一样的,因为待聚合的数值中就只有那一个值非空。...这实际上对应的一个知识点是:在SQL中字符串的引用用单引号(其实双引号也可以),而列字段名称的引用则是用反引号 上述用到了where条件过滤成绩为空值的记录,这实际是由于在原表中存在有空值的情况,如不加以过滤则在本例中最终查询记录有
3、数据缺失值 # Check for missing values missing_values = df.isnull().sum() # Fill missing values with...它根据一个或多个列的值对数据进行重新排列和汇总,以便更好地理解数据的结构和关系。...var_name:用于存储"融化"后的列名的新列的名称。 value_name:用于存储"融化"后的值的新列的名称。...6 1 Amy History 88 7 2 Bob History 76 8 3 John History 90 通过这种方式,你可以将宽格式数据表格中的多列数据整合到一个列中...将数据列转换为分类类型有助于节省内存和提高性能,特别是当数据列中包含有限的不同取值时。
在pandas库中实现Excel的数据透视表效果通常用的是df['a'].value_counts()这个函数,表示统计数据框(DataFrame) df的列a各个元素的出现次数;例如对于一个数据表如pd.DataFrame...df['b'].sum()是对b列求和,结果是21,和a列无关;所以我们可以自己按照根据a列分表再求和的思路去实现。...自己造轮子的做法可以是: def df_value_sum(df,by='a',s='b'):#by和s分别对应根据a列对b列的数求和 keys=set(df[by]) ss={}...df.groupby('a').sum(),会输出一个DataFrame。...,直接在透视表的行选渠道,值选uid计数,得到的是没去重的结果,拿df表来说,假设c列是用户id,a列是渠道,想统计a列的A、B、C各渠道各有多少付费用户数,透视表的结果和期望的结果如下图: ?
5.6 切割数据 对date字段的值依次进行分列,并创建数据表,索引值为data的索引列,列名称为year\month\day。...6.2.2 用loc取不连续的多行 提取索引值为2和索引值为4的所有行,即提取第3行和第5行。 data.loc[[2,4]] 输出结果: ?...6.2.5 用iloc取连续的多行和多列 提取第3行到第6行,第4列到第5列的值,取得是行和列交叉点的位置。 data.iloc[2:6,3:5] 输出结果: ?...6.2.6 用iloc取不连续的多行和多列 提取第3行和第6行,第4列和第5列的交叉值 data.iloc[[2,6],[3,5]] 输出结果: ?...8.4 以department属性进行分组汇总并计算money的合计与均值 data.groupby("department")['money'].agg([len, np.sum, np.mean])
(double_df) 我们也可以定义更复杂的函数,比如对于 DataFrame,我们新增两列,其中’new1’列是“语文”和“英语”成绩之和的 m 倍,'new2’列是“语文”和“英语”成绩之和的...当我们未设置aggfunc时,它默认aggfunc='mean'计算均值,可以设置多个 如: [aggfunc=[np.sum,np.mean]] 此时会显示np.sum和np.mean统计出来的数据。...D”列中的所有NaN元素分别替换为0,1,2和3。...groupby操作涉及拆分对象,应用函数和组合结果的某种组合。...() # 列名称 总结: 和 NumPy 一样,Pandas 有两个非常重要的数据结构:Series 和 DataFrame。
columns和index为指定的列、行索引,并按照顺序排列 举例:用pandas创建数据表: df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006...,选取单一的标量 9 df.iat[i,j] 通过行和列的位置(整数),选取单一的标量 10 reindex 通过标签选取行或列 11 get_value 通过行和列标签选取单一值 12 set_value...通过行和列标签选取单一值 举例:使用iloc按位置区域提取数据 df_inner.iloc[:3,:2] #冒号前后的数字不再是索引的标签名称,而是数据所在的位置,从0开始,前三行,前两列。...,用统计学指标快速描述数据的概要 6 .sum() 计算各列数据的和 7 .count() 非NaN值的数量 8 .mean( ) 计算数据的算术平均值 9 .median() 计算算术中位数 10 ....),表示哪些值是缺失的 举例:查看数据表基本信息(维度、列名称、数据格式等等) df.info() 十、数据转换 序号 方法 说明 1 .replace(old, new) 用新的数据替换老的数据,
DataFrame表示的是矩阵的数据表,二维双索引数据结构,包括行索引和列索引。Series是一种一维数组型对象,仅包含一个值序列与一个索引。本文所涉及的数据结构主要是DataFrame。...函数进行分组统计,groupby分组实际上就是将原有的DataFrame按照groupby的字段进行划分,groupby之后可以添加计数(count)、求和(sum)、求均值(mean)等操作。...① 统计评分最多的5部电影首先根据电影名称进行分组,然后使用size函数计算每组样本的个数,最后采用降序的方式输出前5条观测值。...,不断细分数据形成多个维度累计信息的二维数据表。...columns :透视表的列索引,非必要参数,同index使用方式一样aggfunc :对数据聚合时进行的函数操作,默认是求平均值,也可以sum、count等margins :额外列,默认对行列求和fill_value
领取专属 10元无门槛券
手把手带您无忧上云