这是由于最新版本的Pandas库不再支持将缺少标签的列表传递给.loc或[]索引器。在本文中,我将分享如何解决这个错误并继续使用Pandas进行数据处理。...当我们使用列表(或其他可迭代对象)传递给.loc或[]索引器时,Pandas在查找标签时可能会遇到缺失的标签,这会导致KeyError。...希望这个示例代码能够帮助你解决实际应用中遇到的类似问题。在Pandas中,通过索引器.loc或[]可以用于查找标签。这些标签可以是行标签(索引)或列标签。...使用条件判断:df.loc[df['column'] > value] 可以使用条件判断语句来筛选行数据,返回一个DataFrame对象。列标签查找[]索引器主要用于按列标签查找数据。...需要注意的是,在Pandas中,索引器.loc和[]可以实现更灵活的选择和筛选操作,还可以使用切片操作(如df.loc[:, 'column1':'column2'])来选择连续的行或列
基础知识在数据分析中就像是九阳神功,熟练的掌握,加以运用,就可以练就深厚的内力,成为绝顶高手自然不在话下! 为了更好地学习数据分析,我对于数据分析中pandas这一模块里面常用的函数进行了总结。...文章中的所有代码都会有讲解和注释,绝大部分也都会配有运行结果,酱紫的话,整篇总结篇幅量自然不小,所以我分成了上下两篇,这里是下篇。 《超全的pandas数据分析常用函数总结:上篇》 5....用append合并 data.append(data2) # 在原数据集的下方合并入新的数据集 输出结果: ?...数据提取 下面这部分会比较绕: loc函数按标签值进行提取,iloc按位置进行提取pandas.DataFrame.loc() 允许输入的值: 单个标签,例如5或’a’,(请注意,5被解释为索引的标签,...在筛选后的数据中,对money进行求和 输出结果:9.0 8.
loc索引器仅按索引标签进行选择,这与 Python 词典的工作方式类似。 准备 .loc和。iloc与序列和数据帧一起使用。...索引器选择任一维度中的序列和数据帧的子集。...序列的逻辑与数据帧的逻辑稍有不同,实际上更为复杂。 由于其复杂性,最好避免在序列上仅使用索引运算符本身,而应使用显式的.iloc和.loc索引器。...准备 在本秘籍中,您将首先对索引进行排序,然后在.loc索引器中使用切片符号选择两个字符串之间的所有行。...准备 此秘籍复制了本章中的较早秘籍“转换 SQL 数据帧的WHERE子句”,但是利用了query方法。 此处的目标是为来自警察局或消防局的,薪水在 80 至 12 万美元之间的女性雇员筛选雇员数据。
基础知识在数据分析中就像是九阳神功,熟练的掌握,加以运用,就可以练就深厚的内力,成为绝顶高手自然不在话下! 为了更好地学习数据分析,我对于数据分析中pandas这一模块里面常用的函数进行了总结。...文章中的所有代码都会有讲解和注释,绝大部分也都会配有运行结果,酱紫的话,整篇总结篇幅量自然不小,所以我分成了上下两篇,这里是下篇。 《超全的pandas数据分析常用函数总结:上篇》 5....用append合并 data.append(data2) # 在原数据集的下方合并入新的数据集 输出结果: ?...数据提取 下面这部分会比较绕: loc函数按标签值进行提取,iloc按位置进行提取pandas.DataFrame.loc() 允许输入的值: 单个标签,例如5或’a’,(请注意,5被解释为索引的标签,...# 在筛选后的数据中,对money进行求和 输出结果:9.0 8.
数据清洗则是将整合好的数据去除其中的错误和异常。 本期利用之前获取的网易云音乐用户数据,来操作一番。 / 01 / 数据整合 首先读取数据。...loc方法在选择列时只能使用字符索引。...选择多列。ix、iloc、loc方法都可使用。 只不过ix和loc方法,行索引是前后都包括的,而列索引则是前包后不包(与列表索引一致)。 iloc方法则和列表索引一致,前包后不包。...# 筛选成年用户 print(df.query('age > 17')) # 筛选地区在河南或湖南的用户 print(df.query('(city == 430100) | (city == 410100...between方法,查询数据在某个范围的记录。
在数据分析的领域中,Python以其灵活易用的特性和丰富的库资源,成为了众多数据科学家的首选工具。在Python的数据分析流程中,数据的选择和运算是两个至关重要的步骤。...例如,使用.loc和.iloc可以根据行标签和行号来选取数据,而.query方法则允许我们根据条件表达式来筛选数据。 在数据选择的基础上,数据运算则是进一步挖掘数据内在规律的重要手段。...在NumPy中数组的索引可以分为两大类: 一是一维数组的索引; 二是二维数组的索引。 一维数组的索引和列表的索引几乎是相同的,二维数组的索引则有很大不同。...,方法可以通用 选取多行的语法为:变量名.loc[[行index1 行index2,……]] iloc()方法 iloc的使用与loc完全类似,只不过是针对“位置(=第几个)"进行筛选。...关键技术: mean()函数能够对对数据的元素求算术平均值并返回,程序代码如下所示: 中位数运算 中位数又叫作中值,按顺序排列的一组数据中位于中间位置的数,其不受异常值的影响。
df.isna().sum() 6.使用 loc 和 iloc 添加缺失值 使用 loc 和 iloc 添加缺失值,两者区别如下: loc:选择带标签 iloc:选择索引 我们首先创建 20 个随机索引进行选择...16.重置并删除原索引 在某些情况下,我们需要重置索引并同时删除原始索引。...df[['Geography','Exited','Balance']].sample(n=6).reset_index(drop=True) 17.将特定列设置为索引 我们可以将数据帧中的任何列设置为索引...df['Geography'] = df['Geography'].astype('category') 24.替换值 替换函数可用于替换数据帧中的值。...在计算时间序列或元素顺序数组中更改的百分比时,它很有用。
可以想到用groupby+apply的方法组合对重复数据分组聚合来进行筛选,结果返回需要保留数据的原数据索引(在需求3中已经重置索引)。...重复数据中需保留的行索引 kp_index = dup_mrg.groupby(['id','time']).apply(dup_check) # 重复数据中需去掉的行索引 drp_index = dup_mrg.loc...最后我们再通过loc筛选从原始数据df中筛选掉这些需要去除的行索引,最终达到去重的目的。...说明:由于是机器采集的GPS数据,在采集过程中可能会因传感器问题出现一定概率的异常值,这是经常发生的,所以我们必须对数据进行异常的排查。...需求10:对非重复异常值进行剔除 与重复值去除一样,这里我们通过记录原数据索引的方式,将异常值索引所在行数据从原数据中剔除。
包括如何导入数据集以及浏览,选择,清理,索引,合并和导出数据等常用操作的函数使用,这是一个很好的快速入门指南,如果你已经学习过pandas,那么这将是一个不错的复习。...import pandas as pd pandas在默认情况下,如果数据集中有很多列,则并非所有列都会显示在输出显示中。...也就是说,500意味着在调用数据帧时最多可以显示500列。 默认值仅为50。此外,如果想要扩展输显示的行数。...子集选择/索引:如果要选择特定的子集,我们可以使用.loc或.iloc方法。 基本使用方法如下: df.loc[:,['Contour']]:选择'Contour'列的所有数据。...数据清洗 数据清洗是数据处理一个绕不过去的坎,通常我们收集到的数据都是不完整的,缺失值、异常值等等都是需要我们处理的,Pandas中给我们提供了多个数据清洗的函数。
为此,我们从max_cols序列的值中收集所有唯一的学校名称。 最后,在步骤 8 中,我们使用.loc索引器根据索引标签选择行,在第一步中将其作为学校名称。 此过滤器仅适用于具有最大值的学校。...解决方法是,您偶尔会看到在同一单元格中存储了多个值的数据集。 整洁的数据可为每个单元格精确地提供一个值。 为了纠正这些情况,通常需要使用str序列访问器中的方法将字符串数据解析为多列。...准备 在本秘籍中,我们将首先使用.loc索引器将行追加到小型数据集,然后过渡到使用append方法。...最后,在第 24 步中,我们使用.loc索引器同时选择前 250 天(行)以及仅特朗普和奥巴马的列。ffill方法用于少数总统在特定日期缺少值的情况。....loc索引器在步骤 9 中选择整个 2017 年数据行。我们用该行除以在步骤 8 中找到的中位数百分比来调整该行。
data.loc[:,['列一','列四','列三']] #取出所有行多列,就把列名包裹成列表的形式。...data.loc[data['列四']==138,['列二','列三','列四']] #loc的条件筛选 可以看出行列 的索引访问支持 切片,添加逻辑判断等操作。...['a', 'c'] # 按标签信息,传入行列标签索引信息 获取具体某个数据 df.iat[1, 2] # 按位置信息,传入行列位置信息,获取具体某个数据 # 新版本中pandas中 df 似乎不能使用...需要注意的是,在访问dataframe时,访问df中某一个具体元素时需要先传入行表索引再确定列索引。 2....pandas 常用函数 pandas中的函数 一般会有两种结果,一是copy,即返回一个修改后的副本,原有的不变,二是inplace,即在原有基础上直接进行修改。
其实我一开始对这两个方法很容易混淆,其实后面发现很好区分,如果需要用列名来筛选,请用loc,如果使用列索引,请用iloc。...data.loc[[2,4],['City','Country']] # 根据列索引,请用iloc # 筛选1到10行的奇数行,2到5列 data.iloc[1:10:2,2:5] # 筛选1到10...,譬如对A列使用sum(),对B列使用mean(),在SQL中其实很好实现的功能,在Pandas我们需要借助.agg()来实现 。...在Pandas中我们可以使用pandas.merge()来完成连接对操作。...()和apply()的区别: map():是pandas.Series()的内置方法,也就是说只能用于单一列,返回的是数据是Series()格式的; apply():可以用于单列或者多列,是对整个DataFrame
最基本的操作——批量筛选: cond = df['quantity']==1 df[cond] 行1:构造 bool 条件列 行2:把条件列传入 df[条件列] 中,基于索引对齐原则,true 对应的行将被保留...基本的筛选方式就这么多,但是为了让他们多了解一些小技巧,接下来会介绍一些比较曲折的方式 ---- 方式3 本身在 pandas 中取出某些行,其实只有一种最快速的方式,就是通过行索引取出: idx =...[0,1,2] df.loc[idx] 那么,在方式1中,通过 bool 列得到 true 对应的行,其实道理是一样: cond = df['quantity'] == 1 idx = cond.values.nonzero...idx 得到的就是 true 对应的行索引 最后,也只不过是用得到的行索引取出行而已。 df.loc[idx] 这就是所谓的索引对齐了。...此时,pandas 会出现警告信息,提醒你,"可能你的筛选出问题" ---- 推荐阅读: sql题目pandas解法(01):筛选、all、any常用技巧 懂Excel轻松入门Python数据分析包pandas
值 2)在pandas中,将缺失值表示为NA,表示不可用not available。.../pandas-docs/stable/generated/pandas.DataFrame.dropna.html #删除列(销售时间,社保卡号)中为空的行 #how='any' 在给定的任何一列中有缺失值就删除...#数据类型转换:字符串转换为日期 #errors='coerce' 如果原始数据不符合日期的格式,转换后的值为控制NaT #format 是你原始数据中的日期的格式 salesDf.loc[:,'...,需要修改成从0到N按顺序的索引值 salesDf=salesDf.reset_index(drop=True) salesDf.head() 5.异常值处理 #通过描述指标可以看出销售数量不可以小于0...salesDf.describe() #删除异常值:通过条件判断筛选出数据 #查询条件 querySer=salesDf.loc[:,销售数量]>0 salesDf=salesDf.loc[querySer
数据导入与预处理-第6章-04pandas综合案例 1 pandas综合案例-运动员信息数据 1.1 查看数据 1.2 数据处理与分析 1 pandas综合案例-运动员信息数据 1.1 查看数据 导入数据...类对象的摘要 # 查看DataFrame类对象的摘要,包括各列数据类型、非空值数量、内存使用情况等 all_data.info() 输出为: 检测all_data中是否有重复值 # 检测all_data...中是否有重复值 all_data[all_data.duplicated().values==True] 输出为: 删除all_data中的重复值 # 删除all_data中的重复值,并重新对数据进行索引...”一列的数据 # 筛选出项目为篮球的运动员 basketball_data= all_data[all_data['项目'] == '篮球'] # 访问“出生日期”一列的数据 basketball_data...rule = (mean_data-3*std_data>ser) | (mean_data+3*std_data<ser) # 返回异常值的位置索引 index = np.arange
Pandas是专门用于数据挖掘的开源python库,也可用于数据分析。Pandas以Numpy为基础,借力Numpy模块在计算方面性能高的优势;同时基于matplotlib,能够简便的画图。...在Pandas版本0.20.0之前使用Panel结构存储三维数组。它有很大的缺点,比如生成的对象无法直接看到数据,如果需要看到数据,需要进行索引。...# items - axis 0,每个项目对应于内部包含的数据帧(DataFrame)。...# major_axis - axis 1,它是每个数据帧(DataFrame)的索引(行)。 # minor_axis - axis 2,它是每个数据帧(DataFrame)的列。...团队开发注意事项 浅谈密码加密 Django框架中的英文单词 Django中数据库的相关操作 DRF框架中的英文单词 重点内容回顾-DRF Django相关知识点回顾 美多商城项目导航帖
读取csv数据的时候, 使用参数index_col指定表中的列作为索引 import numpy as np import pandas as pd df = pd.read_csv('data/table.csv...loc方法 注意:所有在loc中使用的切片全部包含右端点!...[]操作符 如果不想陷入困境,请不要在行索引为浮点时使用[]操作符,因为在Series中的浮点[]并不是进行位置比较,而是值比较,非常特殊。...和[]中相应位置都能使用布尔列表选择: 如果不加values就会索引对齐发生错误,Pandas中的索引对齐是一个重要特征,很多时候非常使用。...在选择bins的时候,bins的范围尽量将数据取值区间完全包括在内,避免因区间开闭导致取值被舍去。 math_interval.head() math_interval.values 3.
loc函数按标签值进行提取iloc按位置进行提取ix可以同时按标签和位置进行提取 具体的使用见下: df.loc[3]按索引提取单行的数值df.iloc[0:5]按索引提取区域行数据值df.reset_index...()重设索引df=df.set_index(‘date’)设置 date 为索引df[:‘2013’]提取 2013 之前的所有数据df.iloc[:3,:2]从 0 位置开始,前三行,前两列,这里的数据不同去是索引的标签名称...df['pr'].corr(df['m-point']) # 相关系数在 [-1, 1] 之间,接近 -1 为负相关,1 为正相关,0 为不相关 数据表的相关性分析 df.corr() 数据分组与聚合实践...,是多级索引,可以重新定义索引的数据 import pandas as pd df = pd.DataFrame({'Country': ['China', 'China', 'India', 'India...默认会将分组后将所有分组列放在索引中,但是可以使用 as_index=False 来避免这样。
在Numpy和Pandas中,有两个重要概念,容易混淆,一个是浅拷贝,也称为视图,另外一个是深拷贝,或者就称为拷贝。...对象,然后用它作为df的索引,就得到了按照筛选条件返回的记录。...没有能够将筛选出来的记录中的z列数值修改为0。...视图和拷贝 理解Numpy和Pandas中的视图和拷贝,是非常有必要的。因为我们有时候需要从内存中的数据中拷贝一份,有时候则需要把数据的一部分连同原数据集同时保存。...但是,要注意Pandas中的这样一种操作符:.loc[], .iloc[], .at[], and .iat 还是列举几个示例,从中看看Pandas的拷贝和视图。
04 数据访问 ? series和dataframe兼具numpy数组和字典的结构特性,所以数据访问都是从这两方面入手。同时,也支持bool索引进行数据访问和筛选。...切片类型与索引列类型不一致时,引发报错 loc/iloc,最为常用的两种数据访问方法,其中loc按标签值访问、iloc按数字索引访问,均支持单值访问或切片查询。...loc和iloc应该理解为是series和dataframe的属性而非函数,应用loc和iloc进行数据访问就是根据属性值访问的过程 另外,在pandas早些版本中,还存在loc和iloc的兼容结构,即...由于该方法默认是按行进行检测,如果存在某个需要需要按列删除,则可以先转置再执行该方法 异常值,判断异常值的标准依赖具体分析数据,所以这里仅给出两种处理异常值的可选方法 删除,drop,接受参数在特定轴线执行删除一条或多条记录...pandas中的另一大类功能是数据分析,通过丰富的接口,可实现大量的统计需求,包括Excel和SQL中的大部分分析过程,在pandas中均可以实现。
领取专属 10元无门槛券
手把手带您无忧上云