如何在MultiIndex DataFrame上使用Pandas query()方法？ - 腾讯云开发者社区

文章/答案/技术大牛

发布

利用query()与eval()优化pandas代码

本文就将带大家学习如何在pandas中化繁为简，利用query()和eval()来实现高效简洁的数据查询与运算。...目前pandas中的query()已经进化得非常好用（笔者目前使用的pandas版本为1.1.0）。...图2 正常读入数据后，我们分别使用传统方法和query()来执行这样的组合条件查询，不同的条件之间用对应的and or或& |连接均可： ❝找出类型为「TV Show」且国家不含「美国」的「Kids'...而pandas中的eval()有两种，一种是top-level级别的eval()函数，而另一种是针对数据框的DataFrame.eval()，我们接下来要介绍的是后者，其与query()有很多相同之处，...同样从实际例子出发，同样针对「netflix」数据，我们按照一定的计算方法为其新增两列数据，对基于assign()的方式和基于eval()的方式进行比较，其中最后一列是False是因为日期转换使用coerce

2K3 0

（数据科学学习手札92）利用query()与eval()优化pandas代码

本文就将带大家学习如何在pandas中化繁为简，利用query()和eval()来实现高效简洁的数据查询与运算。 ?...，目前pandas中的query()已经进化得非常好用（笔者目前使用的pandas版本为1.1.0）。　　...图2 　　正常读入数据后，我们分别使用传统方法和query()来执行这样的组合条件查询，不同的条件之间用对应的and or或& |连接均可：找出类型为TV Show且国家不含美国的Kids' TV...而pandas中的eval()有两种，一种是top-level级别的eval()函数，而另一种是针对数据框的DataFrame.eval()，我们接下来要介绍的是后者，其与query()有很多相同之处，...图15 　　使用query()+eval()，升华pandas数据分析操作。 ---- 　　以上就是本文的全部内容，欢迎在评论区与我讨论~

2.2K2 0

您找到你想要的搜索结果了吗？

是的

没有找到

Pandas图鉴(四)：MultiIndex

它建立在NumPy库的基础上，借用了它的许多概念和语法约定，所以如果你对NumPy很熟悉，你会发现Pandas是一个相当熟悉的工具。...这些方法不太常用--主要用于测试和调试。由于历史原因，使用Pandas自己表示的MultiIndex的最直观的方式并不可行。...Pandas有很多方法可以用大括号来访问DataFrame的元素，但都不够方便，所以这里推荐采用另一种索引语法： .query方法的小型语言（它是唯一能够做'or'的方法，而不仅仅是'and'）： df.query...我们看看文档中对命名规则的描述： "这个函数是通过类比来命名的，即一个集合被重新组织，从水平位置上的并排（DataFrame的列）到垂直方向上的堆叠（DataFrame的索引中）。"...官方Pandas文档有一个表格[4]，列出了所有~20种支持的格式。多指标算术在整体使用多索引DataFrame的操作中，适用与普通DataFrame相同的规则（见第三部分）。

2K2 0

【愚公系列】2023年07月 Pandas数据分析之MultiIndex

前言 Pandas中的多级索引（MultiIndex）是指在一个DataFrame或Series中，使用多个索引级别来组织数据。多级索引可用于存储高维数据，如时间序列数据或具有多个分类变量的数据。...在Pandas中，MultiIndex可以通过以下方式创建：使用元组列表创建：通过传递每个级别上的唯一值列表的元组列表来创建MultiIndex。...([index1, index2]) 创建MultiIndex后，可以使用MultiIndex.get_level_values()方法获取每个级别的值，并使用loc()方法选择特定级别的数据。...作为底线，Pandas有多种使用括号使用多重索引访问DataFrame元素的方法，但没有一种方法足够方便，因此他们不得不采用另一种索引语法: 一个用于.query方法的迷你语言:df.query(’ state...10.排序MultiIndex 由于多索引由多个级别组成，因此排序比单索引更做作。这仍然可以使用sort_index方法完成，但可以使用以下参数进行进一步微调。

9731 0

Pandas 2.2 中文官方教程和指南（十二·一）

本质上，它使您能够在较低维数据结构（如Series（1d）和DataFrame（2d））中存储和操作具有任意数量维度的数据。...构建MultiIndex，使用方法MultiIndex.from_frame()。...与 NumPy ndarrays 类似，pandas 的 Index、Series 和 DataFrame 也提供了 take() 方法，该方法检索给定索引处给定轴上的元素。...本质上，它使您能够在较低维数据结构（如Series（1d）和DataFrame（2d））中存储和操作具有任意数量维度的数据。...构建 MultiIndex，使用方法MultiIndex.from_frame()。

1.1K1 0

数据科学 IPython 笔记本 7.8 分层索引

我们以标准导入开始： import pandas as pd import numpy as np 多重索引的序列让我们首先考虑如何在一维Series中表示二维数据。...我们的基于元组的索引，本质上是一个基本的多重索引，而 Pandas 的MultiIndex类型为我们提供了我们希望拥有的操作类型。...作为额外维度的MultiIndex 你可能会注意到其他内容：我们可以使用带有索引和列标签的简单DataFrame，来轻松存储相同的数据。事实上，Pandas 的构建具有这种等价关系。...MultiIndex显式构造器为了更灵活地构造索引，你可以使用pd.MultiIndex中提供的类方法构造器。...Pandas 提供了许多便利的例程来执行这种排序；例如DataFrame的sort_index()和sortlevel()方法。

5.1K2 0

Pandas0.25来了，别错过这10大好用的新功能

Pandas 提供了一种叫 pandas.NameAgg 的命名元组（namedtuple），但如上面的代码所示，直接使用 Tuple 也没问题。这两段代码的效果是一样的，结果都如下图所示。 ?...增加 explode() 方法，把 list “炸”成行 Series 与 DataFrame 增加了 explode() 方法，把 list 形式的值转换为单独的行。...Query() 支持列名空格了用上面的 data 生成一个示例 DataFrame，注意列名是有空格的。...df = pd.DataFrame(data) 现在用反引号（`）括住列名，就可以直接查询了： df.query('`年龄` <19') ?...好了，本文就先介绍 pandas 0.25 的这些改变，其实，0.25 还包括了很多优化，比如，对 DataFrame GroupBy 后 ffill, bfill 方法的调整，对类别型数据的 argsort

2.6K3 0

Pandas图鉴(三)：DataFrames

读取和写入CSV文件构建DataFrame的一个常见方法是通过读取CSV（逗号分隔的值）文件，如该图所示： pd.read_csv()函数是一个完全自动化的、可以疯狂定制的工具。...另外，你也可以使用基于字符串的查询： df.query('name=="Vienna"') df.query('opulation>1e6 and area<1000') 它们更短，与MultiIndex...不出所料，直接方法更快。 DataFrame算术你可以将普通的操作，如加、减、乘、除、模、幂等，应用于DataFrame、Series以及它们的组合。...但是DataFrame的 groupby 在此基础上还有一些特殊的技巧。...为了方便，pivot_table可以计算小计和大计：一旦创建，数据透视表就变成了一个普通的DataFrame，所以它可以使用前面描述的标准方法进行查询：当与MultiIndex一起使用时，数据透视表特别方便

3.9K2 0

pandas学习-索引-task13

'Gender'] 需要注意的是，如果 DataFrame 使用整数索引，其使用整数切片的时候和上面字符串索引的要求一致，都是元素切片，包含端点且起点、终点不允许有重复值。...方法在 pandas 中，支持把字符串形式的查询表达式传入 query 方法来查询数据，其表达式的执行结果必须返回布尔列表。...在进行复杂索引时，由于这种检索方式无需像普通方法一样重复使用 DataFrame 的名字来引用列名，一般而言会使代码长度在不降低可读性的前提下有所减少。...= "Senior")&' ' (Weight > 80))') 在 query 表达式中，帮用户注册了所有来自 DataFrame 的列名，所有属于该 Series 的方法都可以被调用...另外一个需要介绍的函数是 map ，它是定义在 Index 上的方法，与前面 rename 方法中层的函数式用法是类似的，只不过它传入的不是层的标量值，而是直接传入索引的元组，这为用户进行跨层的修改提供了遍历

1.3K0 0

Pandas 2.2 中文官方教程和指南（十一·二）

如果您只想访问一个标量值，最快的方法是使用所有数据结构上都实现的 at 和 iat 方法。与 loc 类似，at 提供基于标签的标量查找，而 iat 则类似于 iloc 提供整数基础的查找。...() 方法 DataFrame 对象具有一个允许使用表达式进行选择的 query() 方法。...MultiIndex query() 语法你也可以像操作列一样使用带有 MultiIndex 的 DataFrame 的级别： In [242]: n = 10 In [243]: colors =..., 'B', 'C', 'D']) .....: In [293]: df2 = df.copy() MultiIndex query() 语法您还可以像在框架中的列一样使用DataFrame...有几种不同的方法。设置索引 DataFrame 具有set_index()方法，该方法接受列名（用于常规Index）或列名列表（用于MultiIndex）。

1.3K1 0

pandas越来越难学，只能自己找趣味了，你该这么学，No.11

我们可以传入一个元组列表搞定也可以采用两个迭代中的每个元素配对使用MultiIndex.from_product iterables = [['bar','baz','foo'],['one','two...用到dataframe上，也是一样的哦没啥区别 ?...最新的0.24版本的pandas里面看，写就写最新的增加了一个方法 MultiIndex.from_frame MultiIndex.from_frame(df, sortorder=None..., names=None) 使用起来，比较清晰 df = pd.DataFrame([['A','nice'],['A','to'], ['B','good'],...，默认值为None 索引可以设置在pandas对象的任意轴上这种情况，直接抛栗子就好了 data = [[1,2,4,5,6,7],[1,2,3,4,5,6]] arrays = [['bar',

9282 0

Pandas 2.2 中文官方教程和指南（十一·一）

在本节中，我们将重点放在最后一点上：即如何切片、切块和通常获取和设置 pandas 对象的子集。��要关注将放在 Series 和 DataFrame 上，因为它们在这个领域接受了更多的开发关注。...如果您只想访问标量值，最快的方法是使用在所有数据结构上实现的at和iat方法。...()` 方法 `DataFrame` 对象具有允许使用表达式进行选择的`query()` 方法。...MultiIndex query() 语法您还可以像使用列一样使用具有MultiIndex的DataFrame的级别： In [242]: n = 10 In [243]: colors = np.random.choice...有几种不同的方法。设置索引 DataFrame 有一个set_index()方法，它接受一个列名（对于常规Index）或一个列名列表（对于MultiIndex）。

1.4K1 0

Python数据分析pandas之多层高维索引

DataFrame多层索引多层索引简介众所周知Pandas的Series和DataFrame存放的是一维和二维数组，那么想存放多维数组就得通过多层索引来实现。...2 这里多维索引的codes是对元组元素进行的编码，如0，1，2等。 #比如这里定义了关于学生年份、学习周期定义的多层(维)索引。...import pandas as pd index=[['期中','期末'],[2010,2011,2012],['A','B']] index = pd.MultiIndex.from_product...的T方法对原有的多层索引进行转置，即原有的列为索引，索引合并为列。...import pandas as pd index=[['期中','期末'],[2010,2011,2012],['A','B']] index = pd.MultiIndex.from_product

3K4 0

Pandas 2.2 中文官方教程和指南（十二·二）

使用分层索引进行高级索引在使用.loc进行高级索引时，将MultiIndex在语法上整合在一起有点具有挑战性，但我们已经尽力做到了。一般来说，MultiIndex 键采用元组的形式。...`的名称 `rename()`方法用于重命名`MultiIndex`的标签，通常用于重命名`DataFrame`的列。...的名称 rename()方法用于重命名MultiIndex的标签，通常用于重命名DataFrame的列。...与 NumPy ndarrays 类似，pandas 的Index、Series和DataFrame还提供了take()方法，该方法在给定轴上以给定索引检索元素。...对象上的take方法不适用于布尔索引，可能会返回意外的结果。

1.3K1 0

Python数据分析模块 | pandas做数据分析(三):统计相关函数

specified) 最大最小值标准统计函数 pandas.dataframe.sum 返回指定轴上值的和....Returns: sum : Series or DataFrame (if level specified) import numpy as np import pandas as pd df=pd.DataFrame...2、pandas.dataframe.mean 返回指定轴上值的平均数....例子: import numpy as np import pandas as pd df=pd.DataFrame(data=[[1.4,np.nan],[7.1,-4.5],[np.nan,np.nan...排序 1、pandas.dataframe.sort_values DataFrame.sort_values(by,axis=0,ascending=True,inplace=False, kind=

2.1K8 0

Python使用pandas扩展库DataFrame对象的pivot方法对数据进行透视转换

Python扩展库pandas的DataFrame对象的pivot()方法可以对数据进行行列互换，或者进行透视转换，在有些场合下分析数据时非常方便。...DataFrame对象的pivot()方法可以接收三个参数，分别是index、columns和values，其中index用来指定转换后DataFrame对象的纵向索引，columns用来指定转换后DataFrame...对象的横向索引或者列名，values用来指定转换后DataFrame对象的值。...为防止数据行过长影响手机阅读，我把代码以及运行结果截图发上来：创建测试用的DataFrame对象： ? 透视转换，指定index、columns和values： ?...透视转换，不指定values，但可以使用下标访问指定的values： ?

3.1K4 0

系统性的学会 Pandas，看这一篇就够了！

数据结构 Pandas中一共有三种数据结构，分别为：Series、DataFrame和MultiIndex（老版本中叫Panel ）。...1.2.3 MultiIndex与Panel （1）MultiIndex MultiIndex是三维的数据结构; 多级索引（也称层次化索引）是pandas的重要功能，可以在Series、DataFrame...从版本0.20.0开始弃用：推荐的用于表示3D数据的方法是通过DataFrame上的MultiIndex方法。...(expr) expr:查询字符串通过query使得刚才的过程更加方便简单，下面是使用的例子： data.query("open23").head() 结果：（2）isin...对应不上的使用NaN填充。

4.6K2 0

系统性的学会 Pandas，看这一篇就够了！

5.2K3 0

Pandas

与Panel MultiIndex是多级或者分层索引对象。...如：对列open进行 +1操作: data['open'].add(1) 如：列close减去open列： data['close'].sub(data['open']) 3.2逻辑运算 3.2.1使用逻辑运算符号...优先选择使用HDF5文件存储 HDF5在存储的时候支持压缩，使用的方式是blosc，这个是速度最快的也是pandas默认支持的。...离散化方法经常作为数据挖掘的工具。 7.2什么是数据的离散化？答：连续属性的离散化就是在连续属性的值域上，将值域划分为若干个离散的区间，最后用不同的符号或整数值代表落在每个子区间中的属性值。...7.3使用方法 pd.qcut(data, bins)：把数据分成大致相等的几类。一般会与value_counts搭配使用，统计每组的个数。

6.3K4 0

Pandas 高级教程——多级索引

导入 Pandas 库在使用 Pandas 之前，首先导入 Pandas 库： import pandas as pd 3....(data) df.set_index(['Year', 'Category'], inplace=True) 3.2 使用 MultiIndex 对象创建多级索引 # 使用 MultiIndex 对象创建多级索引...多级索引的堆叠与取消堆叠 5.1 使用 stack 方法进行堆叠 # 使用 stack 方法进行堆叠 stacked_df = df.stack() 5.2 使用 unstack 方法进行取消堆叠 #...多级索引的交换与排序 6.1 使用 swaplevel 方法交换索引级别 # 使用 swaplevel 方法交换索引级别 swapped_df = df.swaplevel('Year', 'Category...') 6.2 使用 sort_index 方法进行索引排序 # 使用 sort_index 方法进行索引排序 sorted_df = df.sort_index(level='Year', ascending

7931 0

点击加载更多

利用query()与eval()优化pandas代码

（数据科学学习手札92）利用query()与eval()优化pandas代码

Pandas图鉴(四)：MultiIndex

【愚公系列】2023年07月 Pandas数据分析之MultiIndex

Pandas 2.2 中文官方教程和指南（十二·一）

数据科学 IPython 笔记本 7.8 分层索引

Pandas0.25来了，别错过这10大好用的新功能

Pandas图鉴(三)：DataFrames

pandas学习-索引-task13

Pandas 2.2 中文官方教程和指南（十一·二）

pandas越来越难学，只能自己找趣味了，你该这么学，No.11

Pandas 2.2 中文官方教程和指南（十一·一）

Python数据分析pandas之多层高维索引

Pandas 2.2 中文官方教程和指南（十二·二）

Python数据分析模块 | pandas做数据分析(三):统计相关函数

Python使用pandas扩展库DataFrame对象的pivot方法对数据进行透视转换

系统性的学会 Pandas，看这一篇就够了！

系统性的学会 Pandas，看这一篇就够了！

Pandas

Pandas 高级教程——多级索引

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐