首页
学习
活动
专区
圈层
工具
发布

懂Excel轻松入门Python数据分析包pandas(十九):文本条件统计

> 经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。...后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas 前言 Excel 中除了 Vlookup 函数,一系列条件统计函数(sumif、countif、maxif)...这需要我们在 Excel 中有很多方式完成,比如透视表或函数公式,下面简单列出函数公式的做法: - 简单使用 countifs 即可 > 这里不再单独使用 countif 了,管他是否只有一个条件,统一用...,不区分大小写 pandas 用于文本匹配的还有 match 方法,此系列文章不再深入讲解了。...更多高级应用方法,请关注 pandas 专栏 [带你玩转Python数据处理—pandas] 总结 本文重点: - 构造 bool 列,是核心知识点 - Series.str.contains 用于文本规则条件匹配

1.5K20

懂Excel轻松入门Python数据分析包pandas(十九):文本条件统计

此系列文章收录在公众号中:数据大宇宙 > 数据处理 >E-pd > 经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。...后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas 前言 Excel 中除了 Vlookup 函数,一系列条件统计函数(sumif、countif、maxif)...这需要我们在 Excel 中有很多方式完成,比如透视表或函数公式,下面简单列出函数公式的做法: - 简单使用 countifs 即可 > 这里不再单独使用 countif 了,管他是否只有一个条件,统一用...,那么此需求即可迎刃而解: - 行2:由于 住址 列是字符串类列,使用 .str 可访问字符串类型列的各种方法 - contains 判断列中是否包含指定内容。...,不区分大小写 pandas 用于文本匹配的还有 match 方法,此系列文章不再深入讲解了。

1.7K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    pandas中使用excel的模糊匹配通配符,真香

    问题在于pandas 中要实现模糊匹配,只能使用正则表达式或某种具体的函数。...在 excel 中有一类可以模糊匹配的统计函数,比如 sumifs 、 countifs 等,它们可以使用通配符实现模糊匹配统计。之前的 excel 公式: 问号 ?...1或多个字符的意思 ,导致结果仍然匹配成功(内容中根本没有加号) 在 python 的正则表达式库中,为此有专门的函数,可以把所有在正则表达式中有特殊意义的符号,转义成匹配内容: 处理后的结果中,加号...+ 前面添加了反斜杠,正则表达式中反斜杠可以把特殊含义符号转义成普通内容 ---- 正确步骤 现在我们已经把整个问题拆分成2个小问题(并有解决方法): excel 的通配符在正则表达式中的对应表达 排除正常正则表达式中的特殊符号...应用到 pandas 的 series.str.match 函数即可: 不过,每次都这样子调用很啰嗦。可以封装到一个函数里面: 现在可以使用:

    2.5K20

    懂Excel就能轻松入门Python数据分析包pandas(十二):多列堆叠

    > 经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。...后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas 前言 Excel 是奇葩不规范数据的重灾区,这主要是因为他有高度的灵活性,今天来看看一个多列堆叠问题。...现在来看看,在 pandas 中怎么简单转换成规范的2列数据: - 第一句主要是为了最后结果的标题与原数据标题一致而已 - 关键是第二句,这里直接使用 numpy 的 reshape 方法,即可完成需求...- .reshape(-1,2) ,其中的2就是2列,而 -1 是让 numpy 你根据数据来计算最终的行数 - 第三句,只是把结果的数组变为一个 DataFrame - 至于最后的 dropna ,...用 pandas 不就是为了既可自动化处理,又可以少写点代码吗 总结 - numpy 的 reshape 方法,可以快速把数组转换成指定行数或列数 - 用 -1 可以让 numpy 自动计算行或列的数量

    1.1K10

    懂Excel就能轻松入门Python数据分析包pandas(十二):多列堆叠

    > 经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。...后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas 前言 Excel 是奇葩不规范数据的重灾区,这主要是因为他有高度的灵活性,今天来看看一个多列堆叠问题。...现在来看看,在 pandas 中怎么简单转换成规范的2列数据: - 第一句主要是为了最后结果的标题与原数据标题一致而已 - 关键是第二句,这里直接使用 numpy 的 reshape 方法,即可完成需求...- .reshape(-1,2) ,其中的2就是2列,而 -1 是让 numpy 你根据数据来计算最终的行数 - 第三句,只是把结果的数组变为一个 DataFrame - 至于最后的 dropna ,...用 pandas 不就是为了既可自动化处理,又可以少写点代码吗 总结 - numpy 的 reshape 方法,可以快速把数组转换成指定行数或列数 - 用 -1 可以让 numpy 自动计算行或列的数量

    1.1K20

    Excel与pandas:使用applymap()创建复杂的计算列

    标签:Python与Excel,pandas 我们之前讨论了如何在pandas中创建计算列,并讲解了一些简单的示例。...通过将表达式赋值给一个新列(例如df['new column']=expression),可以在大多数情况下轻松创建计算列。然而,有时我们需要创建相当复杂的计算列,这就是本文要讲解的内容。...记住,我们永远不应该循环遍历pandas数据框架/系列,因为如果我们有一个大的数据集,这样做效率很低。...pandas applymap()方法 pandas提供了一种将自定义函数应用于列或整个数据框架的简单方法,就是.applymap()方法,这有点类似于map()函数的作用。...图3 我们仍然可以使用map()函数来转换分数等级,但是,需要在三列中的每一列上分别使用map(),而applymap()能够覆盖整个数据框架(多列)。

    6.3K10

    Pandas库的基础使用系列---获取行和列

    前言我们上篇文章简单的介绍了如何获取行和列的数据,今天我们一起来看看两个如何结合起来用。获取指定行和指定列的数据我们依然使用之前的数据。...我们先看看如何通过切片的方法获取指定列的所有行的数据info = df.loc[:, ["2021年", "2017年"]]我们注意到,行的位置我们使用类似python中的切片语法。...我们试试看如何将最后一列也包含进来。info = df.iloc[:, [1, 4, -1]]可以看到也获取到了,但是值得注意的是,如果我们使用了-1,那么就不能用loc而是要用iloc。...如果要使用索引的方式,要使用下面这段代码df.iloc[2, 2]是不是很简单,接下来我们再看看如何获取多行多列。为了更好的的演示,咱们这次指定索引列df = pd.read_excel("...../data/年度数据.xls", skiprows=skip_rows, index_col=0)然后,通过下面这段代码获取多行多列df.loc[["市辖区数(个)", "镇数(个)"], ["2021

    3.8K00

    对比Excel,Python pandas删除数据框架中的列

    标签:Python与Excel,pandas 删除列也是Excel中的常用操作之一,可以通过功能区或者快捷菜单中的命令或者快捷键来实现。...上一篇文章,我们讲解了Python pandas删除数据框架中行的一些方法,删除列与之类似。然而,这里想介绍一些新方法。取决于实际情况,正确地使用一种方法可能比另一种更好。...准备数据框架 创建用于演示删除列的数据框架,仍然使用前面给出的“用户.xlsx”中的数据。 图1 .drop()方法 与删除行类似,我们也可以使用.drop()删除列。...唯一的区别是,在该方法中,我们需要指定参数axis=1。下面是.drop()方法的一些说明: 要删除单列:传入列名(字符串)。 删除多列:传入要删除的列的名称列表。...图2 del方法 del是Python中的一个关键字,可用于删除对象。我们可以使用它从数据框架中删除列。 注意,当使用del时,对象被删除,因此这意味着原始数据框架也会更新以反映删除情况。

    11.7K20

    Python Pandas 的使用——Series

    参考链接: 访问Pandas Series的元素 Python Pandas 的使用——Series   Pandas是一个强大的分析结构化数据的工具集;它的使用基础是Numpy(提供高性能的矩阵运算)...;用于数据挖掘和数据分析,同时也提供数据清洗功能。 ...Pandas 安装  官方推荐的安装方式是通过Anaconda安装,但Anaconda太过庞大,若只是需要Pandas的功能,则可通过PyPi方式安装。  pip install Pandas 2....Pandas 的数据结构——Series  使用pandas前需要先引入pandas,若无特别说明,pd作为Pandas别名的通用写法  import pandas as pd    2.1 Series...如果python版本 >= 3.6 并且 Pandas 版本 >= 0.23 , 则通过dict创建的Series索引按照dict的插入顺序排序   如果python版本 Pandas

    1.4K00

    12种用于Python数据分析的Pandas技巧

    如果你正开始学习Python,而且目标是数据分析,相信NumPy、SciPy、Pandas会是你进阶路上的必备法宝。尤其是对数学专业的人来说,Pandas可以作为一个首选的数据分析切入点。 ?...本文将介绍12种用于数据分析的Pandas技巧,为了更好地描述它们的效果,这里我们用一个数据集辅助进行操作。...Apply Function Apply函数是使用数据和创建新变量的常用函数之一。在对DataFrame的特定行/列应用一些函数后,它会返回相应的值。这些函数既可以是默认的,也可以是用户自定义的。...DataFrame排序 Pandas可以轻松基于多列进行排序,如下所示: data_sorted = data.sort_values(['ApplicantIncome','CoapplicantIncome...加载这个文件后,我们可以遍历每一行,并使用'type'列将数据类型赋值给'feature'列中定义的变量名称。

    1.2K20

    Python开发之Pandas的使用

    一、简介 Pandas 是 Python 中的数据操纵和分析软件包,它是基于Numpy去开发的,所以Pandas的数据处理速度也很快,而且Numpy中的有些函数在Pandas中也能使用,方法也类似。...Pandas 为 Python 带来了两个新的数据结构,即 Pandas Series(可类比于表格中的某一列)和 Pandas DataFrame(可类比于表格)。...二、创建Pandas Series 可以使用 pd.Series(data, index) 命令创建 Pandas Series,其中data表示输入数据, index 为对应数据的索引,除此之外,我们还可以添加参数...] df.iloc[:,0] out: a 1 b 3 Name: one, dtype: int64 访问多列 python df[['one','two']]...除此之外,还可以使用函数reset_index()重置数据集的index为0开始计数的数列。

    3.7K10

    用于NLP的Python:使用Keras的多标签文本LSTM神经网络分类

    在本文结尾,您将能够对数据执行多标签文本分类。 数据集 数据集包含来自Wikipedia对话页编辑的评论。 评论可以属于所有这些类别,也可以属于这些类别的子集,这使其成为多标签分类问题。  ...输出: 您可以看到,“有毒”评论的出现频率最高,其次分别是 “侮辱”。 创建多标签文本分类模型 创建多标签分类模型的方法有两种:使用单个密集输出层和多个密集输出层。...具有单输出层的多标签文本分类模型 在本节中,我们将创建具有单个输出层的多标签文本分类模型。  在下一步中,我们将创建输入和输出集。输入是来自该comment_text列的注释。 ...具有多个输出层的多标签文本分类模型 在本节中,我们将创建一个多标签文本分类模型,其中每个输出标签将具有一个 输出密集层。...结论 多标签文本分类是最常见的文本分类问题之一。在本文中,我们研究了两种用于多标签文本分类的深度学习方法。在第一种方法中,我们使用具有多个神经元的单个密集输出层,其中每个神经元代表一个标签。

    4K11
    领券