首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

数据专家最常使用的 10 大类 Pandas 函数 ⛵

图解数据分析:从入门到精通系列教程数据科学工具库速查表 | Pandas 速查表 1.读取数据我们经常要从外部源读取数据,基于不同的源数据格式,我们可以使用对应的 read_*功能:read_csv:我们读取...图片 2.写入数据处理完数据后,我们可能会把处理后的DataFrame保存下来,最常用的文件写入函数如下:to_csv: 写入 CSV 文件。 注意:它不保留某些数据类型(例如日期)。...很多情况下我们会将参数索引设置为False,这样就不用额外的列来显示数据文件中的索引。to_excel: 写入 Excel 文件。to_pickle:写入pickle文件。...图片 5.处理重复我们手上的数据集很可能存在重复记录,某些数据意外两次输入到数据源中,清洗数据时删除重复项很重要。...以下函数很常用:duplicated: 识别DataFrame中是否有重复,可以指定使用哪些列来标识重复项。drop_duplicates:从 DataFrame 中删除重复项。

3.6K21
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python csv、xlsx、json、二进制(MP3) 文件读写基本使用

    “流”是一种抽象的概念,也是一种比喻,水流是从—端流向另一端的,而在python中的“水流"就是数据,数据会从一端"流向”另一端,根据流的方向性,我们可以将流分为输入流和输出流,当程序需要从数据源中读入数据的时候就会开启一个输入流...二、文件读写方式 读取方式 描述 r 只读(默认),文件需存在; r+ 可读取也可以写入,文件需存在; rb 表示以二进制方式读取文件,文件需存在; w 只写,打开一个新文件写入,如果该文件存在则会覆盖...; w+ 可读取也可以写入,打开创建新文件并写入数据,如果文件已存在,则覆盖; wb 二进制写入,打开一个新文件写入,如果该文件存在则会覆盖; a 追加写入,文件需存在,在文件内容结尾处继续写入新内容;...a+ 追加写入,文件不存在则会创建一个新文件,在文件内容结尾处继续写入新内容; 三、csv文件读写 1.csv 简介 CSV文件通常使用逗号来分割每个特定数据值(也可用’: ::’,’; ;;'等)...,本文仅仅简单介绍了文件的读写使用,后续有常用的读取操作会在这篇博客中持续更新;

    1.5K20

    值得一看,13个好用到起飞的Python技巧!

    但是为了解决这个问题,我们需要考虑几个限制,比如两个列表的大小,两个列表中项目的类型,以及其中是否有重复的项目,尤其是我们将使用的项目 作为钥匙。...当我们有两个或更多列表时,我们希望将它们全部收集到一个大列表中,其中较小列表的所有第一项构成较大列表中的第一个列表。...当我们这样做时,我们需要确保我没有重复的键,值可以重复,但键不能,并确保所有新键都是可散列的。...检查子串 我之前需要多次执行的一项非常常见的任务是,检查字符串是否在字符串列表中。...检查文件是否存在 在数据科学和许多其他应用程序中,我们经常需要从文件中读取数据或向其中写入数据。但要做到这一点,我们需要检查文件是否存在。因此,我们的代码不会因错误而终止。

    90720

    Mac OS下Jmeter的入门操作

    方式三:将数据写入到本地文件中 此时的场景是这样的,我们需要将登录请求中服务器返回的token获取并写入到本地文件中,供其它接口调用。...(1)创建流程:线程组上右键-->添加-->取样器-->BeanShell取样器; (2)编写脚本; (3)点击启动,查看结果数中执行成功,在文件生成路径会创建对应文件,且数据都写入到文件中;...我们需要拿到一批token来提供需要,这里,我们就需要从文件中读取所需参数了。...(1)我们再创建一个退出登录的线程组,用来测试是否从文件中获取到了token; 首先我们需要右键新的线程组-->添加-->配置元件-->CSV Data Set Config; (2)配置CSV数据文件设置中的参数...,Jmeter默认先去bin目录下查找,然后去脚本目录下查找; 文件编码 默认使用当前操作系统的编码格式,如果文件中包含中文乱码时,可尝试utf-8、gbk等; 变量名称 csv文件中各列的名字(有多列时

    13K84

    如何使用 Python 进行文件读写操作?

    大家好,我是 V 哥。今天的内容来介绍 Python 中进行文件读写操作的方法,这在学习 Python 时是必不可少的技术点,希望可以帮助到正在学习 python的小伙伴。...- `with` 语句:确保文件在使用完毕后自动关闭,避免资源泄漏。- `file.read()`:读取文件的全部内容。- `file.seek(0)`:将文件指针重置到文件开头,以便重新读取。...- `file.readlines()`:将文件内容按行读取,并存储在一个列表中,每一行是列表的一个元素。...- `file.write()`:将指定内容写入文件,不会自动添加换行符,若需要换行,需手动添加 `\n`。...- `writer.writerows(data)`:将数据列表中的每一行写入文件。- `csv.reader(file)`:创建一个 CSV 读取对象,逐行读取文件。

    3210

    多表格文件单元格平均值计算实例解析

    过滤掉值为0的行,将非零值的数据存储到combined_data中。...), index=True)将计算的每天平均值保存为新的CSV文件,index=True表示将索引列也写入CSV文件。...总体来说,这段代码的目的是从指定文件夹中读取符合特定模式的CSV文件,过滤掉值为0的行,计算每天的平均值,并将结果保存为一个新的CSV文件。...以下是主要总结:任务背景: 文章从一个具体的实际场景出发,描述了在日常数据处理工作中可能面临的情境,即需要从多个命名规则相似的表格文件中提取信息进行复杂计算。...实际案例代码: 提供了一个实际案例的代码,展示了如何处理包含多个CSV文件的情况。在这个案例中,代码不仅读取文件并提取关键信息,还进行了一些数据过滤和分组计算,最终将结果保存为新的CSV文件。

    19000

    13 个非常有用的 Python 代码片段,建议收藏!

    ,我们希望将它们合并为字典形式,其中一个列表的项作为字典的键,另一个作为值。...这是在用 Python 编写代码时经常遇到的一个非常常见的问题 但是为了解决这个问题,我们需要考虑几个限制,比如两个列表的大小,两个列表中元素的类型,以及其中是否有重复的元素,尤其是我们将使用的元素作为...else: dict_method_3[key] = value №2:将两个或多个列表合并为一个包含列表的列表 另一个常见的任务是当我们有两个或更多列表时,我们希望将它们全部收集到一个大列表中...,其中较小列表的所有第一项构成较大列表中的第一个列表 例如,如果我们有 4 个列表 [1,2,3], ['a','b','c'], ['h','e','y'] 和 [4,5, 6],我们想为这四个列表创建一个新列表...在数据科学和许多其他应用程序中,我们经常需要从文件中读取数据或向其中写入数据,但要做到这一点,我们需要检查文件是否存在,因此,我们需要确保代码不会因 IO 错误而终止 #Checking if a file

    70340

    独家 | 手把手教你用Python进行Web抓取(附代码)

    在本教程中,我将介绍一个简单的例子,说明如何抓取一个网站,我将从Fast Track上收集2018年百强公司的数据: Fast Track: http://www.fasttrack.co.uk/ 使用网络爬虫将此过程自动化...结果包含在表格中的行中: 重复的行 将通过在Python中使用循环来查找数据并写入文件来保持我们的代码最小化!...循环遍历元素并保存变量 在Python中,将结果附加到一个列表中是很有用的,然后将数据写到一个文件中。...再看一下html,对于这个列,有一个 元素只包含公司名称。此列中还有一个链接指向网站上的另一个页面,其中包含有关该公司的更多详细信息。我们将在稍后使用它!...,在将其写入文件之前检查它是否符合您的预期!

    4.8K20

    13 个非常有用的 Python 代码片段

    1:将两个列表合并成一个字典假设我们在 Python 中有两个列表,我们希望将它们合并为字典形式,其中一个列表的项作为字典的键,另一个作为值。...这是在用 Python 编写代码时经常遇到的一个非常常见的问题但是为了解决这个问题,我们需要考虑几个限制,比如两个列表的大小,两个列表中元素的类型,以及其中是否有重复的元素,尤其是我们将使用的元素作为...else: dict_method_3[key] = value2:将两个或多个列表合并为一个包含列表的列表另一个常见的任务是当我们有两个或更多列表时,我们希望将它们全部收集到一个大列表中...,其中较小列表的所有第一项构成较大列表中的第一个列表例如,如果我们有 4 个列表 1,2,3, 'a','b','c', 'h','e','y' 和 4,5, 6,我们想为这四个列表创建一个新列表;它将是...-8'))str_size(str1)str_size(str2)最后我们来看看输入输出方面的代码片段12:检查文件是否存在在数据科学和许多其他应用程序中,我们经常需要从文件中读取数据或向其中写入数据,

    74930

    使用CSV模块和Pandas在Python中读取和写入CSV文件

    Python CSV模块 Python提供了一个CSV模块来处理CSV文件。要读取/写入数据,您需要遍历CSV行。您需要使用split方法从指定的列获取数据。...要从CSV文件读取数据,必须使用阅读器功能来生成阅读器对象。...使用Pandas读取CSV文件 Pandas是一个开源库,可让您使用Python执行数据操作。熊猫提供了一种创建,操作和删除数据的简便方法。...在仅三行代码中,您将获得与之前相同的结果。熊猫知道CSV的第一行包含列名,它将自动使用它们。 用Pandas写入CSV文件 使用Pandas写入CSV文件就像阅读一样容易。您可以在这里说服。...结论 因此,现在您知道如何使用方法“ csv”以及以CSV格式读取和写入数据。CSV文件易于读取和管理,并且尺寸较小,因此相对较快地进行处理和传输,因此在软件应用程序中得到了广泛使用。

    20.1K20

    Python 自动整理 Excel 表格

    其中“K数据/60”为数据表中的“数据K”/60后保留的2位小数 ---- 我们先看手工 Excel 如何处理以上需求:要在 source.csv 数据表中读取读取每条数据,放入 group.xls...source = pd.read_csv("source.csv") print(source) 我们可以首先对 source.csv 中的数据项进行筛选,需要的数据项有“角色”、“编号”、“数据B”...filter_merge) 接下来是根据分组角色来匹配角色数据,注意到 group.xls 和 source.csv 共有“角色”一项,我们可以通过此项将两个表格融合从而形成匹配填充的效果。...(filter_merge["数据K"]/60,2)) 最终,我们将生成的数据格式写入新的 xlsx 表格中: combine.to_excel(excel_writer="result.xlsx",index...遇到现实中的其他问题如何自学尝试解决? 回答:首先要归纳问题并进行相关搜索,了解相关的知识打基础,最好是多参考几个相关的帖子或者书籍,然后生成自己的代码。

    2.2K10

    Python爬虫:保姆级教你完成数据存储

    打开方式 在上面的示例中,open()方法的第二个参数设置成了w,这样写入文本时都是以写入的方式打开一个文件,如果文件已经存在,就将其覆盖,如果文件不存在,则创建新的文件。...[ ] w:以写入方式打开一个文件。如果该文件已经存在,则将其覆盖。如果该文件不存在,则创建新的文件。 [ ] wb:以二进制写入方式打开一个文件。如果该文件已经存在,则将其覆盖。...如果该文件已经存在,则将其覆盖。如果该文件不存在,则创建新的文件。 [ ] a:以追加方式打开一个文件。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容会被写入到已有内容之后。...如果该文件不存在,则创建新的文件。 [ ] ab:以二进制追加方式打开一个文件。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容会被写入到已有内容之后。...: 首先打开data.csv文件,然后指定打开模式为w(即写入),newline参数为空,否则会出现多出一个空行,获得文件句柄,随后调用csv库的writer()方法初始化写入对象,传入该句柄,然后调用

    2.7K20

    Python数据分析实战之数据获取三大招

    w 打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。 a 打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。...也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。 rb 以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。...如果该文件不存在,创建新文件。 ab 以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。...readline 读取文件中的一行数据,直到到达定义的size字节数上限 内容字符串 readlines 读取文件中的全部数据,直到到达定义的size字节数上限 内容列表,每行数据作为列表中的一个对象..., 必填项, 指要读取的文件名称或字符串, 支持压缩的数据文件, 包括gz和bz格式。

    6.1K20

    Python数据分析实战之数据获取三大招

    w 打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。 a 打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。...也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。 rb 以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。...如果该文件不存在,创建新文件。 ab 以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。...readline 读取文件中的一行数据,直到到达定义的size字节数上限 内容字符串 readlines 读取文件中的全部数据,直到到达定义的size字节数上限 内容列表,每行数据作为列表中的一个对象..., 必填项, 指要读取的文件名称或字符串, 支持压缩的数据文件, 包括gz和bz格式。

    6.6K30

    独家 | 是时候和pd.read_csv(), pd.to_csv()说再见了

    将 PANDAS DATAFRAME 存储到 CSV 所需的时间 目标是从给定的 Pandas DataFrame 生成 CSV 文件。对于 Pandas,我们已经知道df.to_csv()方法。...但是,要从 Dask 和 DataTable 创建 CSV,我们首先需要将给定的 Pandas DataFrame 转换为它们各自的 DataFrame,然后将它们存储在 CSV 中。...出于实验目的,我在 Python 中生成了一个随机数据集,其中包含可变行和三十列——包括字符串、浮点数和整数数据类型。 2....我将下面描述的每个实验重复了五次,以减少随机性并从观察到的结果中得出较公平的结论。我在下一节中报告的数据是五个实验的平均值。 3....Dask 和 DataTable 读取 CSV 文件并生成 Pandas DataFrame 所花费的时间(以秒为单位)。

    1.5K30

    10分钟教你用Python打造学生成绩管理系统

    不存在排名相同的情况。如果这4项指标都相同,emmm应该不会有这么巧的事情。 > 文件保存和读取时,采取CSV格式的数据文件。...不过在添加信息这块,我做了一个约束:添加学生信息时,如果系统中已经存在该学生的学号,则不能重复添加。两种方式都遵循该原则,以保证学号的唯一性。 ?...(f)#创建一个csv的写入器 writer.writerow(STUDENT_LABEL)#写入标签 writer.writerows(all_values) #写入样本数据...,然后再读取列表的数据,保存到文件中,如下: ? 可以看到,由于列表的数据始终是有序的,因此排名与序号是对应的。 2.8 从文件中读取学生信息 从文件读取信息时,遵循的格式和保存的格式是一致的。...与从文件中添加信息不同的是,该功能读取文件中所有的信息添加进一个新的列表,然后丢弃系统原有的列表,使用读取文件生成的新列表。 ?

    4.1K30

    是时候和pd.read_csv(), pd.to_csv()说再见了

    将 PANDAS DATAFRAME 存储到 CSV 所需的时间 目标是从给定的 Pandas DataFrame 生成 CSV 文件。对于 Pandas,我们已经知道df.to_csv()方法。...但是,要从 Dask 和 DataTable 创建 CSV,我们首先需要将给定的 Pandas DataFrame 转换为它们各自的 DataFrame,然后将它们存储在 CSV 中。...出于实验目的,我在 Python 中生成了一个随机数据集,其中包含可变行和三十列——包括字符串、浮点数和整数数据类型。 2....我将下面描述的每个实验重复了五次,以减少随机性并从观察到的结果中得出较公平的结论。我在下一节中报告的数据是五个实验的平均值。 3....Dask 和 DataTable 读取 CSV 文件并生成 Pandas DataFrame 所花费的时间(以秒为单位)。

    1.1K20

    玩转Pandas,让数据处理更easy系列3

    ,可以是网络 html 爬虫到数据,可以从excel, csv文件读入的,可以是Json的数据,可以从sql库中读入,pandas提供了很方便的读入这些文件的API,以读入excel,csv文件为例:...03 DataFrame实例写入到excel和csv文件中 处理读取,当然还有写入,写入API也很简单,准备好了要写入的DataFrame实例后, #写入excel文件 pd_data.to_excel...('test.xls') #读入csv文件 pd_data.to_csv('test.csv') 构造一个pd_data, 然后写入到excel文件中, pd_data = pd.DataFrame...保存到excel或csv文件中,最经常出现的一个问题: 某些中文字符出现乱码。解决措施,to_csv方法的参数:encoding 设置为'utf_8_sig'. 这种方法应该是比较简洁的解决办法。...分享一个面试题,记得当年我面试时,二面的面试官直接问题pd_data.iterrows()返回的对象是什么类型,不知道大家能说的上来吗。

    1.5K10

    Python学习笔记:输入与输出

    图2 可以使用input函数要求用户从终端输入值,其格式为x = input(),其中x是一个字符串对象,包含用户输入到终端的文本。例如: ?...mode:想要对文件执行的操作,选项如下:“r”——读取文件,默认设置;“w”——写入文件,如果不存在则创建文件,如果存在则删除;“a”——写入到文件末尾,如果不存在则创建文件;“r+”——读取和写入文件...可以使用reader函数来读取数据,其格式为: [object]= csv.reader([openobj], delimiter=[delimiter], …) 其中: [object]是一个新的csv.reader...下面的代码读取sample.csv文件: ? 图14 下面使用csv模块向文件中写入字符串。 编写一个列表,其元素包含要用作行的列表,每个列表包含要用作列的字符串列表,可以轻松使用writer函数。...下面的代码从sample.csv中读取数据,然后将数据写入新的文件sample2.csv: ? 图15 示例 下面的代码计算每名学生的总分,并更新文件: ? 图16

    2.2K10
    领券