数据分析利器--Pandas

1、前言

pandas是python数据分析中一个很重要的包；

在学习过程中我们需要预备的知识点有：DataFrame、Series、NumPy、NaN/None；

2、预备知识点详解

• NumPy详解：标准安装的Python中用列表(list)保存一组值，可以用来当作数组使用，不过由于列表的元素可以是任何对象，因此列表中所保存的是对象的指针。这样为了保存一个简单的1,2,3，需要有3个指针和三个整数对象。对于数值运算来说这种结构显然比较浪费内存和CPU计算时间。NumPy的诞生弥补了这些不足，NumPy提供了两种基本的对象：ndarray（N-dimensional array object）和 ufunc（universal function object）。ndarray是存储单一数据类型的多维数组，而ufunc则是能够对数组进行处理的函数。（参考：Python 科学计算 – Numpy）
• Series： Series是一个一维的类似的数组对象，包含一个数组的数据（任何NumPy的数据类型）和一个与数组关联的数据标签，被叫做 索引。（参考：Series与DataFrame）
• DataFrame：一个Datarame表示一个表格，类似电子表格的数据结构，包含一个经过排序的列表集，它们每一个都可以有不同的类型值（数字，字符串，布尔等等）。Datarame有行和列的索引；它可以被看作是一个Series的字典（每个Series共享一个索引）。与其它你以前使用过的（如R 的 data.frame)类似Datarame的结构相比，在DataFrame里的面向行和面向列的操作大致是对称的。在底层，数据是作为一个或多个二维数组存储的，而不是列表，字典，或其它一维的数组集合。因为DataFrame在内部把数据存储为一个二维数组的格式，因此你可以采用分层索引以表格格式来表示高维的数据。（参考：Series与DataFrame）
• NaN/None： python原生的None和pandas, numpy中的numpy.NaN尽管在功能上都是用来标示空缺数据。但它们的行为在很多场景下确有一些相当大的差异。（参考：NaN 和None 的详细比较）

3、pandas详解

3.1 简介：

pandas是一个Python语言的软件包，在我们使用Python语言进行机器学习编程的时候，这是一个非常常用的基础编程库。pandas提供了快速，灵活和富有表现力的数据结构，目的是使“关系”或“标记”数据的工作既简单又直观。它旨在成为在Python中进行实际数据分析的高级构建块。

3.2 pandas的安装：

pip install pandas

3.3 核心数据结构

pandas最核心的就是Series和DataFrame两个数据结构。

DataFrame可以看做是Series的容器，即：一个DataFrame中可以包含若干个Series。更详细的解释参考：Series与DataFrame

3.4 读取CSV文件

data = pd.read_csv("fileName.csv")

read_csv()中可以用的参数：

3.5处理无效值

这里需要掌握三个函数：

pandas.isna()： 判断哪些值是无效的

pandas.DataFrame.dropna()： 抛弃无效值

pandas.DataFrame.fillna()： 将无效值替换成为有效值

具体用法参照：处理无效值

4、Pandas常用函数

5、Pandas常用知识点

5.1 Dataframe写入到csv文件

df.to_csv('D:\\a.csv', sep=',', header=True, index=True)

第一个参数是说把dataframe写入到D盘下的a.csv文件中，参数sep表示字段之间用’,’分隔，header表示是否需要头部，index表示是否需要行号。

5.2 Dataframe写入到数据库中

df.to_sql('tableName', con=dbcon, flavor='mysql')

第一个参数是要写入表的名字，第二参数是sqlarchmy的数据库链接对象，第三个参数表示数据库的类型，“mysql”表示数据库的类型为mysql。