机器学习库：pandas
机器学习库：pandas
写在开头
在机器学习中，我们除了关注模型的性能外，数据处理更是必不可少，本文将介绍一个重要的数据处理库pandas，将随着我的学习过程不断增加内容
基本数据格式
pandas提供了两种数据类型：Series和DataFrame，在机器学习中主要使用DataFrame，我们也重点介绍这个
DataFrame
dataframe是一个二维的数据结构，常用来处理表格数据
使用代码
import pandas as pd
a = {"a": [1, 3, 5, 3], "b": [3, 4, 2, 1]}
p = pd.DataFrame(a, index=None)
print(p)
dataframe是一个二维表格，包含行与列的信息
数据选取
iloc
我觉得pandas里面选取数据的一个很通用的方法是iloc
pd.iloc[行序号, 列序号]iloc的参数用逗号隔开，前面是行序号，后面是列序号
import pandas as pd
a = {"a": [1, 3, 5, 3], "b": [3, 4, 2, 1]}
p = pd.DataFrame(a, index=None)
print(p)
print("iloc示例：")
print(p.iloc[0, 0])
print(p.iloc[2, 0])
iloc也支持切片操作
import pandas as pd
a = {"a": [1, 3, 5, 3], "b": [3, 4, 2, 1]}
p = pd.DataFrame(a, index=None)
print(p)
print("iloc切片：")
print(p.iloc[0:4, 0])这会打印第一列的0到3行
数据描述
head
head可以查看指定前几行的值，这方便在处理一些大数据集时，我们可以只加载几列来了解数据集而不必加载整个数据集
import pandas as pd
a = {"a": [1, 3, 5, 3], "b": [3, 4, 2, 1]}
p = pd.DataFrame(a, index=None)
print(p.head(2))我们这里指定显示前2行，不指定默认值是前5行
describe
describe方法可以描述表格所有列的数字特征，中位数，平均值等
import pandas as pd
a = {"a": [1, 3, 5, 3], "b": [3, 4, 2, 1]}
p = pd.DataFrame(a, index=None)
print(p.describe())
不会处理字符串值哦
数值统计函数value_counts
当我们有一个年龄列表，我们想知道不同年龄的数量分别有多少，这时就可以使用value_counts函数了，它可以统计某一列的值的数量
import pandas as pd
df = pd.DataFrame({'name': ['a', 'b', 'c', 'd', 'e'],
'age': [17, 15, 15, 15, 17]})
print(df["age"].value_counts())
数据合并
设想一下，我们有一个员工姓名和工号的表格，我们还有一个员工姓名和性别的表格，我们想把这两个表通过员工姓名合在一起，怎么实现呢
表合并函数merge
merge函数可以指定以某一列来合并表格
import pandas as pd
# 创建两个示例 DataFrame
df1 = pd.DataFrame({'name': ['A', 'B', 'C', 'D'],
'number': [12335, 23212, 33432, 44678]})
df2 = pd.DataFrame({'name': ['A', 'B', 'C', 'D'],
'sex': ['F', 'F', 'M', 'F']})
# 使用 merge 合并两个 DataFrame
merged_df = pd.merge(df1, df2, on='name')
print(merged_df)on='name'指定函数以name这一列来合并表格
分组函数groupby
想象一个场景，一个表中每行记录了某个员工某日的工作时长，如下
import pandas as pd
df = pd.DataFrame({'str': ['a', 'a', 'b', 'b', 'a'],
'每日工作时长': [1, 2, 3, 4, 5]})
print(df)
当我们想要统计员工a的总时长该怎么办呢，我们要把a和b先分组，这就是groupby函数的作用
groupby函数的参数是决定根据哪一列来进行分组的
import pandas as pd
df = pd.DataFrame({'str': ['a', 'a', 'b', 'b', 'a'],
'每日工作时长': [1, 2, 3, 4, 5]})
print(df.groupby("str"))
print(list(df.groupby("str")))如上图所示，groupby函数返回的是一个分组对象，我们使用list函数把它转化成列表然后打印出来，可以看到成功分组了，我们接下来会讲解如何使用聚合函数求和
聚合函数agg
在上面的例子中我们已经分好了组，接下来我们使用agg函数来进行求和，agg函数接收的参数是一个函数，然后对调用方法的对象执行这个函数
import pandas as pd
df = pd.DataFrame({'str': ['a', 'a', 'b', 'b', 'a'],
'工作时长': [1, 2, 3, 4, 5]})
print(df.groupby("str").agg(sum))我们这里给agg函数传入了求和函数，可以看到求出了两个员工的总工作时长
数据删除
在机器学习竞赛时，有时我们想删除一些无用特征，怎么实现删除无用特征的列呢？
drop
以上一节的员工表格为例，增添以下代码
merged_df = merged_df.drop(columns="number")
print(merged_df)
可以看到number列被删除了
drop删除多列
要想删除多列，仅需要将列的名字放在一个列表里
merged_df = merged_df.drop(columns=["number", "sex"])
print(merged_df)
注意：在使用drop时，如果只写df.drop()是没有用的，你必须像上面两个例子一样，将drop后的df表格赋值给原来的表格。
处理缺失值
查找缺失值
isnull可以查找是否有缺失值，配合sum函数可以统计每一列缺失值的数量
import pandas as pd
a = {"a": [1, 3, np.NAN, 3], "b": [3, 4, 2, 1]}
p = pd.DataFrame(a, index=None)
print(p.isnull().sum())
填充缺失值
因为有些机器学习模型无法处理缺失值，我们必须将缺失值补充好，可以用0填充，也可以用平均值填充，代码如下
# 0填充
print(p.fillna(0))
# 平均值填充
print(p.fillna(p["a"].mean()))
腾讯云开发者
