开启机器学习懒人模式——AutoGluon小试某数据挖掘训练赛

近来在浏览DataCastle竞赛平台时，注意到了上面挂载的一些数据挖掘训练赛题目，因为是定位于训练赛，主要用于帮助初学者快速熟悉和练手机器学习技能，所以赛题难度相对基础，也没有提供实质性的竞赛奖励。

正好，前期个人在调研一些AutoML相关工具，其中较为好用的一个是AutoGluon，源于亚马逊出品，华人大佬李沐参与研发设计，并曾发文感慨“三行代码击败99%数据科学家”，“调得一手好参的时代要过去了”，可谓攒足了噱头。

网络图片

所以，就刚好拿这个训练赛的题目来检验一下AutoGluon的能力。

赛题数据说明：

数据主要包括企业客户样本信息。数据分为训练数据和测试数据，分别保存在train.csv和test_noLabel.csv两个文件中。字段说明如下： （1）ID：编号 （2）Contract：是否有合同 （3）Dependents：是否有家属 （4）DeviceProtection：是否有设备保护 （5）InternetService：是否有互联网服务 （6）MonthlyCharges：月度费用

（7）MultipleLines：是否有多条线路 （8）Partner：是否有配偶 （9）PaymentMethod：付款方式 （10）PhoneService：是否有电话服务 （11）SeniorCitizen：是否为老年人 （12）TVProgram：是否有电视节目 （15）TotalCharges：总费用 （16）gender：用户性别 （17）tenure：任期年数 （18）Churn：用户是否流失

训练集数据样例：

注意到，该数据集不存在缺失问题，但多数特征字段都是类别型，包括分类标签也未转化为0/1。但应用AutoGluon的便利之处就在于，该框架可以自动完成数据预处理、特征工程、模型选择、模型调参、模型交叉验证、模型集成等必要环节，并最终给出最优方案。而且这些操作仅需简单调用sklearn中.fit()和.predict()的API接口风格即可。

下面给出核心代码：

# 调包
from autogluon.tabular import TabularDataset, TabularPredictor
# TabularDataset是一个继承pandas.DataFrame的数据集类
train_data = TabularDataset('train.csv').drop(columns="ID")
test_data = TabularDataset('test_noLabel.csv').drop(columns="ID")
# 自动模型训练
predictor = TabularPredictor(label='Label').fit(train_data=train_data)
# 模型预测
y_pred = predictor.predict(test_data)

当然，想具体了解这个TabularPredictor模型背后实际训练了哪些模型、效果如何以及最优方案，可以简单的调用learnboard()函数，并得到如下结果：

从中可以看出，AutoGluon训练了13个单模型，并完成了一个集成模型，其中集成模型是最优方案。提前指出一个细节：CatBoost在所有单模型中表现最好，仅次于集成模型。

把这个预测结果提交到DataCastle平台，系统评分0.7972，大概能排到30名左右。这是未加任何调试，仅使用了几行傻瓜调包代码的结果，应该说还是不错的。

当然，为了横向对比其他结果，我也尝试了一下另一个AutoML框架TPOT以及三大集成学习工具XGB、LGB和CAB，发现CatBoost效果居然可以硬刚AutoGluon，而且更重要的是CatBoost也支持对类别型特征以及缺失值的处理等，所以也相当于是具有了一定的AutoML能力。此外，我又简单的对几个模型的输出结果做了进一步的融合，并提交到竞赛平台，大概只有一种情况下取得更好的成绩，达到了0.7988，在当前平台上总排名为19，目前平台已提交队伍数约为200，也即这份预测结果大概能占据10%的水平。