如何利用机器学习进行海量数据挖掘

互联网的海量数据不可能靠人工一个个处理，只能依靠计算机批量处理。最初的做法是人为设定好一些规则，由机器来执行。但特征一多规则就很难制定，即使定下了规则也没法根据实际情况灵活变化。机器学习可以很好的解决以上问题，从一定程度上赋予了计算机以“学习”的能力，使得千人千面成为可能。

大数据时代里，互联网用户每天都会直接或间接使用到大数据技术的成果，直接面向用户的比如搜索引擎的排序结果，间接影响用户的比如网络游戏的流失用户预测、支付平台的欺诈交易监测等等。机器学习是大数据挖掘的一大基础，本文以机器学习为切入点，将笔者在 大 数据 技术实践时的一些经验与大家分享。

互联网的海量数据不可能靠人工一个个处理，只能依靠计算机批量处理。最初的做法是人为设定好一些规则，由机器来执行。比如明确指定计算机给男性、 30岁的用户推送汽车广告。很明显如此粗略的规则不会有好效果，因为对人群的定位不够精确。要提高精度必须增加对用户的特征描述。但特征一多规则就很难制定，即使定下了规则也没法根据实际情况灵活变化。机器学习可以很好的解决以上问题，从一定程度上赋予了计算机以“学习”的能力，使得千人千面成为可能。

有监督机器学习技术

机器学习以统计学为理论基础，利用算法让机器具有类似人类一般的自动“学习”能力，即对已知的训练数据做统计分析从而获得规律，再运用规律对未知数据做预测分析。机器学习主要包含四大类别： 有监督学习，无监督学习，半监督学习和增强学习。

有监督学习，顾名思义，是在“人类监督”下学习，要求训练数据既有特征也有目标，目标是人为设定好的。以文本分类为例，一篇文章的字、词、句、段是其特征(文本的内容是什么)，文章的类别(时事、科技、娱乐等等)就是目标。训练集文章的类别是人为设定的，相当于明确告诉机器什么样的内容该属于什么类别，机器在此基础上总结规律。无监督学习就是数据只有特征没有目标，最常见的算法是聚类。聚类算法会把相似的样本聚集成一个子集，优点是数据无需人工标注，但缺点也很明显——无法给出子集的实际含义。半监督学习介于有监督学习和无监督学习之间，其训练集数据有一小部分是人工标注过的。增强学习强调基于环境而行动，在探索未知领域和遵从现有只是之间寻求平衡。

有监督学习的研究起步较早，方法比较成熟。在大多数应用场景中，我们希望机器输出的结果具有实际含义，比如文本分类就是让机器告诉我们一篇文章是时事还是科技类文章。这样的场景下有监督学习也更为适用。有监督学习主要包含回归分析和统计分类两大类算法。

回归分析——预估点击率的利器

回归分析建模的是自变量和因变量之间的相关关系(如图2所示)，在机器学习领域，自变量是样本的特征向量，因变量是预测值。回归分析最经典的应用场景是广告点击率(CTR)预估。简单而言，CTR预估是根据用户数据和广告数据，估计用户点击某个广告的可能性大小。我们假设用户数据+广告数据和广告点击率之间的关系符合某个分布，使用回归分析方法在已有点击数据上拟合出该分布。达观科技在线上预测时就把用户数据和广告数据作为输出传给拟合出的分布，得到用户点击该广告的概率值。

统计分类——被广泛应用的机器学习方法

统计分类要解决的问题是，如何将一个样本点分到类别集合中的一个或多个类，比如图3所表示的就是将数据分为3个类。

现实场景中我们往往需要把数据分成不同的类别，以方便我们分析和使用，因而统计分类方法具有广阔的应用范围。达观数据团队开发的用户建模、内容审核系统、反作弊系统等都使用到了统计分类模型。比如反作弊系统，目的是区分用户行为是否作弊，抽象出来就是个分类问题：输入是用户的各种行为数据经过处理后得到的特征，输出只有两个类别——“作弊”和“非作弊”。接下来我就简单介绍一下最具代表性的分类算法——支持向量机(Support Vector Machine， SVM)，一窥机器学习的工作原理。SVM绝不是入门级的机器学习算法，选择介绍它是因为，机器学习需要解决的数据线性不可分、过拟合等问题，SVM都给出了比较可靠的解决方案，借此我们也可以对机器学习有个大概的认识。

理想情况下SVM的理论模型

SVM针对分类问题的前提假设直观易懂，由此推演出的模型求解过程也是顺理成章一气呵成。我们通常先从最简单的情况入手，假设数据是线性可分的。 SVM认为此时的最优分类面，是使得样本集到分类面的最小几何距离最大化的超平面，这个距离成为“间隔(margin)”。如图4所示，黑色实线就是最优分类面，两边两条虚线之间的几何距离就是此时的最优间隔。数据点离分类面越远，分类的置信度也越高。

SVM假设线性分类面的函数形式为

鉴于篇幅关系，我们略去推导过程。在最大化间隔的假设下，可以得到SVM的原目标函数为：

其中表示第i个样本的特征向量，是第i个样本的类标签，SVM令。由约束条件可知，样本点必然落在最优间隔的边缘(图4中虚线)上或外面，通过推导分析最终可以知道，只有落在间隔边缘上的少量数据点决定了分类面，这些样本被称为支持向量，而其他的点没有任何作用。这一特性大大节省了求解SVM的计算量。

线性不可分情况的处理

按照达观数据的经验，真实环境的问题往往是线性不可分的，数据采集的时候也不可避免的会引入噪声。应对这两种情况只需对原始SVM模型做有限的一点改进。针对数据线性不可分的情况，SVM通过引入核函数(Kernel Function)将数据映射到高维空间来解决，图5直观的表示了映射的过程。核函数实际上是两个数据点在高维空间中的内积。它先在原空间进行计算再将结果映射到高维空间，避免了先把数据点映射到高维空间再计算所可能导致的维数灾难问题。核函数可以从容的处理包括无限维在内的任何特征空间映射。

SVM如何规避过拟合

过拟合(Overfitting)表现为在训练数据上模型的预测错误很低，在未知数据上预测错误却很高。图6的蓝色曲线代表训练错误，红色曲线代表真实错误，可以看到随着模型复杂度的升高，模型对训练数据的拟合程度越好(训练错误越低)，但到了一定程度之后真实错误反而上升，即为过拟合。

过拟合主要源于我们采集的训练样本带有噪声，有部分样本严重偏离其正常位置，统计学上称之为outlier。前面已经提到，决定SVM最优分类面的只是占少数的支持向量，如果碰巧这些支持向量中存在outlier，而我们又要求SVM尽可能完美的去拟合这样的数据，得到的分类面可能就会有问题。如图7所示，黑色加粗虚线代表最优分类面，带黑圈的蓝色数据点代表outlier。可以看到outlier严重偏离了正常蓝色数据点的位置，所在位置又恰巧使其成为了支持向量，导致了最终的分类面(深红色实线)严重偏离最优分类面。