SVM训练误差可能为0吗？

Question1|为什么需要对数值类型的特征做归一化？

Question2|在对数据进行预处理时，应该怎样处理类别型特征？

Question3|Word2Vec是如何工作的？它和LDA有什么区别与联系？

Question4：是否存在一组参数使高斯核训练的SVM训练误差为0？

根据SVM的原理，我们可以将SVM的预测公式可写为

其中

为训练样本，而{α1,...,αm,b}以及高斯核参数γ为训练样本的参数。由于不存在两个点在同一位置，因此对于任意的i≠j，有

。我们可以对任意i，固定αi=1以及b=0，只保留参数γ，则有

将任意x(j)代入则有

又

，取

，可将上式重写为

所以，对于任意x(j)，预测结果

与样本真实标签y(j)的距离小于1。注意

到，y(j)∈{1,−1}，当训练样本为正例，即

=1时，预测结果

>0，样本被预测为正例；而当训练样本为负例，即

=-1时，预测结果

<0，样本被预测为负例。因此所有样本的类别都被正确预测，训练误差为0。

参考：《百面机器学习》3.2