Data Whale 吃瓜日记 西瓜书第六章

基础概念

• 划分超平面 在样本空间中能够将不同类别样本划分开的超平面

划分超平面 公式

• 支持向量（support vector） 距离划分超平面最近的几个训练样本点
• 间隔（margin） 异类支持向量到超平面的距离之和

间隔 公式

支持向量与间隔

• 对偶问题（dual problem） 还是不太清楚对偶问题是什么……后续继续查资料
• 核函数（kernel function） 当原始样本空间不存在划分超平面时，将样本空间升到更高维即可找到划分超空间，但在更高维空间运算更加困难，引入核函数使得无需直接在高维进行内积等运算

核函数 公式

• 软间隔（soft margin） 允许某些样本没有被划分超平面正确划分
• 替代损失函数（surrogate loss） 替代原有损失函数的函数

三种常见替代损失函数

重要结论

• 定理一

定理一

• 软间隔支持向量机的最终模型仅与支持向量有关
• 定理二

定理二

总结

看到拉格朗日乘子法、对偶问题、KKT条件等概念时有点头大，但最终还是坚持看完了这一章，打算后面再去仔细了解这些概念，十天后再重新将前面六章看一遍，力求搞定大部分数学公式，数学果然是我的死敌……