怎样快速判断不好的机器学习算法是高偏差还是高方差？-ML Note 6

本文是吴恩达《机器学习》视频笔记第62篇，对应第6周第4个视频。

“Advice for applying machine learning:——Diagnosing bias vs. variance”

01

—

笔记

当一个算法出现问题时，多数是两种情况：（1）偏差太大；（2）方差太大。即要么欠拟合、要么过拟合。

那，如果在使用机器学习算法时效果不理想，那能够搞明白到底是偏差太大还是方差太大抑或两者都太大那就显得比较重要了。这样就能够有针对性的改进我们的算法了。

本节视频将讨论偏差和方差问题。

偏差/方差

下图所示，从左至右依次是欠拟合、合适、过拟合。

利用上节介绍的交叉验证集。计算训练误差和验证集的误差。我们看看多项式的最高次幂和误差之间的关系曲线是怎样的。

我们知道，针对训练集，训练误差会随着d的增加越来越小（过拟合）。那验证误差怎样呢？当过拟合发生的时候，验证误差就会随着d的增加而增加。如下图中间的图形，蓝色为训练误差，红色为验证误差。坐标的横轴为d、纵轴为误差大小。

高偏差还是高方差？

当你算法未达到预期的时候，到底是出现了高偏差还是高方差呢？

还是来看一下d和误差的关系曲线，如下图。

一般情况下，左侧一端对应的是高偏差、另一边对应的是高方差。也就是说d小的时候欠拟合带来高偏差、d较大的过拟合容易引起高方差。

高偏差（欠拟合）：训练误差会较大，而且训练误差和验证误差会比较接近。

高方差（过拟合）：训练误差会较小，而验证误差就会远大于训练误差。

总结

本节视频只讲了大概，后续的视频还会有更详细介绍。

事很简单，就是对比训练误差和验证误差的大小关系就大致能判断出模型是欠拟合还是过拟合，然后就可以采取对应的措施（例如多项式拟合，就可以通过不断尝试找到合适的d）。

02

—

视频

http://mpvideo.qpic.cn/0b78kyaaiaaaruaefv5nsnpvavwdarlaabaa.f10004.mp4?dis_k=11293198812bc0439b0875f1dbabfb0a&dis_t=1614741451&spec_id=MzAxMDYwMTc4Nw%3D%3D1614741451&vid=wxv_1603887033372966913&format_id=10004