偏差（bias）方差（variance）平衡

偏差和方差的区别是一个经常在面试中被问到的问题，其区别可以用一下的图片来表示：

导致偏差的可能原因： 对问题本身的假设不正确：比如说对非线性数据使用线性回归，存在欠拟合现象。

导致高方差的可能原因： 数据的一点点扰动都可能会较大的影响模型，通常是由于模型太复杂引起：比如高阶多项式回归。也就是说存在过拟合现象，在训练数据表现很好，但是测试数据中表现很差。

通常两者是矛盾的，降低偏差就会提高方差，降低方差就会提高偏差。 在机器学习中的主要挑战，主要来自于方差。

关于泛化误差、偏差、方差和模型复杂度的关系如图所示（图片来自于百面机器学习）：

一般来说降低高方差的几种方法：

1). 降低模型复杂度； 2). 降噪； 3). 增加样本数； 4). 模型正则化等等。