我想要比较不同分类器的不同错误率与来自弱学习者的错误率(比随机猜测更好)。所以,我的问题是,对于一个简单、容易处理的弱学习者来说,有哪些选择?或者,我对概念的理解不正确,弱学习者仅仅是我选择的任何基准(例如,线性回归)?
发布于 2013-12-07 16:07:58
比随机猜测更好
这基本上是对弱学习者的唯一要求。只要你能始终如一地击败随机猜测,任何真正的提升算法都将能够提高最终集成的准确性。那么,你应该选择的弱学习者是在3个因素之间进行权衡:
典型的弱学习者是一棵决策树。通过更改树的最大深度,您可以控制所有3个因素。这使得它们在助推方面非常受欢迎。您应该使用什么取决于您的个人问题,但决策树是一个很好的起点。
注意:只要算法支持加权数据实例,任何算法都可以用于boosting。我的大学的一位客座演讲者为他在计算生物学方面的工作推广了5层深度神经网络。
发布于 2013-12-07 07:04:48
弱学习器基本上是每个特征的阈值。一个简单的例子是一种称为decision stump的1级决策树,它应用于打包或提升。它只为一个特征选择一个阈值,并在该阈值上拆分数据(例如,根据petal width确定虹膜花是杂色虹膜还是处女鸢尾)。然后,通过打包或AdaBoost对其进行此特定功能的训练。
https://stackoverflow.com/questions/20435717
复制相似问题