问连续值特征的特征选择算法POE1ACC

EN

您描述的算法是一种特征选择算法，类似于前向选择技术。在每一步中，我们都会发现一个新的特性Fi，它将这个标准最小化：

weight_1 * ErrorProbability(Fi) + weight_2 * Acc(Fi)

ACC( Fi )表示特征Fi与已选择的其他特征之间的平均相关性。您希望最小化这一点，以使您的所有功能不相关，从而有一个良好的条件问题。

ErrorProbability(Fi)表示如果功能正确地描述了要预测的变量。例如，假设您想预测明天是否会下雨取决于温度(连续特性)。

Bayes错误率为(率)：

P = Sum_Ci { Integral_xeHi { P(x|Ci)*P(Ci) } }

在我们的例子中

• 词属于{多雨；不属于雨}
• X是温度的例子
• Hi代表所有的温度，这将导致一个Ci预测。

有趣的是，你可以使用任何你喜欢的预测器。

现在，假设一个向量中有所有温度，而另一个矢量中所有状态都有雨/不下雨：

为了获得P(X_Rainy)，请考虑以下值：

temperaturesWhenRainy <- temperatures[which(state=='rainy')]

接下来要做的是绘制这些值的直方图。那你应该试着在上面装个分布。你将得到P(x=Rainy)的参数公式。

如果您的分布是高斯的，您可以简单地这样做：

m <- mean(temperaturesWhenRainy)
s <- sd(temperaturesWhenRainy)

给定一些x值，你就有了P(x=Rainy)的概率密度：

p <- dnorm(x, mean = m, sd = s)

你也可以对P做同样的处理(x--不是Rainy)。然后P(Rainy)和P(非Rainy)易于计算。

一旦获得了所有这些信息，就可以使用Bayes错误率公式，该公式为连续特性生成ErrorProbability。

干杯