问特征选择，是否有可能将包装和嵌入式方法结合起来？

EN

我可以用Lasso作为“包装器”特征选择方法中的估计量吗？

这当然会起作用，但是套索的嵌入式功能选择不太可能在你的例子中真正发挥作用。前向顺序特征选择为每个要添加到所选特征集的候选特征建立模型，从没有特征开始。当你只建立三个特征时，拉索的特征选择会产生影响的唯一方法是，当它确定应该保留少于三个变量时，或者如果它以某种方式决定已经选择的特征之一的系数为零。后者将是非常令人惊讶的，前者只有在数据非常简单的情况下才有意义(只有两个变量对预测有任何重要贡献)。

因此，在这里，拉索很可能只是作为正则化，收缩系数，但很可能没有零位它们中的任何一个。

如何对神经网络进行特征选择？

因为Lasso是一个假设特征独立的线性模型，您可能会妨碍网络查找和使用非线性关系或特征交互的能力。

我怀疑这里没有“正确”的答案(没有免费午餐之类的东西)。不过，这里有一些想法。

1. 不要进行特征选择。依靠神经网络，也许是用重正则化的方法(辍学、L1惩罚，尤其是第一层)来确定什么是重要的。
2. 在包装器内进行超参数调优。这是非常昂贵的计算，但可能是最具表现力的方法，并可能是可行的小网。
3. 修复包装器内的体系结构。您说“每次包装器减少数据集中的特性时，必须重新调整神经网络的隐藏层大小”，但这可能不是问题。通常情况下，如果一个网络的神经元数量超过了它所需要的数量，那么有几个网络可能会学习到几乎相同的特性。(您可以尝试将其转换为(2)的折衷版本，方法是应用一些网络剪枝，而不是完全的超参数调优。)
4. 在包装器中使用另一个模型:一个可以捕获非线性和特征交互的模型，而不是线性模型，比如基于树的模型。这可能仍然不能将重要性归因于网络将获得的特性，但它应该比线性模型更接近。