问朴素贝叶斯文档分类器的长度归一化

EN

我试图实现一个朴素的Bayes分类器来对本质上是特征集(而不是袋子)的文档进行分类，也就是说，每个特性都包含一组独特的特性，每个特征最多只能在文档中出现一次。例如，您可以将这些特性视为文档的唯一关键字。

我一直在密切关注et的伦尼。阿尔。http://www.aaai.org/Papers/ICML/2003/ICML03-081.pdf的论文，但我遇到了一个似乎没有得到解决的问题。也就是说，对短文档进行分类，由于文档具有较少的特征，因此产生了更高的后验概率；而对于长文档，则相反。

这是因为后验概率被定义为(忽略分母)：

P(class|document) = P(class) * P(document|class)

它会扩展到

P(class|document) = P(class) * P(feature1|class) * ... * P(featureK|class)

由此可以看出，特征较少的短文档具有较高的后验概率，这仅仅是因为相乘的术语较少。

例如，假设功能"foo“、"bar”和"baz“都出现在积极的培训观察中。然后，具有单一特征"foo“的文档在正类中被分类的后验概率要高于具有特征{"foo”、"bar“、"baz"}的文档。这似乎违反直觉，但我不太确定如何解决这个问题。

是否有某种长度归一化可以完成？一个想法是将文档的大小作为一个特性添加，但这似乎不太正确，因为结果会被培训数据中的文档大小所扭曲。