问tf-以色列国防军不同长度的文件

EN

你分析的目的是什么？

如果您的最终目标是比较文档之间的相似性(et相似)，那么您不应该在tfidf计算阶段考虑文档长度。这就是为什么。

tfidf在公共向量空间中表示文档。如果然后计算这些向量之间的余弦相似性，余弦相似度将补偿不同文档长度的影响。其原因是余弦相似性评估向量的方向，而不是它们的大小。我可以用python向您展示这一点:考虑以下(哑)文档

document1 = "apple apple banana"
document2 = "apple apple apple apple banana banana"

documents = (
    document1,
    document2)

这些文件的长度不同，但内容相同。更准确地说，两个文档中术语的相对分布是相同的，但绝对项频率不是。

现在，我们使用tfidf在公共向量空间中表示这些文档：

from sklearn.feature_extraction.text import TfidfVectorizer
tfidf_vectorizer = TfidfVectorizer()
tfidf_matrix = tfidf_vectorizer.fit_transform(documents)

我们使用余弦相似性来评估这些矢量化文档的相似性，只看它们的方向(或方向)，而不考虑它们的大小(即它们的长度)。我正在评估文档一和文档二之间的余弦相似性：

from sklearn.metrics.pairwise import cosine_similarity
cosine_similarity(tfidf_matrix[0], tfidf_matrix[1])

结果为1。记住，当两个向量具有完全相同的方向时，它们之间的余弦相似性等于1，当它们是正交的时等于0，当向量具有相反的方向时等于-1。

在这种情况下，您可以看到余弦相似性不受文档长度的影响，而是捕捉到原始文档中术语的相对分布是相同的事实！如果要将此信息表示为文档之间的“距离”，则只需：

1 - cosine_similarity(tfidf_matrix[0], tfidf_matrix[1])

当文档相似时(不管它们的长度如何)，这个值将趋向于0，而当文档不同时，这个值将趋于1。