Python计算两个文件目录的余弦相似度

是一个常见的文本相似度计算问题。余弦相似度是衡量两个向量之间的夹角的一种方法，用于比较两个文本的相似程度。

在计算两个文件目录的余弦相似度时，可以按照以下步骤进行：

遍历两个文件目录，获取目录中的所有文件路径。
对于每个文件，读取文件内容，并进行文本预处理。可以使用Python的字符串处理函数、正则表达式等方法进行去除标点符号、转换为小写字母等操作。
将每个文件的内容表示为向量。可以使用词袋模型或TF-IDF等方法将文本转换为向量表示。这里可以使用Python的nltk或sklearn等库来实现。
计算两个文件的向量之间的余弦相似度。可以使用Python的numpy库提供的函数来计算余弦相似度。

以下是一个示例代码：

import os
import re
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.metrics.pairwise import cosine_similarity

def preprocess_text(text):
    # 去除标点符号
    text = re.sub(r'[^\w\s]', '', text)
    # 转换为小写字母
    text = text.lower()
    return text

def calculate_cosine_similarity(dir1, dir2):
    files1 = [os.path.join(dir1, f) for f in os.listdir(dir1) if os.path.isfile(os.path.join(dir1, f))]
    files2 = [os.path.join(dir2, f) for f in os.listdir(dir2) if os.path.isfile(os.path.join(dir2, f))]

    corpus = []
    for file in files1 + files2:
        with open(file, 'r') as f:
            text = f.read()
            text = preprocess_text(text)
            corpus.append(text)

    vectorizer = CountVectorizer()
    X = vectorizer.fit_transform(corpus).toarray()

    similarity = cosine_similarity(X[:-len(files2)], X[-len(files2):])
    return similarity

dir1 = '/path/to/dir1'
dir2 = '/path/to/dir2'
similarity = calculate_cosine_similarity(dir1, dir2)
print('余弦相似度:', similarity)

在上述代码中，我们首先遍历两个文件目录，获取目录中的所有文件路径。然后使用preprocess_text函数对每个文件的内容进行预处理，去除标点符号并转换为小写字母。接下来，将所有文件的内容表示为向量，使用CountVectorizer将文本转换为向量表示。最后，使用cosine_similarity计算两个文件的向量之间的余弦相似度。

这里推荐腾讯云的文本分析（NLP）服务，可以使用腾讯云的自然语言处理（NLP）相关产品进行文本预处理、文本向量化和相似度计算。具体产品和产品介绍链接如下：