使用dataframe Scala Spark计算余弦相似度_spark dataframe (scala)中tf idf输出的余弦相似度_在scala中计算余弦相似度 - 腾讯云开发者社区

基础概念

余弦相似度（Cosine Similarity）是一种衡量两个向量之间相似度的方法。它通过计算两个向量的点积除以它们的模长来确定相似度。余弦相似度的值范围在-1到1之间，值越接近1表示两个向量越相似。

类型

余弦相似度主要分为两种类型：

标准余弦相似度：计算两个向量的点积除以它们的模长。
归一化余弦相似度：在标准余弦相似度的基础上，对向量进行归一化处理。

应用场景

文本相似度：用于计算文档或句子之间的相似度。
推荐系统：用于计算用户或物品之间的相似度，进行个性化推荐。
图像识别：用于计算图像特征向量之间的相似度。

计算余弦相似度的步骤

数据准备：将数据转换为DataFrame。
特征提取：将数据转换为向量。
计算余弦相似度：使用Spark MLlib中的cosineSimilarity函数计算相似度。

示例代码

以下是一个使用Scala和Spark计算余弦相似度的示例代码：

import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.ml.linalg.Vector
import org.apache.spark.sql.{SparkSession, DataFrame}

object CosineSimilarityExample {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("Cosine Similarity Example")
      .master("local[*]")
      .getOrCreate()

    import spark.implicits._

    // 创建示例数据
    val data = Seq(
      (1, 1.0, 2.0, 3.0),
      (2, 4.0, 5.0, 6.0),
      (3, 7.0, 8.0, 9.0)
    ).toDF("id", "feature1", "feature2", "feature3")

    // 将数据转换为向量
    val assembler = new VectorAssembler()
      .setInputCols(Array("feature1", "feature2", "feature3"))
      .setOutputCol("features")

    val vectorizedData = assembler.transform(data).select("id", "features")

    // 计算余弦相似度
    val df1 = vectorizedData.filter($"id" === 1).select("features").rdd.map(row => row.getAs[Vector](0)).collect().head
    val df2 = vectorizedData.filter($"id" === 2).select("features").rdd.map(row => row.getAs[Vector](0)).collect().head

    val cosineSimilarity = df1.dot(df2) / (df1.norm(2) * df2.norm(2))
    println(s"Cosine Similarity between id 1 and id 2: $cosineSimilarity")

    spark.stop()
  }
}