Spark计数包含特定单词的行数

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {
    // 创建SparkConf对象
    val conf = new SparkConf().setAppName("WordCount").setMaster("local")
    // 创建SparkContext对象
    val sc = new SparkContext(conf)
    
    // 读取文本文件并转换为RDD
    val lines = sc.textFile("path/to/textfile.txt")
    
    // 过滤出包含特定单词的行
    val filteredLines = lines.filter(line => line.contains("特定单词"))
    
    // 统计过滤后的行数
    val count = filteredLines.count()
    
    // 输出结果
    println(s"包含特定单词的行数为：$count")
    
    // 关闭SparkContext对象
    sc.stop()
  }
}