问根据正则表达式提取要在RDD.filter中使用的子串
EN

Stack Overflow用户

提问于 2016-08-23 23:56:22

回答 2查看 798关注 0票数 1

我正在尝试过滤掉一个文本文件的行，该文本文件的第二个列值以列表中的单词开头。

我有这样的列表：

val mylist = ["Inter", "Intra"]

如果我有像这样的行：

Cricket Inter-house

Inter在列表中，因此应该通过RDD.filter操作过滤掉该行。我使用以下正则表达式：

`[A-Za-z0-9]+`

我尝试使用"""[A-Za-z0-9]+""".r来提取子字符串，但结果是在一个非空的迭代器中。

我的问题是如何在过滤操作中访问上面的结果？

regex

scala

match

回答 2

Stack Overflow用户

回答已采纳

发布于 2016-08-24 03:18:12

因为"""[A-Za-z0-9]+"""可以匹配任何单词，所以您需要构造像".* Inter.*".r这样的正则表达式。这里有一些工作示例，希望它能有所帮助：

val mylist = List("Inter", "Intra")    
val textRdd = sc.parallelize(List("Cricket Inter-house", "Cricket Int-house", 
                                  "AAA BBB", "Cricket Intra-house"))

// map over my list to dynamically construct regular expressions and check if it is within 
// the text and use reduce to make sure none of the pattern exists in the text, you have to 
// call collect() to see the result or take(5) if you just want to see the first five results.

(textRdd.filter(text => mylist.map(word => !(".* " + word + ".*").r
                       .pattern.matcher(text).matches).reduce(_&&_)).collect())

// res1: Array[String] = Array(Cricket Int-house, AAA BBB)

票数 0

Stack Overflow用户

发布于 2016-08-24 00:50:12

filter将删除传递给filter方法的函数返回true的所有内容。因此，正则表达式并不是您想要的。相反，让我们开发一个函数，该函数接受一行并将其与候选字符串进行比较，如果该行中的第二列以候选字符串开头，则返回true：

val filterFunction: (String, String) => Boolean =
  (row, candidate) => row.split(" ").tail.head.startsWith(candidate)

我们可以说服自己，使用工作表很容易做到这一点：

// Test data
val mylist = List("Inter", "Intra")
val file = List("Cricket Inter-house", "Boom Shakalaka")

filterFunction("Cricket Inter-house", "Inter")  // true
filterFunction("Cricket Inter-house", "Intra")  // false
filterFunction("Boom Shakalaka", "Inter")  // false
filterFunction("Boom Shakalaka", "Intra")  // false

现在剩下的就是在过滤器中使用这个函数了。基本上，对于每一行，我们希望针对候选列表中的每一行测试筛选器。这意味着获取候选列表并“向左折叠”，以根据函数检查其中的每一项。如果任何候选人报告为真，那么我们知道应该从最终结果中过滤掉该行：

val result = file.filter((row: String) => {
  !mylist.foldLeft(false)((x: Boolean, candidate: String) => {
    x || filterFunction(row, candidate)
  })
})

// result: List[String] = List(Boom Shakalaka)