为什么Spark SQL中的"\\s“和"rlike”不起作用？
Spark SQL中的"\s"和"rlike"不起作用的原因可能有以下几点：
- 数据格式问题：在使用"\s"和"rlike"时，需要确保数据的格式与正则表达式匹配。如果数据中包含特殊字符或格式不正确，可能导致匹配失败。
- 字段类型问题："\s"和"rlike"通常用于字符串类型的字段。如果字段类型不是字符串，而是数值或日期等其他类型，那么这些正则表达式可能无法正常工作。
- 正则表达式语法问题：正则表达式是一种强大的模式匹配工具，但也需要正确的语法和格式。如果正则表达式的语法有误，或者不符合预期的匹配规则，那么"\s"和"rlike"可能无法达到预期的效果。
解决这个问题的方法可以包括：
- 检查数据格式：确保数据的格式与正则表达式匹配。可以使用Spark SQL的内置函数或转换操作来处理数据格式，以便与正则表达式匹配。
- 检查字段类型：确保要匹配的字段类型是字符串类型。如果不是字符串类型，可以使用Spark SQL的类型转换函数将其转换为字符串类型。
- 检查正则表达式语法：仔细检查正则表达式的语法和格式，确保其符合预期的匹配规则。可以使用在线正则表达式测试工具来验证正则表达式的正确性。
- 使用其他匹配方法：如果"\s"和"rlike"仍然不起作用，可以尝试使用其他匹配方法，如"like"、"contains"等。这些方法可能更适合特定的匹配需求。
需要注意的是，以上解决方法是一般性的建议，具体情况可能因实际业务需求和数据特点而异。在实际应用中，需要根据具体情况进行调试和优化。
相关·内容
奇怪的是，"\s“不起作用，如下代码所示：defined class Item
scala> df.toDF("id", "name").as[Item].filter("name rlike'\\<e
浏览 29提问于2018-01-08得票数 0
它在SQL server中可以工作，但在Pysql中似乎不能工作。
有人知道Databricks中的替代方案是什么吗？
浏览 12提问于2021-02-16得票数 0
1回答
B12345|C3333|D33333|E11111||A55555|B12345|C5555|D55555|E11111||A44444|B12345|C4444|D44444|E11111|EEEEE列中仍有一些空值DataFrame，其中的条件似乎不能正常工作。
浏览 2提问于2016-12-02得票数 0
回答已采纳
我想要查找所有匹配特定模式的查询字符串。有些模式以%字符开头。
我想知道spark SQL中的RLIKE是像SQL中的LIKE命令一样，还是计算%字符并简单地尝试将其与列值中的该字符进行匹配？如果在默认情况下，它的行为类似于常规的SQL LIKE命令(关于%字符)-是否有任何配置可以更改以更改此行为？
浏览 9提问于2020-12-28得票数 0
我试图在我的Spark SQL/Dataframe查询中使用RLIKE中的单词边界，但它似乎不起作用。from pyspark.sql.functions import *
.where(expr('location RLIKE "\
浏览 0提问于2018-04-15得票数 3
说明:1说明:2
spark.sql("select case when length(oik)>0 and pop rlike '^[0-9]*$' then
浏览 1提问于2021-08-15得票数 1
回答已采纳
2回答
我正在尝试使用LIKE条件在Spark SQL中实现连接。我正在执行连接的行看起来像这样，名为'revision'：8NXDPVAE[4,8]NXD_V%
在SQL server (A.revision LIKE B.revision)上执行连接很好，但是在Spark SQL中执行同样的操作时，连接不返回行(如果使用内部连接)或表B的空值(如果使用外部连接)。这是我正在运行<e
浏览 0提问于2016-11-07得票数 10
回答已采纳
为什么这部分(~F.col('text').rlike('\bfoo\b')不起作用？更新：
浏览 2提问于2021-03-26得票数 0
回答已采纳
1回答
我希望在列上应用'rlike‘函数，但是，我希望能够输入一个列(这是一个正则表达式字符串)，而不是一个标准的正则表达式字符串。这给了我一个错误：
java.lang.UnsupportedOper
浏览 1提问于2019-07-31得票数 2
回答已采纳
我正在学习apache-spark。令人困惑的是， 此命令有效 results = spark.sql("select * from df_sql_view where name LIKE '%i%'") 但是这会抛出一个错误 results= spark.sql("select * from df_sql_view where name ILIKE '%i%'") Par
浏览 31提问于2021-10-27得票数 0
回答已采纳
1回答
我正在尝试确保dataframe中的特定列不包含任何非法值(非数字数据)。为此，我尝试使用使用rlike的正则表达式匹配来收集数据中的非法值：我需要收集包含字符串字符、空格、逗号或任何其他不像数字的字符的值。我试过了：
spark.sql("select * from tabl where UPC not rlike '[0-9]*'").show
浏览 155提问于2020-02-10得票数 6
回答已采纳
在Spark正式文档中，提到了两种类型的SQL语法: Spark原生SQL语法和Hive QL语法。我找不到他们差别的详细解释。我被以下问题弄糊涂了：
星火本机SQL语法是Hive QL的一个子集吗？我这么问是因为他们在一些文章里这样说。根据星火官方页面中的解释，Spark似乎不支持Hive的所有功能。如果问题1是肯定的，为什么</e
浏览 4提问于2021-01-30得票数 1
回答已采纳
2回答
例如，我有一个dataframe，我想检查一个只包含字母A的列。 该列包含许多字母。看起来是这样的： AAAAAAAAAAAAAAAA 我想检查该列是否只包含字母A，或者包含字母A或B，而不包含其他字母。 你知道我应该使用哪个函数吗？
浏览 28提问于2020-06-19得票数 1
回答已采纳
2回答
使用Spark 2.1.1id Name1 Name2
现在需要根据两个条件来筛选行，即需要过滤掉2和3，因为name具有number的123，而3具有空值df.select("*").filter(df["Name2"].rlike("[0
浏览 6提问于2017-08-23得票数 0
回答已采纳
1回答
我在AWS S3中有一个CSV文件，该文件被加载到AWS，即用于应用来自S3的源数据文件的转换。它提供了PySpark脚本环境。现在的要求是，我需要了解Integer类型的主键列是否包含任何字母数字字符，而不仅仅是使用SQL查询的数值。= glueContext.spark_sessionjob.init(args['JOB_NAME'], args
浏览 2提问于2017-10-16得票数 1
回答已采纳
1回答
我有一个字典(变量pats)，它包含许多when参数:条件和值。from pyspark.sql import functions as F r"^\d$" :"digit",
r"^\p{L}$"
浏览 6提问于2022-07-05得票数 0
回答已采纳
我在Spark 1.6和Spark 2.2中对数据帧应用了一些过滤器，我得到了完全不同的行为。我正在执行的代码是： val df = Seq( (3, 4), (7, 8)df.filter(filter
浏览 12提问于2019-04-29得票数 0
回答已采纳
4回答
火花数据滤光片
、、
4| Mail|| 6| MSL12|| 8| HCP|+---+-------+版本: Spark 1.6.2 Scala : 2.10
浏览 4提问于2017-03-22得票数 19
回答已采纳
我需要查询一个用户表，并找到名称中有双空间的用户。我有多个版本的SQL查询，它们直接针对数据库工作，最简单、更简洁的是：我还可以使用REGEX使它从rails).select {|n| n =~ /\w+\s{2}/ }我只是不明白为什么不起作用
2
浏览 1提问于2016-03-19得票数 3
回答已采纳
3回答
where (primary_product NOT IN ('No Technical Enforcement')我想将相同的查询转换为PySpark SQL，但是我不能这样做，因为我不知道ILIKE的替代品。
浏览 16提问于2022-07-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
