在Spark SQL中使用ARRAY_CONTAINS匹配多个值
在Spark SQL中，ARRAY_CONTAINS函数用于匹配数组中是否包含指定的值。它接受两个参数：数组和要匹配的值。如果数组中包含该值，则返回true；否则返回false。
ARRAY_CONTAINS函数在处理结构化数据时非常有用，特别是在需要筛选包含特定元素的数组字段时。它可以用于各种场景，例如：
- 数据分析：在分析用户行为数据时，可以使用ARRAY_CONTAINS函数来筛选包含特定事件类型的事件数组。
- 日志分析：在分析日志数据时，可以使用ARRAY_CONTAINS函数来筛选包含特定关键字的日志条目。
- 推荐系统：在构建推荐系统时，可以使用ARRAY_CONTAINS函数来筛选包含用户喜好标签的商品数组。
腾讯云提供了一系列适用于Spark SQL的云原生产品，可以帮助用户高效地处理和分析大规模数据。以下是一些相关产品和其介绍链接：
- 腾讯云数据仓库（TencentDB for TDSQL）：提供高性能、高可用的云原生数据库服务，支持Spark SQL等多种数据分析引擎。详情请参考：腾讯云数据仓库产品介绍
- 腾讯云数据湖分析（TencentDB for DLB）：提供PB级数据存储和分析服务，支持Spark SQL等多种数据处理工具。详情请参考：腾讯云数据湖分析产品介绍
- 腾讯云弹性MapReduce（EMR）：提供大数据处理和分析的云原生解决方案，支持Spark SQL等多种计算框架。详情请参考：腾讯云弹性MapReduce产品介绍
请注意，以上产品仅为示例，实际选择应根据具体需求和场景进行评估。
相关·内容
3回答
我有以下DataFrame：
name,email,phone,country
------------------------------------------------
[Mike,mike@example.com,+91-9999999999,Italy]
[Alex,alex@example.com,+91-9999999998,France]
[John,john@example.com,+1-1111111111,United States]
[Donald,donald@example.com,+1-2222222222,United States]
[Dan,dan@exa
浏览 0提问于2018-11-09得票数 1
回答已采纳
2回答
我的架构：
|-- Canonical_URL: string (nullable = true)
|-- Certifications: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- Certification_Authority: string (nullable = true)
| | |-- End: string (nullable = true)
| | |-- License: string (nullable = true
浏览 0提问于2016-03-15得票数 16
回答已采纳
1回答
我有一个编写的pyspark代码，它读取三个JSON文件并将JSON文件转换为DataFrames，而DataFrames被转换为执行SQL查询的表。
import pyspark.sql
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark.sql import *
from pyspark.sql import Row
import json
from pyspark.sql.types import StructTyp
浏览 6提问于2017-11-15得票数 0
回答已采纳
在AWS Glue Spark 2.2.1环境中将一些更改部署到Spark查询后，我开始看到以下错误：
org.apache.spark.SparkException:由于阶段失败而中止的作业:164个任务(1031.4 MB)的序列化结果的总大小大于spark.driver.maxResultSize (1024.0 MB)
我尝试用set("spark.sql.autoBroadcastJoinThreshold“、"-1")禁用广播连接并增加maxResultSize，这会导致其他错误，但是问题一直持续到我替换了下面的联接为止。
X left outer
浏览 2提问于2019-01-27得票数 0
我在table上有一个SQL表，其中一个列arr是一个整数数组。如何将表筛选为arr下的数组包含整数值的行？(例如，如果我搜索1，则应包括数组1、2、3和1,4，但3,4不应包括在内)。
我在Databricks上使用Spark，不能访问任何函数或函数成员。
浏览 1提问于2017-10-18得票数 2
回答已采纳
1回答
我对apache和编写通过json文件解析的应用程序非常陌生。json文件中的一个属性是字符串数组。我希望运行一个查询，如果数组属性不包含字符串"None“，则该查询将选择行。我在array_contains包中找到了一些使用org.apache.spark.sql.functions方法的解决方案。然而，当我试图构建我的应用程序时，我得到以下无法找到符号错误的信息：
我正在使用ApacheSpark2.0和maven来构建我的项目。我试图编译的代码：
import java.util.List;
import scala.Tuple2;
import org.apach
浏览 7提问于2017-04-20得票数 1
回答已采纳
1回答
我正在使用带有elasticsearch的apache spark 1.5数据帧，我试图从包含id列表(数组)的列中过滤id。
例如，elasticsearch列的映射如下所示：
{
"people":{
"properties":{
"artist":{
"properties":{
"id":{
浏览 0提问于2016-02-25得票数 2
回答已采纳
我有一个问题，我想检查一个字符串数组是否包含在另一列中。我目前正在使用下面的代码，这是一个错误。
.withColumn("is_designer_present", when(array_contains(col("list_of_designers"),$"dept_resp"),1).otherwise(0))
错误：
java.lang.RuntimeException: Unsupported literal type class org.apache.spark.sql.ColumnName dept_resp
at org.ap
浏览 0提问于2018-01-25得票数 4
回答已采纳
我有两个数据帧，第一个数据帧包含实际数据(从CSV文件读取)，第二个数据帧包含一个具有多个关键字的列。即下面的Dataframe-1外观相似(我们必须搜索的地方)：
数据帧-2：
我想要的输出：
我在这里使用spark scala。我想要一个与dataframe-1中的dataframe-2完全匹配的单词。我使用了like、rlike、contains等函数，但它没有给出我想要的输出。有人知道如何在spark scala SQL中或使用dataframe的spark scala函数来开发此逻辑吗？请帮我弄一下这个。
浏览 1提问于2021-02-12得票数 0
例如，假设我在Cosmos document中有一个文档，如下所示：
{
"somename" : "myname"
"data": {
"meta": {
"versionId": "1",
"lastUpdated": "somedate",
"myStringArray": [
"OneString",
"Anoth
浏览 1提问于2018-09-07得票数 2
1回答
我正试图找到一种基于一列的值进行筛选的方法，以便在另一列中进行搜索。如果在一列中有一个值，则需要验证该值是否也在另一列的数组中。
我尝试了以下几点：
df = sc.parallelize([('v1', ['v1','v2','v3']),('v4' ['v1','v2','v4'])]).toDF()
df.filter(pyspark.sql.functions.array_contains(df._2, df._1)).show()
Traceback (mo
浏览 1提问于2017-08-03得票数 0
回答已采纳
我对cosmos db很陌生，我试图编写一个查询，以检查项目中的一个属性的值在文档中的其他项中是否相同/重复。
样本JSON结构
{
"id": "1",
"resetPassword": [
{
"oneTimeCode": "hug3jh",
"type": "code"
}
],
"expirationDateTime": 1651234557057,
浏览 4提问于2022-07-08得票数 0
2回答
使用Spark1.5和Scala2.10.6
我试图通过一个字段“标记”来过滤数据，这是一个字符串数组。查找所有具有“私有”标记的行。
val report = df.select("*")
.where(df("tags").contains("private"))
得到：
由于数据类型不匹配导致线程“主”org.apache.spark.sql.AnalysisException:无法解析‘Contains(标记，私有)’中的异常:参数1需要字符串类型，然而，‘标记’是数组类型。
过滤方法更适合吗？
更新：
数据来自cassand
浏览 3提问于2016-01-17得票数 19
回答已采纳
3回答
我试图使用这种结构从数据文件中过滤行：
|-- age: integer (nullable = true)
|-- qty: integer (nullable = true)
|-- dates: array (nullable = true)
| |-- element: timestamp (containsNull = true)
例如，在这个dataframe中，我只想要第一行：
+---------+------------+------------------------------------------------------------------+
|
浏览 4提问于2021-03-22得票数 0
回答已采纳
2回答
查询中的修复问题
、、、
我在Firestore中有一个类似于['west_coast', 'east_coast']的数组字段，如果在同一个数组中从动态数据中找到west_coast和east_coast，我希望得到结果。
当我这样做时，它会工作，就像Firestore站点上的示例一样。
const exactlyOneCoast = await citiesRef.where('region', 'in',[['west_coast', 'east_coast']]).get();
但是，由于数据是动态的，如果数据在数组
浏览 11提问于2021-12-23得票数 0
我正在尝试创建一个新列，其中包含三个可能的值: DEF、FWD、MID。
DEF= ['LB','LWB','RB','LCB','RCB','CB','RWB']
FWD= ['RF','LF','LW','RS','RW','LS','CF','ST']
MID= ['LCM','LM','RDM',&#
浏览 3提问于2020-04-25得票数 2
回答已采纳
我在cassandra DB中有一个表，其中一列包含ip地址列表，如{['10.100.164.33'，'10.100.164.36'，'10.100.164.37'}。现在我想通过spark sql进行查询，比如选择其中一个ip是10.100.164.36的行。如何在spark sql中查询。
表有3个字段current_time、destinationips和source_ip
输出应为
1495448344501 | {'[10.100.1.25]', '[10.100.164.36]'} | 192.
浏览 4提问于2017-05-22得票数 0
我们在迁移到较新的Spark版本时遇到了一个问题，并且完全不确定如何排除它。
我们有两个火花实例，第一个是2.3.0版本，第二个是2.4.0版本。这两个实例都接收相同的命令：
spark.sql("SELECT array_contains(array(1), '1')")
在旧版本中，我们得到以下内容：
[{"array_contains(array(1), CAST(1 AS INT))":true}]
即参数自动浇铸以与另一参数匹配。在新版本中，这是一个错误：
cannot resolve 'array_contains(array
浏览 5提问于2019-12-09得票数 0
回答已采纳
1回答
为了提供backfround，我使用以下命令加载JSON
sqlContext.read.json(sn3://...)
df.registerTable("posts")
对于Spark中的表，我有以下模式
scala> posts.printSchema
root
|-- command: string (nullable = true)
|-- externalId: string (nullable = true)
|-- sourceMap: struct (nullable = true)
| |-- hashtags: array (nulla
浏览 0提问于2016-03-04得票数 7
回答已采纳
2回答
我有一个表，其中有一个名为xyz数组的字段，其中包含一个结构，如下所示
array<struct<site_id:int,time:string,abc:array>>
该字段中的值如下
[{"site_id":3,"time":"2020-07-26 05:48:21","abc":[{"to_bidder":"val1"}]]
这是一个示例表示，实际上这个字段有很多字段，我的任务是在不使用内联的情况下提取对应于键"abc“的内容，如果可能的话，在Spark中不要
浏览 1提问于2020-07-30得票数 1
回答已采纳
我需要使用Spark SQL查询Array Struct数据类型列
列名：Metrics
列DataType：array<struct<metrics_name:string, metrics_value:double>>
样本值：WrappedArray([cpu,1.0000], [memory,9.8828125])
我不想硬性要求获得数据，例如
对于cpu数据- metrics[0].metrics_value
对于内存数据- metrics[1].metrics_value
浏览 0提问于2020-03-05得票数 0
2回答
我正在尝试找出我的AWS Glue作业指标的含义以及失败的可能原因 ? ? 从第二张图表中，我注意到驱动程序内存(蓝色)保持相对恒定，而一些执行器却在波动。奇怪的是，似乎大多数遗嘱执行者什么都不做？为什么会这样呢？ 我的代码:我正在从Glue data目录中读取一堆航班信息，对其进行处理，并将其作为拼图文件写入S3。在本例中，我使用了谓词push down。 import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context
浏览 20提问于2019-01-31得票数 2
回答已采纳
我在Spark环境中的Scala中有以下数据-
val abc = Seq(
(Array("A"),0.1),
(Array("B"),0.11),
(Array("C"),0.12),
(Array("A","B"),0.24),
(Array("A","C"),0.27),
(Array("B","C"),0.30),
(Array("A","B","C"),0.4)
)
浏览 25提问于2018-02-22得票数 1
回答已采纳
我试图在ElasticSearch中查询一个数组
data: "names":[{"name":"allen"},{"name":"bill"},{"name":"dave"},{"name":"poter"}]
goal: "select names from table where array_contains(names.name, "bill")"
但是，如果SQL语句使用array_contains函数，spa
浏览 4提问于2017-11-16得票数 4
2回答
例如，我在DataFrame中有name中的分类特性
from pyspark.sql import SparkSession
spark = SparkSession.builder.master("local").appName("example")
.config("spark.some.config.option", "some-value").getOrCreate()
features = [(['a', 'b', 'c'], 1),
浏览 0提问于2018-12-04得票数 3
回答已采纳
3回答
火花:与阵列连接
、、
我需要将一个带有string列的dataframe连接到一个字符串数组中，这样如果数组中的值匹配，行就会连接起来。
我试过了，但我想这不是支持。还有别的办法吗？
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("test")
val spark = SparkSession.builder().config(sparkConf).g
浏览 1提问于2017-08-07得票数 10
回答已采纳
我有一个具有以下模式的数据框架
我的要求是过滤任何地址数组元素中与给定字段(如城市)匹配的行，我可以访问单个字段(如loyaltyMember.address[0].city )，但我必须检查所有地址数组元素，以查看是否存在匹配。如何在spark sql中实现，因为数组是复杂类型，所以不能使用array_contains函数
root
|-- loyaltyMember: struct (nullable = true)
| |-- Name: string (nullable = true)
| |-- address: array (nullable = true)
|
浏览 0提问于2019-09-06得票数 7
回答已采纳
我有一个巨大的数据，其中一个列“类别”有一个企业的各种属性，即它是否是一家餐厅，洗衣房服务，迪斯科泰克等。我需要的是能够.filter的数据，这样每一行包含餐厅可以看到。这里的问题是“类别”是一个字符串数组，其中一个单元格可能是这样的：“餐馆、食物、夜生活”。有什么想法吗？(Scala 2.10.6 Spark 2.0.1 Hadoop 2.7.2)
我尝试过SQL样式查询，例如：
val countResult = sqlContext.sql(
"SELECT business.neighborhood, business.state, business.stars, bus
浏览 2提问于2017-04-10得票数 0
回答已采纳
我有两个Spark DataFrames： 包含以下列的cities DataFrame： city
-----
London
Austin 包含以下列的bigCities DataFrame： name
------
London
Cairo 我需要转换DataFrame cities并在那里添加一个额外的布尔列:此列的bigCity值必须基于以下条件"cities.city IN bigCities.name"进行计算 我可以通过以下方式(使用静态bigCities集合)完成此操作： cities.createOrReplaceTempView("cities&#
浏览 11提问于2019-01-21得票数 1
回答已采纳
我有两个数据文件，如下所示
dataframeOne
+--------------------------------------------
|______subject_______________|______marks___|
| Maths | 89 |
| English | 90 |
| Religion | 80 |
-------------------------------------------
浏览 1提问于2021-03-25得票数 0
回答已采纳
2回答
我有2个数据帧，我想连接它们并过滤数据，我想过滤
OrgTypeToExclude与每个事务is匹配的数据。
简单地说，我的transactionId是连接条件，OrgTypeToExclude是排除条件，这里给出一个简单的例子
import org.apache.spark.sql.functions.expr
import spark.implicits._
val jsonstr ="""{
"id": "3b4219f8-0579-4933-ba5e-c0fc532eeb2a",
"Transactions
浏览 0提问于2020-05-08得票数 0
我有一个三列的表，source_word、target_word和json_col
source_word target_word json_col
source_1 target_1 {"source_1":{"method1":[{"w":"target_1"},{"w":"target_3"}]}}
source_2 target_2 {"source_2":{"method2":[{"w
浏览 5提问于2020-11-06得票数 1
回答已采纳
我有一个包含数组(或列表)列的数据，每个元素都是一个字符串映射、复杂数据类型(意为- String、嵌套映射、列表等；在某种程度上，您可以假设列数据类型类似于List[Map[String,AnyRef]])。
现在我想在这张表上查询一下。
select * from the tableX where column.<any of the array element>['someArbitaryKey'] in ('a','b','c')
我不知道如何在spark SQL中表示<any of the array
浏览 1提问于2022-09-18得票数 1
我用的是Scala和Spark。我有两个数据帧。
第一项建议如下：
+------+------+-----------+
| num1 | num2 | arr |
+------+------+-----------+
| 25 | 10 | [a,c] |
| 35 | 15 | [a,b,d] |
+------+------+-----------+
在第二个文件中，数据帧报头是
num1, num2, a, b, c, d
我通过添加所有可能的头列创建了一个case类。
现在我想要的是，通过匹配列num1和num2，我必须检查arr列中的数组
浏览 1提问于2020-09-07得票数 1
回答已采纳
我在Databricks的Spark SQL中有一个表，我有一个字符串形式的列。我将新列转换为Array数据类型，但它们仍然是一个字符串。Datatype是表架构中的数组类型 字符串形式的列 Data1
[2461][2639][2639][7700][7700][3953] 转换为数组 Data_New
["[2461][2639][2639][7700][7700][3953]"] 字符串到数组的转换 df_new = df.withColumn("Data_New", array(df["Data1"])) 然后在databricks
浏览 482提问于2020-01-10得票数 1
我试图从包含列表中单词的数据行中提取:下面是粘贴我的代码：
from pyspark.ml.feature import Tokenizer, RegexTokenizer
from pyspark.sql.functions import col, udf
from pyspark.sql.types import IntegerType
from pyspark.sql.types import IntegerType
import findspark
findspark.init()
conf = SparkConf().setAppName("nlp").setMast
浏览 3提问于2021-06-16得票数 2
回答已采纳
互联网上有几个类似的问题，但没有人知道答案。
我使用下面的代码将mongo数据保存到Hive，但是异常会发生，如最后所示。我会问如何解决这个问题。
我在用
火花-蒙戈连接器(火花2.1.0 - scala 2.11)
java-mongo驱动程序3.10.2
导入com.mongodb.spark.MongoSpark org.apache.spark.SparkConf org.apache.spark.sql.SparkSession org.apache.spark.sql.SparkSession org.apache.spark.sql.types.StructType Mo
浏览 6提问于2019-04-27得票数 0
1回答
我有这样一个实体：
{
"id": "xxxx",
"attributes": [{
"name": "name-01",
"value": "value-01"
}, {
"name": "name-02",
"value": "value-02"
}
]
}
我们对数
浏览 0提问于2020-08-25得票数 0
1回答
我想在这两个PySpark DataFrames之间执行一个连接：
from pyspark import SparkContext
from pyspark.sql.functions import col
sc = SparkContext()
df1 = sc.parallelize([
['owner1', 'obj1', 0.5],
['owner1', 'obj1', 0.2],
['owner2', 'obj2', 0.1]
]).toDF(('ow
浏览 3提问于2016-04-12得票数 6
回答已采纳
我有一个这样的spark DataFrame： code list_code
1002 [1005, 1006, 1007, ....]
1005 [1005, 1009, 1101, ....] 如何使用pyspark过滤list_code中的代码。不知何故，它是逐行显示的。正常的代码不会像这样工作： df.filter((df.code.isin(df.list_code)))
浏览 38提问于2020-12-18得票数 0
回答已采纳
1回答
左反团员
、、、
我有一个dataframe，它有两个列a和b，其中b列中的值是a列中值的a子集。例如：
df
+---+---+
| a| b|
+---+---+
| 1| 2|
| 1| 3|
| 2| 1|
| 3| 2|
+---+---+
我想生成一个包含a和anti_b列的数据格式，其中anti_b列中的值是来自a列的任何值，这样a!=anti_b和行(a,anti_b)就不会出现在原始的数据格式中。因此，在上面的数据中，结果应该是：
anti df
+---+------+
| a|anti_b|
+---+------+
| 3| 1|
| 2| 3|
浏览 2提问于2019-11-18得票数 0
3回答
我有一个列为arraytype的dataframe，它可以包含整数值。如果没有值，它将只包含一个值，并且它将是空值。
重要的：注意，列将不是null，而是具有单个值的数组；null
> val df: DataFrame = Seq(("foo", Seq(Some(2), Some(3))), ("bar", Seq(None))).toDF("k", "v")
df: org.apache.spark.sql.DataFrame = [k: string, v: array<int>]
> df.sh
浏览 2提问于2017-06-01得票数 7
回答已采纳
假设我有两个表: t1和t2，数据如下：
您可以看到，colA和colB都存储为string.As，colB中的数据由逗号分隔。
现在我想在两个表之间做一个连接，条件是如果colA的值在用逗号拆分后可以匹配colB的值。
我想代码可能是这样的：select * from t1 join t2 on t1.colA in split(t2.colB,',')
结果应该如下所示：
我想知道怎样才能在Hive sql中达到同样的效果。我希望我的声明是清楚的。如果您有任何想法，请帮助，谢谢！
浏览 1提问于2021-02-24得票数 0
3回答
使用Hive，我创建了一个包含以下字段的表：
ID BIGINT
MSISDN字符串
第二天，
金银月，
国际年，
性别问题
TINYINT，
教育弦，
LIKES_AND_PREFERENCES字符串
通过以下SQL命令填充了数据：
Insert overwrite table temp_output Select a.ID, a.MSISDN, a.DAY, a.MONTH, a.YEAR, a.GENDER, a.RELATIONSHIPSTATUS, b.NAME, COLLECT_SET(c.NAME) FROM temp_basic_i
浏览 4提问于2014-04-07得票数 5
回答已采纳
看了之后，我不知道为什么我的DocDb实例的代码不能运行
var userApps = _docs.CreateDocumentQuery(UriFactory.CreateDocumentCollectionUri(Constants.Databases.Applications.ID, Constants.Databases.Applications.Collections.USER_APPS),
new SqlQuerySpec(@"SELECT r.appId FROM ROOT r WHERE r.userId = @userId", (@"@
浏览 0提问于2017-06-19得票数 11
回答已采纳
问题：
我有一个dataframe和一个列LongColumn，它的行如下所示：
FIRST_WORD.ABC.approved.Address.Street.Phone.Email.Category1.Beta.MyResults.New
FIRST_WORD.DEF.Address.Street.Phone.Email.Category2.Alpha.MyResults.New
FIRST_WORD.ABC.Address.Street.Phone.Email.Category6.Gamma.MyResults.New
FIRST_WORD.GHI.approved.Address.Str
浏览 6提问于2022-08-19得票数 0
1回答
我有一个字符串数组，如下所示：
SELECT ARRAY('item_1', 'item_2', 'item_3') AS items
结果：
items
Type : ARRAY<STRING>
["item_1","item_2","item_3"]
我想在里面寻找一个项目，但如果我尝试常规的方式：
SELECT * FROM items WHERE items = 'item_1'
我会得到这个错误：
无法解析'(items.items = 'ite
浏览 3提问于2021-12-16得票数 0
回答已采纳
我有如下spark df：
Name country
A ["GB","USA","IN"]
B ["GB","RU"]
C ["IN","BN"]
D ["GB"]
我正在尝试用"GB"过滤这个spark df。输出应该是这样的：
Name country
A ["GB","USA","IN"]
B ["GB","RU"]
浏览 4提问于2021-09-17得票数 0
1回答
在我的Scala/Spark应用程序中，我试图正确地使用多处理。从下面的代码中可以看到，线程数等于storage数组中的元素数。我测试了当前的代码，它可以工作。但是如您所见，storage数组中只有两个元素。在我看来，如果数组中有大量的元素，就会出现问题。在我的例子中，我不知道将来数组中会有多少个元素。也许我应该限制线程的数量，只有在处理之前的线程时才启动新的线程。
问题：如何确定最佳线程数？
Main.app:
import org.apache.spark.sql.DataFrame
import utils.CustomThread
object MainApp {
def m
浏览 3提问于2020-01-29得票数 0
我使用的是一个py spark数据框架和一个使用collect_list的聚合列，我必须在该集合列表列中搜索另一个数据帧列值，我创建了一个UDF，如下所示，但它始终失败为阶段故障。
UDF：
def udf_test(arr,x)
if arr is None:
return None
if x is None:
return None
for e in arr:
if e == None:
return False
elif (e == x):
return Tru
浏览 1提问于2017-08-01得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
