下面是我写的火花逻辑。
高级：代码循环遍历某些数据，以批方式提取一些记录，对这些记录应用一些逻辑，并将输出附加到运行时创建的另一个表中。作业成功完成，但表为空。对于每个名称，代码构造一个查询，使用名称作为筛选条件，将一些逻辑应用于返回的数据，并将其存储在一个新的火花数据框架(output_spark_df)中。然后，将此数据帧转换为临时表，然后使用spar
浏览 1提问于2020-02-13得票数 1
回答已采纳
我有一个UuidConditionSet，当if条件错误时，我想对select语句应用一个空字符串(或者干脆忽略这个UuidConditionSet)，但是我得到了这个错误。如何解决这个问题？mismatched input 'FROM' expecting <EOF>(line 10, pos 3)(SELECT amount, fromUuidConditionSet
UuidConditionSet = Uui
浏览 10提问于2021-03-01得票数 1
回答已采纳
1回答
我知道有很多这样的答案与我要求的内容有关，但是由于我对scala非常陌生，所以我无法理解这些答案。如果有人能帮我纠正我的UDF，我会非常感激的。我正在尝试使用dtm_str == null来处理它，但它仍然失败。有些人能帮我做些什么纠正，而不是dtm_str == null，帮助我实现我的目标？为了给出一个例子，如果我运行下面的星星之火-sql：
spark.sql("select null as col1
浏览 17提问于2022-09-20得票数 0
回答已采纳
我有一个这样的spark数据帧：sql = SQLContext(sc)我可以很容易地在m_date中查询范围，如下所示：
query_str = ("select * from log where m_date >= %s and m_date< %s" %(1497052766,1498
浏览 0提问于2017-12-24得票数 3
我们在where子句中有需要应用于查询的条件列表 Conditions=[ Condition-2] 我们有这样的查询 for condition in Conditions:
df = spark.sql("SELECT col1, col2 from tablewhere" + condition) 但是我们想要一个包含所有条件结果的最
浏览 34提问于2021-10-31得票数 0
如何将变量传递给Spark数据帧筛选器和for IF条件。我正在从Spark dataframe填充值我想将这个变量数据传递到dataframe filter选项中。我尝试了下面的一个，但它是空值。我试着在IF语句中使用。
if $data="String" -- How t
浏览 26提问于2017-03-16得票数 0
2回答
在spark-shell中，如何加载现有的Hive表，但只加载其中的一个分区？val df = spark.read.format("orc").load("mytable")谢谢!
浏览 19提问于2020-04-30得票数 0
回答已采纳
我正在学习spark sql，并注意到这是可能的： Row_number() OVER (partition BY a, b ORDER BY start_time**HAVING r <= 10**这是怎么回事？语义是否与在
浏览 4提问于2018-03-05得票数 0
1回答
我们使用Cassandra存储一些分析表，例如“用户单击”、“用户登录”等。我们的数据模型的设计方式是，我们的应用程序总是通过分区键进行查询，例如“获取用户id登录”等。然而，有时我们需要做一些特别的分析，比如“过去6个月中每个用户每月登录的平均数量是多少？”为此，我们使用Spark。我的问题是:我的理解是，Spark将基本上遍历Cassandra中的每一行，并将
浏览 3提问于2016-05-23得票数 2
回答已采纳
给定的 TableA = spark.createDataFrame(valuesA,['column1','column2'])
valuesB = [('A', 'Good'), ('D&#x
浏览 8提问于2020-05-21得票数 0
先得到mxdt如何将mxdt df中的上述bigint值传递到以下查询筛选条件？val rate = spark
浏览 10提问于2020-12-13得票数 0
回答已采纳
1回答
目前，使用状态%SQL query："SET“，我可以获得集群中定义的标记值。%sql但是，如何在"SELECT“语句中使用这些值来定义条件、定义"FROM”值或创建新列？%sqlSELECT * FROM db.t
浏览 2提问于2020-04-01得票数 0
我是一个初学者，目前正在创建一个laravel项目，需要这样的多条件查询：
这三个条件中的每一个条件都可以是空白的。如果为空，则在查询数据库时，对应的控制器不应添加“where子句”。我知道在java中，我可以将if子句应用于以下内容：
String sql = "select field from table w
浏览 1提问于2016-03-19得票数 1
回答已采纳
2回答
我正在尝试将数据中名为UserAgent的列中的"/“字符替换为空格(”")。列中的数据如下所示：我试过用
val df_test =spark.sql(s"selectregexp_replace (e: org.apache.spark</
浏览 2提问于2019-02-16得票数 0
回答已采纳
使用HDP 3.1中的Spark 2.4和Hive 3.1.0，我试图使用spark sql从hive读取托管表，但它返回一个空的dataframe，而它可以轻松地读取外部表。如何通过spark sql从hive读取托管表？ 注意:当从hive客户端读取时，hive maanged表不是空的。 1-我尝试通过ORC和拼花来格式化表格，但两者都失败
浏览 26提问于2019-09-25得票数 1
1回答
当在Spark Dataframe上的过滤器中使用"and“子句时，它返回Spark.SQL.Column而不是Spark Dataframe。但在一个条件下，它工作得很好。如何show()或迭代通过Spark Sql列对象？尝试show()函数时抛出错误- 'Column' object not callable.或者如何将Spark</em
浏览 1提问于2019-04-23得票数 0
2回答
我必须将逻辑运算符or应用于pyspark中的where函数中的条件列表。or的操作符是|，就像在pyspark中一样，它不能使用来自any()的any()函数。有没有人建议如何解决这个问题？下面是一个简单的例子：spark_conditions = [cond1, cond2, ..., cond100]
# Apply someho
浏览 4提问于2021-09-28得票数 0
回答已采纳
我有一个场景，通过where条件从同一个DataFrame中使用另一个列从DataFrame读取一列，这个值作为IN条件通过，从另一个DataFrame中选择相同的值，我如何在spark DataFrame中实现。在SQL中，它将类似于：
select distinct(A.date) from table A where A.key in (select B.key from table B wh
浏览 19提问于2021-05-28得票数 0
回答已采纳
2回答
最近，我在Spark项目中遇到了一个操作符："<=>“。我很难找到关于它的任何文件。有谁知道它是如何工作的，或者知道一些文档吗？
我相信这与平等运作有关。
浏览 8提问于2017-01-04得票数 17
回答已采纳
1回答
我可以将cast输入为字符串。如何键入空数组作为字符串的空数组？我需要在SQL查询中解决它。下面的代码段抛出一个ValueError:在推断之后无法确定某些类型
display(df)
浏览 5提问于2022-06-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
