1回答
我使用Spark SQL创建了一个名为todays_ids和previous_days_ids的ID数组。我希望能够直接使用Spark SQL将这些ID数组转换为集合，然后计算一列的ID与另一列的ID之间的差异。到目前为止，我已经使用了UDF：... query to generate today and previous day's ID array c
浏览 28提问于2021-05-15得票数 1
回答已采纳
我想使用Apache Iceberg执行读写操作。我使用的是Spark 3.0.0。("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
conf.set("spark.sql.catalog.spark
浏览 228提问于2021-07-11得票数 1
我使用Spark已经有一段时间了，在Python中取得了成功，但是我们有一个用C#编写的产品，它将从分布式和并行执行中受益良多。我做了一些研究，并尝试了新的C#应用程序接口，但目前这有点限制。然而，我想知道在我们的用例中，它是否真的可以用来取代Spark --我们需要的是一种执行数据帧类型操作的分布式方式。特别是，我们在Python中的许多代码都是使用Pandas UDF实现的，我们让Spark负责数据传输和结果合并。如果我想使用Ig
浏览 14提问于2019-11-08得票数 0
回答已采纳
2回答
星火-斯卡拉与卡桑德拉
、、、
我正在使用ETL编程。现在，我的项目ETL需要火花、Scala和Cassandra。我在/usr/local/ Cassandra /*中使用ubuntu系统配置了Cassandra，之后我安装了Spark和Scala。现在我正在使用Scala编辑器开始我的工作，我只在登陆位置创建了一个加载文件，但之后我试图连接scala中的cassandra，但是我没有得到帮助，我们如何连接和处理目标数据库中的数据？请帮助我如何实现这一过程与上述组合。
提前感谢
浏览 3提问于2017-04-18得票数 0
回答已采纳
3回答
我们如何在Scala中使用Spark将列名和操作符名称动态传递给SQL查询？我尝试了(不成功)以下内容：spark.sql("select count(1) from ${key_tbl}").collect(
浏览 6提问于2018-02-25得票数 5
1回答
我在代码中发现了一个bug，其中一个数据帧被分割成比预期更多的分区(超过700个)，当我试图将它们重新分区到只有48个时，这会导致太多的随机操作。我不能在这里使用coalesce()，因为在进行重新分区之前，我希望首先有更少的分区。
我正在寻找减少分区数量的方法。假设我有一个spark数据帧(包含多个列)划分为10个分区。此操作完成后，生成的数据帧是否具有相同数量的分区？如果没有，spark将如何决定分区的数量？
浏览 2提问于2017-09-13得票数 1
在连接两个表时，我想从一个在databricks上的pyspark sql上有许多列的大表中选择除其中两列之外的所有列。我的pyspark sql： set hive.support.quoted.identifiers=none;
select a.*, '?!
浏览 5提问于2020-07-28得票数 0
如果我们执行以下命令：
spark.sql("select * from parquet.我们如何执行此命令，并将其限制为一个线程？这有可能吗？
浏览 9提问于2022-11-14得票数 0
回答已采纳
假设我想转换来自cassandra表(比如表)的数据，并使用Spark将相同的数据重写到cassandra中的其他表(比如tableNew)，我编写的代码如下所示 .set("spark.cassandra.connection.host", "a.b.c.d")
.set("spark.cassandra.auth.username"
浏览 26提问于2019-07-09得票数 1
回答已采纳
1回答
我有一个在Spark DataFrame上执行SQL查询的应用程序，如下所示：
DataFrame sqlDataFrame = sqlContext.createDataFrame(accessLogsspark-submit向星火提交这份申请，它工作得很好。但现在我想要的是开发一个web应用程序(使用Spring或其他框架)，用户在前端编写SQL脚本，单击Query按钮，然后web服务器将SQL脚本发送到Apache Spark来执行</e
浏览 4提问于2015-12-05得票数 0
我正在使用pyspark的(Spark 2.3.2) saveAsTable，如下所示： .sortBy("id") \at org.apache.spark.sql.execution.FileSourceScanExec.org$apache$spark$sql$)
at org.apache.sp
浏览 1提问于2019-10-10得票数 0
= new SparkConf() .set("spark.io.compression.codec", "org.apache.spark.io.SnappyCompressionCodec")
.set("spark.serializer", "org.apache.spark.serializer.KryoS
浏览 4提问于2016-10-13得票数 0
回答已采纳
1回答
def run() { val df2 = getdf2(spark:SparkSession, df1) val sqltxt = "select * from emp" df1.persist
spark.sq
浏览 2提问于2018-03-09得票数 0
at org.apache.spark.rdd.RDD.iterator(RDD.scala:268) at org.apache.spark.rdd.MapPartitionsRDD.computeat org.apache.spark.rdd.RDD.iterator(RDD.scala:
浏览 0提问于2018-04-13得票数 0
回答已采纳
1回答
我是一位能激发sql活力的纽比。我发现编写具有复杂逻辑的spark查询程序可能非常棘手。例如，我知道spark sql库中的运算符是相当有限的，所以有时我们需要实现UDF。但是，您如何知道库操作员是否可以执行某些操作？如何知道是否需要实现UDF？我发现很多开发者都能写出精美的Spark程序。你是怎么掌握Spark的？如何使用Spark S
浏览 29提问于2020-07-05得票数 0
回答已采纳
1回答
使用Apache Spark :2.3.0数据库: Oracle 12.1 Exception in thread "main" org.apache.spark.sql.catalyst.parser.ParseException==
UPDA
浏览 0提问于2018-09-05得票数 2
最近我开始使用Spark SQL。我读了数据源Api，仍然不明白Spark SQL的作用是什么。真的愿意接受任何答案。
诚挚的问候。
浏览 0提问于2018-01-16得票数 1
是否有任何方法可以使用SparkSession？ 我是否可以使用单个条目完全替换所有上下文SparkSession？它们在如何使用SparkSession？ 我如何使用 a 创建以下内容SparkSession？
浏览 216提问于2017-05-05得票数 39
回答已采纳
我需要从Spark创建一个Hive表，该表将采用拼花格式和快速压缩。下面的代码以拼花格式创建表，但使用GZIP压缩：如果我将SNAPPY更改为任何其他字符串，例如ABCDE，则代码仍然工作正常，只有压缩仍然是GZIP：
hiveContext.sql|
浏览 3提问于2016-04-29得票数 4
回答已采纳
我想使用JDBC对spark中的sqlserver数据执行所有dml操作，但在执行UPDATE查询时遇到问题。下面是用于获取连接和用于执行的查询的代码，以及执行UPDATE查询时获取的异常。任何关于如何解决这个问题的帮助或建议都将是非常有帮助的。提前谢谢。("Select * from customer1")问题是，select *语句返回正确的结果，但当我执行update语句时，如下所示
浏览 8提问于2017-11-27得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
