我想使用spark Java API在Dataset上执行左外部连接。如何编写动态条件来匹配join条件中的多个列。 我有两个dataset对象。它们都有2列或更多列。我不能定义条件 将一列与另一列匹配的示例 dataSet = resultData.as("resultData").join(distinctData.as("distinctData"), resultDat
浏览 19提问于2019-04-23得票数 0
回答已采纳
1回答
火花sql动态过滤条件
、、、
如何在spark中动态地构造布尔筛选条件？有：d.filter(col("value") === 1 or col("value") === 3).showd.filter(myCondition).showoverloaded method value filter with alternatives:
org.apache.s
浏览 0提问于2018-04-03得票数 1
回答已采纳
我在研究前几个月的spark。其中Dataset用作对象的分布式集合。 我担心的不是它是如何分布的，而是一个基本的数据结构。如果我创建了自己的数据集，我很想知道它是如何放在java中的。, }
return rows.iterator(); 上面给了我这样的Dataset<Row> 有谁能分享一下如何在Java中实现这个功能吗？我的意思是java中的一些代
浏览 48提问于2020-06-10得票数 1
我在某处读到Spark在这些scenarios.So中非常有帮助，我想知道如何使用Spark查询带有非主列的cassandra。
此外，我还使用Java来查询数据库。
浏览 1提问于2018-03-23得票数 0
1回答
Jolokia Spark指标
、、、、
我需要帮助将jolokia代理连接到我的spark工作，并查看sinc指标。两个可用选项中的不能将javaagent与spark-submit和动态方法一起使用，这很棘手，因为不知道在哪个工作节点和哪个pid中启动代理。
如何在我的代码中启动jolokia。Spark代码是用Scala编写的。
浏览 2提问于2016-11-18得票数 2
我想知道如何在scala中执行以下操作？
编写SQL查询，如SELECT、UPDATE等，以修改数据库中的表。我知道如何使用scala来实现它，但是如何在打包时将psql scala的连接器jar导入sbt？
浏览 0提问于2014-07-23得票数 40
回答已采纳
我有以下星火的代码：import java.util.List;import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSes
浏览 3提问于2017-09-04得票数 1
回答已采纳
我一直想知道像Apache Spark这样支持不同语言API的系统的高级架构。例如，Spark支持Scala、Python和Java中的API。
尽管该软件是用Scala编写的，但它支持多语言API。如何在编程层面上做到这一点？有人能解释一下这样的系统的高层架构吗？
浏览 0提问于2016-03-13得票数 3
有人能为我提供一些尚未在Apache Spark中实现的示例Java API吗?我正在尝试查看，如果我决定使用Java API，是否有任何“不存在/功能有限”的Scala Spark API。免责声明:根据我的谷歌搜索/分析，我意识到Scala社区对Apache Spark的支持实际上是good.Also的，我理解为了有效地使用Spark，你无论如何都需要学习一些Scala (因为源代码是用Sca
浏览 0提问于2016-07-20得票数 0
我已经创建了一个IBM服务实例，其中包含5个节点的BigInsights集群(包括Apache Spark)。我尝试使用SparkR连接Cloudant数据库，获取一些数据，并进行一些处理。:119) at org.apache.spark.sql.api.r.SQLUtils.loadDFat java.
浏览 8提问于2016-08-06得票数 2
我正在开发Spark2.0和SparkR库。我想获得一个关于如何在SparkR中做以下事情的示例代码？我知道使用R来做这件事，但是我需要一些帮助来使用Spark Sessions或SparkSQL context。此外，我们如何将这个R代码作为Spark批处理提交，以便以固定的时间间隔连续运行？
浏览 4提问于2016-08-21得票数 0
1回答
我正在处理一个场景，其中我需要编写一个区分大小写的连接条件。为此，我发现有一个可以修改的spark配置属性spark.sql.caseSensitive。在这两种情况下，我都没有从下面的示例PySpark代码中获得language=java的结果。有没有人能帮我解决这个问题呢？spark.conf.set("spark.sql.caseSensitive", False)
columns1 = ["la
浏览 1提问于2021-09-15得票数 3
1回答
在编写spark代码时，我使用了UDF (用户定义函数)。UDF是一个接口，它以下面的方式实现。package sparkProject;
import org.apache.spark.sql.api.java.UDF1在SPARK Api中，要使用registerCountryCodeFunctionUDF功能，我需要执行以下操作 UDFfunc
浏览 32提问于2020-01-12得票数 0
回答已采纳
2回答
我在以下练习中遇到了问题：sum' :: int -> int -> int -> int我不知道如何在if上创建多个条件，也不确定这是使用逻辑“连接器”(如Java语言中的||或&&a
浏览 2提问于2015-07-24得票数 2
回答已采纳
当我连接到一个运动流时，我得到了以下错误消息。="":最初，流是空白的，因为连接到Kinesis流需要一段时间。但突然之间，它破坏了密码。(RDD.scala:287) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:32
浏览 2提问于2017-04-03得票数 0
回答已采纳
2回答
我想根据以下条件连接两个数据文件:如果df1.ol(“name”)==df2.ol(“name”)和df1.ol(“starttime”)大于df2.ol(“starttime”)。条件的第一部分是ok，我在spark中使用列类的“相等”方法，但是对于“大于”条件，当我在java中使用以下语法时：它不工作，它似乎是星火sql中列的&quo
浏览 2提问于2017-04-03得票数 1
回答已采纳
1回答
问题
我可以在Java中成功地创建一个UDF。但是，除非它在SQL查询中，否则我不能使用它：
import org.apache.
浏览 4提问于2016-03-27得票数 5
回答已采纳
1回答
我想使用Kafka流，但也与外部数据库和API交互。我读到过有人建议使用Kafka Connect这样做，但我想知道怎么做和为什么。即使没有Kafka流，也可以查询数据库(即使它没有Kafka连接连接器)和每个记录的API吗？或者我应该为这个用例使用另一个处理引擎？
浏览 3提问于2022-01-15得票数 0
我为SparkSql和Hive连接创建了一个Maven项目，并编写了以下示例代码： .builder().appName("Java Spark Hive Example") .config("hive.metastore.uris但是，当我移动到更大的集群，如
浏览 2提问于2017-03-04得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号