腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
基于
Java
的
Spark
结构
流
单元测试
、
、
、
、
我正在开发一个api,从Kafka读取数据,并使用
Spark
Structured将数据写入
Java
中
的
blob存储。我找不到为此编写
单元测试
的
方法。我有一个读取器类和一个写入器类,前者返回一个数据集,后者将数据集作为输入并以指定
的
格式写入blob存储。我在MemoryStream上看了一些博客,但我认为这不足以满足我
的
情况。 提前谢谢。
浏览 19
提问于2020-11-11
得票数 1
回答已采纳
2
回答
如何删除
流
数据中
的
重复项?
、
、
我正在使用
spark
-sql 2.4.1
结构
化
流
与kafka,
java
8。例如,我
的
数据集如下所示我需要找出
基于
ColA ColB ColC
的
副本,取其中
基于
ColDate
的
最新副本,并删除其余
的
。也就是说,从上面的数据结果应该是如何使用
spark
streaming来实现?也就是说,我将在
流
中获取数据,例如...不确定何时出现重复,如果按照前面指定
浏览 2
提问于2019-08-06
得票数 0
2
回答
星火
流
和星火
结构
化
流
使用相同
的
微批引擎吗?
、
、
星火
流
和星火
结构
化
流
是否使用相同
的
微批调度引擎?星火
结构
流
比星火
流
有更低
的
延迟吗?
浏览 0
提问于2019-02-01
得票数 3
回答已采纳
2
回答
inferSchema=true不适用于csv文件读取n火花
结构
化
流
、
、
、
我收到了错误信息 at org.apache.
spark
.sql.execution.datasources.DataSource.sourceInfo:35)
浏览 18
提问于2021-10-17
得票数 4
回答已采纳
2
回答
PySpark
的
Cassandra Sink来自Kafka
的
结构
化
流
主题
、
、
、
、
我想使用PySpark
结构
流
应用编程接口将
结构
流
数据写入Cassandra。我
的
数据
流
如下:源代码和版本如下:
Spark
版本: 2.4.3 DataStax DSE: 6.7.6--packages org.apache.
spark
:
spark
-sql-kafka-0-10_2.11
浏览 23
提问于2019-11-01
得票数 2
1
回答
突触上
的
分区表
、
我试图在我
的
SqlDW (突触)上创建一个新
的
分区表(synapse),它
基于
星火上
的
分区表(synapse)val df1 =
spark
.sql("SELECT * FROM sparkTable.write.partitionBy("year").sqlanalytics("My_SQL_Pool.dbo.StudentFromSpak", Constants.INTERNAL ) 错误:
结构
<
浏览 5
提问于2021-03-09
得票数 1
5
回答
如何从Kafka读取XML格式
的
流
数据?
、
、
、
我正在尝试使用
Spark
结构
化
流
从Kafka主题读取XML数据。df =
spark
\ .format("kafka") \ .format('com.databri
浏览 19
提问于2017-09-01
得票数 6
回答已采纳
1
回答
Spark
流媒体与
结构
化流媒体
、
、
在过去
的
几个月里,我使用了相当多
的
结构
化流媒体来实现Stream Jobs (在使用了很多Kafka之后)。在阅读了“使用Apache
Spark
进行
流
处理”一书后,我有了这样一个问题:有没有什么要点或用例可以让我使用
Spark
流
而不是
结构
化
流
?我是不是应该花点时间去了解它,或者既然我已经在使用
Spark
Structured Streaming了,我应该坚持使用它,并且之前
的
API没有任何好处。将
浏览 17
提问于2020-04-06
得票数 2
2
回答
排列星河数据集列
、
、
、
我正在使用
Spark
2.3.1
的
结构
化
流
API。是否有可能在火花
流
数据
的
列中对值进行排序?我尝试使用下面的代码,然后在异常消息之后意识到流上下文不可能遍历整个窗口。.withColumn("rank", row_number().over(Window.orderBy($"transactionTime"))) org.apache.
spark
.sql.AnalysisException:
流
数据框架
浏览 0
提问于2018-07-06
得票数 4
回答已采纳
1
回答
如何解决阶段20.0 (TID 20)任务0.0中
的
错误执行器异常?
、
、
、
、
--我知道类似的问题已经得到了简短
的
回答,但由于缺乏最低限度
的
reputation...hence,我无法在此补充我个人
的
怀疑--我在这里问它-- 我想使用Apache + Kafka来处理Twitter我搜索了很多关于这个错误
的
地方,但是我无法得到我想要
的
解决方案,或者它没有工作。上一次我用较小
的
内存空间运行
Spark
时,我认为内存不足,但我仍然会遇到同样
的
错误。$Worker.run(ThreadPoolExecutor.
java
浏览 2
提问于2019-12-29
得票数 2
回答已采纳
2
回答
星火
结构
流
和DStreams有什么区别?
、
我一直在网上寻找材料--两者都是
基于
微批次
的
--那么有什么区别呢?
浏览 0
提问于2018-03-15
得票数 13
回答已采纳
1
回答
spark
2.3.0中
结构
化
流
中禁用_
spark
_metadata
、
、
、
、
我
的
结构
化
流
应用程序正在编写parquet,我想摆脱它创建
的
_
spark
_metadata文件夹。我用了下面的房产,看上去不错。但是,一旦它移动到运行状态并开始处理消息,它就会失败,因为下面的错误是_
spark
_metadata文件夹不存在。似乎
结构
化
流
依赖于这个文件夹,没有这个文件夹我们就无法运行。这是
流
不是指conf
的
bug吗?Caused by:
java
.io.FileNotFoundExc
浏览 0
提问于2018-09-17
得票数 5
回答已采纳
1
回答
基于
spark
结构
流
的
Xml解析
、
、
、
kinDF =
spark
.readStream.format("kinesis").你能建议一些可能
的
解决方案吗?文件创建一个dataframe,就可以使用xpath进行查询: xml_df.select("Analytics.Amount1").show() 但是,不确定如何在数据为文本格式
的
Spark
Streaming有没有使用模式转换文本数据
的
xml函数?我看到了一个使用from_json
的
json数据示例。 可以在数据框列上使用
浏览 36
提问于2019-08-15
得票数 1
1
回答
Cloudera Hadoop 2.6.0-cdh5.14.2和
结构
化
流
、
、
是否有人能够在Hadoop2.6.0-cdh5.14.2上启动
结构
化
流
,也可以使用外部库(主要是
spark
* )。更新根据我远程朋友
的
建议,我这样做了: 我使用卡夫卡以外
的
其他资源运行
结构
化
流
Cloudera声称他们不支持
结构
化
流
,根据这一点,下面的代码(我刚刚更改了源代
浏览 0
提问于2018-11-14
得票数 1
1
回答
如何将星火模式应用于星火
结构
化
流
中
基于
Kafka主题名
的
查询?
、
、
、
我有一个星火
结构
的
流
作业,它是
基于
subscribePattern
的
来自多个Kafka主题
的
流
数据,对于每个Kafka主题,我都有一个火花模式。当从Kafka
流
数据时,我想根据主题名称将
Spark
模式应用于Kafka消息。var
浏览 3
提问于2020-04-29
得票数 0
2
回答
当状态数据增长时,
Spark
结构
化
流
如何处理内存中
的
状态?
、
在
Spark
结构
化
流
(Version2.2.0)中,如果使用以更新模式作为输出模式
的
mapGroupsWithState查询,则
Spark
似乎使用
java
.util.ConcurrentHashMap数据
结构
存储内存中
的
状态数据另外,是否可以使用
spark
配置参数更改在内存中存储状态数据
的
限制?
浏览 2
提问于2017-08-22
得票数 4
回答已采纳
1
回答
是否有可能使用
Spark
与星火
结构
流
的
库?
、
、
、
我想对我从一个卡夫卡集群中获得
的
消息
流
执行tweet情绪分析,该集群反过来从Twitter v2中获取这些消息。当我尝试应用预先训练过
的
情感分析管道时,我会收到一条错误消息,上面写着:Exception: target must be either a
spark
DataFrame, a list of strings我已经检查了文档,在
流
数据上找不到任何东西。这是我使用
的
代码:from pyspark.sql import SparkSession f
浏览 7
提问于2022-03-23
得票数 1
回答已采纳
1
回答
如何使火花
流
计算
单元测试
中文件中
的
单词?
、
、
、
我已经成功地在
Java
中构建了一个非常简单
的
基于
的
星火
流
应用程序。我遗漏了什么?下面是
单元测试
文件,之后我还包含了显示countWords方法
的
代码片段: Start
浏览 4
提问于2014-12-08
得票数 5
回答已采纳
2
回答
spark
.sql.adaptive.enabled是否适用于星火
结构
化
流
?
、
、
我使用Apache
结构
化
流
。
结构
化
流
是建立在
Spark
引擎上
的
可伸缩和容错
的
流
处理引擎。由于它构建在
Spark
引擎上,这是否意味着
spark
.sql.adaptive.enabled适用于火花
结构
化
流
?
浏览 7
提问于2022-04-30
得票数 -1
1
回答
为什么火花
流
没有接收方法仍然是试验性
的
?
没有接收者(直接)
的
方法,在星火
流
+卡夫卡仍然是experimentalSpark 2.0版本,或者我可以使用它在生产系统?
浏览 1
提问于2016-08-21
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
一文读懂Apache Spark
超强盘点:15种大数据分析工具
2021年,Java开发者最值得学习的14项技能
什么是 Apache Spark?大数据分析平台详解
大数据初学者怎样学习 或Java工程师怎么转大数据?
热门
标签
更多标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
活动推荐
运营活动
广告
关闭
领券