腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
使用cassandra连接器在
apache
spark
2.0.2上运行作业时,无法初始化类com.datastax.
spark
.connector.types.TypeConverter$
、
、
、
、
我正在尝试对以前从
apache
spark
shell获取到我
的
cassandra集群
的
数据集运行simple count。为此,我创建了一个简单
的
maven项目来创建fat jar,下面是我
的
依赖项:import pl.agh.edu.kis.sensors._ import com.datastax.
spark<
浏览 6
提问于2017-01-21
得票数 0
回答已采纳
1
回答
Spark
scala -获取数据集列并转换为Seq
、
、
、
我有一个数据集 case class MyDS ( id: Int, name: String ) 我希望在不使用collect
的
情况下获取序列
中
的
所有名称。我已经看过各种帖子了,我找到
的
唯一解决方案是collect。有没有更好
的
方法可以不用collect来做这件事 下面是我运行
的
代码,它可以编译,但由于内存问题而出错 ds.collect().map(x => x.name) 我是Scala
的
新手,因此一些人可能会认为这个问题很愚蠢,但如果有人可以在不否决这个问
浏览 98
提问于2019-06-27
得票数 0
1
回答
云数据融合Oracle源预览错误
、
、
、
我有一个问题需要澄清,还有两个使用云数据融合
的
错误:背景:创建一个管道,使用云数据融合将数据从Oracle
中
的
单个表(本地服务器11.2.0.4版本)移动到BigQuery
中
。我从即时客户端11.2.0.4.0下载了Oracle JDBC
驱动程序
,并将ojdbc6.jar文件用作下面部署
的
oracle
驱动程序
。如果我使用一个更新
的
,我会得到一个日期错误。如果我只这样做,而不是其他其中一个,那么当我验证管道
中
的
源代码时
浏览 4
提问于2020-01-21
得票数 2
1
回答
Postgresql
驱动程序
未发现火星城
的
蜂窝-亚稳态
、
、
、
我做了两件事来安装postgresql
驱动程序
以供
spark
使用:$ll $
SPARK
_HOME/jars/post* -rw-r--r-- 1 stephenboesch staff 1046274 Nov 10 14:44 /usr/local/Cellar/
apache
-
spark
/3.3.1/libexe
浏览 5
提问于2022-11-15
得票数 0
回答已采纳
1
回答
PySpark日志记录
、
、
、
、
我正在尝试查看GCP堆栈
驱动程序
中
的
spark
日志。下面是堆栈
驱动程序
的
屏幕截图。根据上面的屏幕截图,
Spark
信息映射到堆栈
驱动程序
中
的
错误。不知道为什么?log4j.appender.console.target=System.errlog4j.log
浏览 3
提问于2019-08-27
得票数 0
1
回答
无法读取火花放电
中
的
avro格式问题
我尝试使用命令行df =,并得到了一个错误消息:"Avro是内置
的
,但自
Spark
2.4以来就有外部数据源模块。请按照“”
中
的
部署部分部署应用程序。谢谢 任何其他最好
的
方法或建议如何从s3读取avro文件是非常感谢
的
。
浏览 5
提问于2021-03-08
得票数 0
2
回答
在群集模式下读取文本文件时出现异常。
、
、
我使用
spark
读取一个文本文件,并将其保存在JavaRDD
中
,并试图打印保存在RDD
中
的
数据。检查
驱动程序
日志
中
是否有警告消息。SLAVE2.com上
的
TaskSchedulerImpl丢失执行器3错误:远程RPC客户端断开。可能是由于容器超过阈值,或网络问题。检查
驱动程序
日志
中
是否有警告消息。阶段0.0
中
的
错误TaskSetManager任务0失败4次;在线程"main“org.<em
浏览 0
提问于2018-08-21
得票数 2
2
回答
将
spark
应用程序从Windows提交到Linux集群
、
、
但是当我从我
的
Windows机器提交到Linux集群时,我得到 16/02/ 11 :53:20 IN
浏览 3
提问于2016-02-11
得票数 0
7
回答
解决
Apache
Spark
中
的
依赖关系问题
、
、
、
、
构建和部署
Spark
应用程序时
的
常见问题是: java.lang.ClassNotFoundException.object x is not a member of package y编译errors.java.lang.NoSuchMethodError
浏览 275
提问于2016-12-30
得票数 39
回答已采纳
1
回答
从
Spark
连接到sql数据库
import org.
apache
.
spark
.sql.SQLContext at org.
apache
.
spark
.sql.execution.datasources.jdbc.JDBCOptions.) at org.
apache
.
spark
浏览 1
提问于2018-09-27
得票数 1
回答已采纳
1
回答
数据库SparkException超过
spark
.driver.maxResultSize
、
、
、
、
内存,16核,3 DBU)
的
集群上我面临以下例外:"org.
apache
.
spark
.SparkException:由于阶段失败而中止
的
作业: 57071个任务
中
的
1163我不收集或传输数据到
驱动程序
,分区数据会导致这个问题吗?如果是这样的话: import org.
apache
.
spark
.sql.Sp
浏览 3
提问于2020-11-02
得票数 0
回答已采纳
1
回答
为什么执行者条目在
spark
web ui
中
不可见
、
、
、
我正在运行
spark
作业,尽管我已将--num-executors参数设置为3,但在web ui executors选项卡中看不到任何executors为什么会发生这种情况
浏览 50
提问于2021-09-17
得票数 0
1
回答
K8s上
的
Apache
Spark
:保护
驱动程序
和执行器之间
的
远程过程调用通信不起作用
、
我一直在尝试在k8s上部署
Spark
2.4,并希望在
驱动程序
和执行器之间建立一个安全
的
远程过程调用通信通道。正在使用以下配置参数作为
spark
-submit
的
一部分
spark
.authenticate.secret goodCaused by: org.
apach
浏览 8
提问于2018-12-11
得票数 1
1
回答
如何以Dataproc作业
的
形式运行未编译
的
Scala/shell代码?
、
、
通常情况下,如果我将Scala用于
Spark
作业,我将编译一个jarfile并使用gcloud dataproc jobs submit
spark
提交它,但有时对于非常轻量级
的
作业,我可能在笔记本中使用未编译
的
Scala代码,或者使用
spark
-shell REPL,在这里我假设SparkContext已经可用。对于其中
的
一些轻量级用例,我可以等效地使用PySpark并与gcloud dataproc jobs submit pyspark一起提交,但有时我需要更容易地访问Scala&
浏览 2
提问于2020-03-08
得票数 5
回答已采纳
2
回答
未找到JDBC
驱动程序
-从
Spark
提交到YARN时
、
、
尝试从DB表
中
读取所有行,并将相同
的
行写入另一个空
的
目标表。因此,当我在主节点上发出以下命令时,它会按预期工作-上面的命令非常适合于代码,它使用带有--jars选项
的
JDBC
驱动程序
从MySQL
中
的
表
中
读取所有行以下是问题所在: 一切都与上面一样,当我向YARN提交相同<
浏览 0
提问于2015-10-13
得票数 3
1
回答
与
Spark
/ Scala
的
Netezza连接
、
、
、
我已经使用IntelliJ IDE上
的
Scala2.11.8在我
的
Windows机器上设置了
Spark
2.2.0。我正在尝试使用JDBC
驱动程序
使
Spark
连接到Netezza。我已经阅读了,并通过Maven将com.ibm.
spark
.netezzajars添加到我
的
项目中。我只是缺少了一个
驱动程序
,还是在我
的
Scala脚本
中
遗漏了什么?2)在同一链接
中
,作者提到启动Netezza
Spa
浏览 4
提问于2017-07-27
得票数 0
回答已采纳
2
回答
HDFS上
的
根划痕dir: /tmp/hive应该是可写火花应用程序错误
、
、
我已经创建了一个使用Hive亚稳态
的
Spark
应用程序,但是在创建外部Hive表
的
过程
中
,当我执行应用程序(
Spark
驱动程序
日志)时,会得到这样一个错误: at sun.reflect.NativeConstructorAccessorI
浏览 0
提问于2019-02-22
得票数 3
回答已采纳
3
回答
JDBC连接无法从
apache
spark
连接Teradata
、
、
、
我尝试了许多不同
的
方法来使用JDBC连接从
Apache
Spark
连接到我们
的
Teradata环境。下面是我一直使用
的
代码。我确保我
的
JDBC
驱动程序
是正确
的
,因为我使用相同
的
驱动程序
从其他平台连接到Teradata。 在运行
spark
-shell ./bin/
spark
-shell --jars /home/path/*.jar
浏览 0
提问于2015-06-24
得票数 2
0
回答
从
Spark
worker读取和写入Cassandra抛出错误
、
、
、
我正在使用Datastax Cassandra java
驱动程序
从
spark
workers向Cassandra写入数据。
spark
cassandra连接器(我假设它在内部使用相同
的
驱动程序
) val bin_table = javaFunctions(
Spark
.sc).cassandraTable("keyspace我
的
主要目标不是直接从
Spark
驱动程序
中进行写入或读取。尽管如此,它似乎还是要对上下文做一些事情
浏览 6
提问于2016-07-06
得票数 2
1
回答
星火作业失败,因为它找不到hadoop核心-site.xml
、
、
、
at org.
apache
.
spark
.SparkContext.addFile(SparkContext.scala:1364) at org.
apache
.
spark
.deploy.SparkSubmit我有三个应用
浏览 3
提问于2016-05-17
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache Spark强势崛起
什么是Apache Spark?
Hadoop MapReduce与Apache Spark
一文读懂Apache Spark
Apache Zeppelin 整合 Spark 和 Hudi
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券