1回答
有多个版本的mysql连接库。(spark-default.xml) - spark.executor.extraClassPath: ~~~:/usr/share/java/*
如果我运行不带--jars {specific mysql connector}的spark</
浏览 19提问于2021-05-31得票数 0
1回答
我们的应用程序的hadoop集群安装了Spark1.5。但是由于特定的需求，我们使用2.0.2版本开发了spark job。当我向yarn提交作业时，我使用--jars命令覆盖集群中的spark库。但它仍然没有选择scala库jar。:704)
关于如何在spark提交期间覆盖群集库<
浏览 3提问于2016-12-16得票数 2
在中，不清楚如何指定--jars参数，因为它显然不是以冒号分隔的类路径，而不是目录扩展。我们<e
浏览 1提问于2016-01-12得票数 6
回答已采纳
我们有使用spark.jars.ivySettings自定义jars解析的火花配置。星火作业在没有互联网访问的环境中运行，因此我们希望跳过maven中心调用并使用我们的存储库。在spark 2.2.1中，一切正常工作，但是当我们升级到2.3时，常春藤设置中指定的存储库将被忽略。因此，由于缺少依赖关系，我
浏览 0提问于2018-03-27得票数 2
回答已采纳
1回答
我是新手，在管理依赖jars方面激发和寻找最佳实践。将所有东西(应用程序和第三方jar)都包含在一个胖jar中。Pros：依赖关系是通过maven pom文件控制的，我们使用哪些依赖jars编译、构建和测试到不同的环境(QA/Prod等)
Cons：因为它是一个胖jar，所以maven存储库被填满，构建jar并将其从构建机推送到部署机器等都需要时间只有与应用程序相关的代码驻留在jar中，第三方jar以
浏览 3提问于2019-10-16得票数 0
回答已采纳
1回答
我们最近在我们的应用程序中将spark升级到了2.2.0，这在运行时引入了Jackson 2.6.5Jars。但我们还有其他需要Jackson 2.8.6的服务(由于Elastic 5.5.0)，该服务有一个清单，该清单引用了应用程序的lib文件夹中的Jackson 2.8.6。因此，在运行时中加载了两个版本的Jackson jars，而spark选择了一个错误<
浏览 3提问于2017-09-22得票数 3
我们有一个Spark Java应用程序，它从数据库中读取并在Kafka上发布消息。当我们使用以下参数在windows命令行本地执行作业时，它可以按预期工作：
bin/spark-submit -class com.data.ingestion.DataIngestion --jarslocal:///opt/spark/jars/spark-sql
浏览 22提问于2020-02-27得票数 0
我们希望以一种版本不可知的方式为我们的spark作业加载org.apache.spark:spark-avro_2.12包。org.apache.spark:spark-avro_2.12:3.1.2org.apache.s
浏览 18提问于2021-11-02得票数 1
，我正在尝试使用pyspark结构的流来阅读google dataproc中的kafka消息。，因为我必须最终将此数据写到google org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.1版本3.0.1上托管的增量，而pyspark使用的python版本是3.7.3，我正在使用的软件包是org.apache.spark:spark-sql
浏览 3提问于2021-03-01得票数 2
1回答
火花作为执行引擎与蜂巢
、、、、
spark 2.4.2是否可以作为一个在Amazon上使用Hive2.3.4的执行引擎？我已经通过以下命令将jar文件与hive (scala-库、火花-核心、火花-公共网络)链接起来：ln -s $SPARK_HOME/jars/spark-network-common_2.11-2.4.2.jar
ln -s $SPARK_HOME/jars/
浏览 2提问于2019-07-01得票数 1
我是应用程序编程的新手，因此在这里努力学习这个基本的编程。我尝试过这两种情况，当hadoop进程在我的笔记本电脑上运行时，以及当它们不运行时。这是相同的行为。顺便说一句，spark</em
浏览 3提问于2016-07-29得票数 0
1回答
我们可以通过以下方式自动获取jars：
使用--packages选项spark-submit传递包坐标。但是我们如何配置额外的解析器呢？
浏览 2提问于2016-11-18得票数 5
回答已采纳
我们正在尝试使用普罗米修斯获取火花指标。我们使用jmx导出器jmx_prometheus_javaagent-0.12.0.jar。 我们能够获得部署模式客户端的指标，但不能获得集群的指标。对于独立命令，使用的是 ./spark-submit --conf "spark.driver.extraJavaOptions=-javaagent:../conf/<e
浏览 67提问于2020-04-09得票数 0
2回答
我很少有火花测试，可以通过maven 1.6.0远程运行并使用scala。现在我想在spark2上运行这些测试。问题是cloudera，默认情况下它使用的是spark 1.6。cloudera在哪里使用这个版本，我需要做什么才能更改spark的默认版本?、spark 1.6和spark 2也在同一个集群中。两个火花版本都出现在纱线上。hadoop配置文件存在于集群中，我正在使用它在测试环境上运行测试
浏览 0提问于2018-05-08得票数 0
回答已采纳
当我试图在Python语言中使用spark-testing-base时，我需要测试一个写在Postgres DB上的函数。可能我没有使用所需的语法传递值，但在多次尝试之后，我还是得到了错误java.lang.ClassNotFoundException: org.postgresql.Driver (典型的情况是没有通过conf尝试的getConf覆盖： def getConf(self):
return ("spark</em
浏览 28提问于2019-02-08得票数 1
回答已采纳
在尝试加载oozie spark2操作的依赖jar时，获取以下错误。在下面添加了workflow.xml。/> <spark xmlns="uri:oozie:spark-action:0.1">
<job-tracker>--jars ${workflowAppUri}/lib
浏览 1提问于2019-06-12得票数 0
1回答
在我的星火作业中，我从资源文件中读取了一些额外的数据。我尝试了spark.yarn.dist.files，没有帮助，也许我需要添加一些东西？
浏览 2提问于2019-02-12得票数 2
1回答
example") \ .getOrCreate()
.builder \ .config("spark.jars", "
浏览 8提问于2022-08-05得票数 0
然后，我将这个jar发送到AWS，或者作为一个spark-submit或java -jar可执行文件运行，但这是不起作用的。这是我jar -tf <jar name>时的jar结构META-INF/MANIFEST.MForg/springframework/ at org.apache.spark.d
浏览 0提问于2019-04-18得票数 2
大多数嵌入Apache的Docker映像都有完整的星火存档文件。
另外，在大多数情况下，我们在kubernetes上提交星火应用程序，因此火花作业在其他Docker容器上运行。因此，我想知道，为了使码头形象更小，如何嵌入火花提交功能？。
浏览 7提问于2022-11-16得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
