我的用例是在我的scala代码中访问外部jar中的java函数，这是我用spark-shell编写的。但我想我没有正确加载我的罐子。下面是我正在做的事情 spark-shell --master local[2] --jars pathToJarsWithComma --conf="spark.driver.extraClassPath，并传递所有需要<
浏览 22提问于2019-03-25得票数 0
2回答
我正在做一个频繁项目集的项目，我使用FP-Growth算法，我依赖于Scala-Spark开发的版本
问题是spark-shell没有解释器，它在这个文件中发现了错误，我用eclipse尝试过Sbt，但没有成功。我需要的是一个编译器，可以使用最新版本的scala和spark-shel库来将这
浏览 1提问于2017-03-29得票数 0
3回答
我一直在尝试使用spark-shell。我所有的数据都在sql中。I used to include external jars using the --jars flag like /bin/spark-shell --jars /path/to/mysql-connector-java现在，当我通过jobserver运行一个独立的作业时。我收到以下错误消息 "m
浏览 5提问于2015-03-31得票数 2
我正在尝试从Amazon AWS S3存储桶中加载数据，而在Spark shell中。
bin/spark-shell --jars jars/hadoop-aws-2.8.1.jar,jars/aws-java-sdk-1.11.179.jar
在shell中</
浏览 13提问于2017-08-18得票数 22
回答已采纳
6回答
我试图在Spark1.1.0中使用。
我已经成功地从GitHub上的主分支构建了jar文件，并且已经获得了包含的演示程序。但是，当我试图将jar文件加载到spark-shell中时，我无法从com.datastax.spark.connector包中导入任何类。我尝试在--jars上使用spark-shell选项，并将包含jar文件的目录添加到Java中。这两个选项都不起作用。事实上，当我使用--jars</
浏览 5提问于2014-09-14得票数 28
回答已采纳
下面是我在系统中安装的Spark & Hive的版本蜂巢：apache-hive-1.0.0-bin到目前为止，我能够通过访问Derby来执行HiveQL查询(如所描述的，相信Spark然后，我试图将spark-shell指向我<em
浏览 3提问于2015-07-17得票数 5
3回答
我还没有在我的系统上使用任何其他软件来面对这个问题。能够在窗口终端/命令提示符和Git-Bash中安装和运行所有东西。 export JAVA_HOME='/c/Program Files/Java/jdk1.
浏览 5提问于2020-12-29得票数 3
2回答
我不能让spark-shell命令在Git bash上工作。我非常确定我的环境设置正确，就像我在命令提示符下的任何目录中运行spark-shell一样，它对我来说工作得很好。但是，当我在bash中运行spark-shell时，它会输出这个值，而不是运行实际的shell：
"C:\Program Files\Java\jdk1.8.0_191\bin\java" -cp "C:\spark
浏览 1提问于2018-11-17得票数 2
环境: AWS EMR: Zeppelin 0.8.0，Spark 2.4.0 spark解释器的额外配置： spark.jars.ivySettings /tmp/ivy-settings.xmlspark.jars.packages my-group-name:artifact_2.11:version 来自my-group-name的文件出现在 spark.yarn.dist.jars
spark.yarn.secondary.jars_检查) 但是，当我为<
浏览 23提问于2019-03-21得票数 0
我正在尝试从S3中读取ORC文件，使用spark-shell，遵循以下指南：
java.lang.NoSuchMethodError: org.apache.http.conn.ssl.SSLConnectionSocketFactory.<init>(SdkTLSSocketFactory.java:56)我已经通过以下命令在spark-shell中导入了jar文件
浏览 0提问于2016-10-12得票数 0
1回答
这是一个老生常谈的问题，我已经通过以下文章的答案来解决这个问题：spark-shell --packages com.amazonawsorg.apache.hadoop.fs.s3a.S3AFileSystem")但当我按如下方式添加罐子时：
浏览 1提问于2021-03-05得票数 0
回答已采纳
下面是我正在尝试执行的代码。
浏览 4提问于2017-11-30得票数 0
我们正在使用Spark-Shell REPL模式来测试各种用例，并连接到多个源/宿spark.driver.extraClassPath = /home/sandeep/mysql-connector-java-5.1.36.jar
spark.executor.extraClassPath= /
浏览 0提问于2019-09-10得票数 0
build.sbtsrc/main/scalasrc/main/scala/main.scala现在我想把它添加到spark-shell</
浏览 12提问于2016-10-26得票数 36
回答已采纳
好的，我知道我可以使用jdbc连接器使用以下命令创建DataFrame：Map("url" -> "jdbc:mysql:/user=root&password=123456",但是我得到了一个错误：java.sql.SQLException: No suitable driver我尝试使用这两个命令将jd
浏览 3提问于2015-03-22得票数 0
回答已采纳
本质上，我的问题和这个家伙一样：java.sql.SQLException:，我开始这样的火花：这些解决方案建议将jar传递到工作节点上但是他们说这个问题显然是在Spark1.4中解决的，
浏览 1提问于2016-01-20得票数 1
回答已采纳
/spark-shell –-jars /home/my_path/my_jar.jar 在shell中，我尝试导入包： scala> import com.vertica.spark._ import com.vertica.spark._ 它不起作用，我还尝试从jar路径中删除斜杠/spark-shell
浏览 23提问于2020-04-22得票数 0
我有一个Apache Spark集群(多节点)，我想手动将一些实用程序jars部署到每个Spark节点。我应该把这些罐子放在哪里？例如: spark-streaming-twitter_2.10-1.6.0.jar有什么建议吗？
浏览 3提问于2016-01-27得票数 4
我有一个打包成zip文件的python库，可以在远程存储库(Artifactory)中使用，我想使用包的坐标(名称和版本号)将其传递到spark-shell或spark-submit的python路径。我目前正在对jar文件执行相同的操作：<
浏览 1提问于2019-03-01得票数 1
我的代码在spark-shell中运行良好：defined class Person
+-----+---++-----+---++-----+---+
我已经导入了"spark-2.0.0-bin-hadoop2.7/ j
浏览 0提问于2016-08-16得票数 10
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
