1回答
因此，我正在编辑MovieLensALS.scala，我只想用修改后的MovieLensALS.scala重新编译示例jar。我使用的是build/mvn -pl :spark-examples_2.10 compile，然后是build/mvn -pl :spark-examples_2.10 package，它可以正常结束我已经设置好SPARK_PREPEND_CLASSES=1了。但是，当我使用bin/spark-submit --c
浏览 3提问于2017-03-01得票数 1
回答已采纳
我刚开始学习Spark，我试图复制SparkPi示例，将代码复制到一个新项目中并构建一个jar。SparkPi的来源是：
我有一个工作的纱线集群(运行CDH5.0.1)，我已经上传了火花组装jar并在SPARK_JAR中设置了它的hdfs位置。/usr/lib/spark/bin/spark-class org.apache.<em
浏览 1提问于2014-05-31得票数 1
回答已采纳
我正在编写一些Spark代码并编译成一个超jar。通常，对于该应用程序，您不希望Spark库位于jar中，因为它们将在集群上提供，而且它们很大。:spark-core_2.11:2.1.0'这可以从命令行很好地工作。一切都编译好了，我可以毫无问题地部署到Spark集群。然而，对于像import org.apache.spark.api.java.JavaRDD这样的
浏览 0提问于2017-02-06得票数 0
回答已采纳
3回答
如何将JAR文件上传到服务器
、、、、
我已经创建了Scala Spark Code的JAR文件，并在本地系统上成功运行了该JAR文件。我希望在集群上执行该JAR文件，为此，我必须将JAR文件推送到服务器。如何将JAR文件上传到服务器？我使用Maven创建JAR文件
浏览 23提问于2019-11-22得票数 0
java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
构建定义
浏览 725提问于2016-10-30得票数 53
回答已采纳
我尝试从DSE客户机节点使用以下命令，以便将Scala应用程序fat-jar发送到单节点Datastax环境。-0.0.1-jar-with-dependencies.jar --master dse://10.0.0.4?此外，在/etc/dse/spark-defaults.conf和其他代码中，我放入了以下行： spark.cassandra.connection.host 10.0.0.4
spark.cassa
浏览 31提问于2019-05-24得票数 0
回答已采纳
我已经创建了spark scala(版本2.11)应用程序，并尝试使用maven(版本3)和IntelliJ进行构建。第一次，能够成功地使用maven编译和构建jar，并能够使用集群上的jar测试spark应用程序作为well.Next时间，我已经修改了一些现有的scala类代码，并尝试重新构建，代码编译并成功生成jar文件没有任何问题，但在最新的jar文件<em
浏览 0提问于2020-02-23得票数 0
我正在尝试使用gradle构建spark，我使用的代码如下： compile group: 'org.apache.spark</
浏览 0提问于2016-11-14得票数 0
1回答
我正在构建一个使用Spark和Spark的应用程序，build.sbt将依赖关系声明如下： 4 "org.apache.spark现在，我想修改mllib中的一些代码，并使用sbt重新编译应用程序，下面是我所做的：
下载spark-1.6.0的源代码，修改mllib中的代码，并将其重新编译成一个名为source _2.10
浏览 1提问于2016-02-03得票数 1
我正在尝试运行Spark中的字数统计示例，它将从Kafka中流式传输数据。。然而，我发现Cloudera Spark发行版与孵化器发行版略有不同。我运行spark shell和从那里运行字数统计示例都没有问题。但是，bin文件夹中没有"run- example“脚本，如示例源代码所示。 * `.zoo03 my-consumer-group topic1,topic2 1`
我是jar的新手，但
浏览 0提问于2014-03-03得票数 4
我是Spark新手，在学习这个框架的过程中，我发现，据我所知，在用Scala编写时，有两种运行星火应用程序的方法：
将项目打包到一个JAR文件中，然后使用星火提交脚本运行它。
浏览 0提问于2018-12-23得票数 2
回答已采纳
2回答
我正在尝试使用Eclipse露娜中的Java1.8进行星火编程示例，并具有以下代码：List<Tuple2<String, Integer>> output = counts.collect(); //Compilation Error
我正在使用M2Eclipse来构建和创建jar，并在本地使用spark submit来执行jar
浏览 3提问于2015-06-15得票数 2
回答已采纳
我的问题是，如果我将我的pom文件中的源/目标级别设置为1.5，它就能正常工作。configuration>直到我将依赖项添加到我的项目： <groupId>com.sparkjava</groupId>
<artifactId>spark-core
浏览 2提问于2014-01-10得票数 0
回答已采纳
我想做一些非常简单的事情(我相信)，我在EMR Spark中运行我的自定义jar。现在我做的事情就像而且它被创建了一个fat jar (80MB-120MB)，这是一个痛苦的上传到S3。我想要的，是使用要获得文件夹中的所有jar，只需在S3中上传一次，然后，每次我想要上传新的jar时，都会上传编译后的jar，而不需要依赖项。我相信这可以通过一个将所有jars复制
浏览 0提问于2017-10-31得票数 1
1回答
我可以使用Spark 2.4和Scala 2.11中的Kudu，但我更喜欢迁移到Scala 2.12 , "org.apache.kudu" %% "kudu-spark2
浏览 4提问于2019-12-24得票数 2
我正在尝试构建一个旧项目。该项目依赖于在sparrow-1.0.jar中找到的java包 我将jar复制到lib_managed/jars和lib目录，但是在编译时，我仍然得到一个缺少类路径的错误。/lib的内容 root@26eefef538b1:/sparrow/spark-sparrow# tree -D lib|-- jars
| `-- sparrow-1.0-SNAPSHOT.jar|-- sparrow
浏览 26提问于2019-04-12得票数 1
回答已采纳
：：java.lang.ClassNotFoundException:未能找到数据源: net.snowflake.spark.snowflake。请在org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:657)，org.apache.spark.sql.DataFrameReader.load我已经加载了连接器和jdbc jar文件，并将它们添加到CLASSPATH中。pyspa
浏览 0提问于2020-01-20得票数 1
1回答
关于如何使用thin jar提交spark申请有什么见解吗？场景是这样的:如果某个特定的依赖项不存在于项目的类路径中，或者特定于某个发行版cloudera或hortonworks，那么如果没有使用适当版本的jars，它就会抛出一个异常。
浏览 2提问于2018-03-26得票数 0
我在我的maven项目中创建了一些类，并使用IntelliJ IDEA工件创建了一个jar文件。在新项目中导入jar文件，并在主函数中运行以下简单代码： public static void main(String[]args) throws Exception {
}它构建时没有错误，但我在运行时得到了以下错误：
Exce
浏览 1提问于2018-06-11得票数 0
回答已采纳
3回答
我一直在尝试使用spark-shell。我所有的数据都在sql中。I used to include external jars using the --jars flag like /bin/spark-shell --jars /path/to/mysql-connector-java-5.1.23-bin.jar --master spark://sparkmaster.com:7077
I have included it
浏览 5提问于2015-03-31得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
