因此，我最近对使用sbt控制台/spark-shell进行开发更感兴趣了，并且我有一个关于使用现有包/jars的问题。因此，我知道您可以导入可以覆盖类的jars，但我想知道:是否可以覆盖类并强制所有其他类指向被覆盖的类？所以如果我有 def a() = { (new Foo).blah()}我重写了Foo，有没有一种方法可以让我不需要重写
浏览 9提问于2016-07-06得票数 1
2回答
org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
[ec2-user@ip-172-31-41-131 df]$ 是不是因为类没有在脚本中定义
浏览 129提问于2020-12-12得票数 0
1回答
从sbt运行火花壳
、、、
然而，提到它可以通过sbt安装。我找不到这方面的文件。在使用spark-sql和spark-core的sbt项目中，没有找到spark-shell二进制文件。如何从sbt运行spark-shell？
浏览 0提问于2019-06-24得票数 4
回答已采纳
我有一个简单的测试spark程序，如下所示，奇怪的是它在spark-shell下运行良好，但会得到一个运行时错误在spark-submit中，但是为什么编译没有问题，并且在spark-shell下工作得很好？谢谢!
浏览 1提问于2015-07-23得票数 0
我通过这个文件树从一个项目创建了一个jar包：src/mainsrc/main/scala/Tester.scala其中，Tester是一个函数的类(名称是print())，main有一个要运行的对象，它打印"Hi!“(来自spark文档) sbt成功创建了一个jar文件，并且在spark-submit中工作良好
现在我想把它添加到<e
浏览 12提问于2016-10-26得票数 36
回答已采纳
3回答
我使用的是Spark 1.4.1。我可以毫不费力地使用spark-submit。但是当我运行~/spark/bin/spark-shell时15/10/08 02:40:30 WARN NativeCodeLoader: Unable to load native-hadoop library for
浏览 7提问于2015-10-08得票数 8
我已经将spark、sbt、scala和git下载到我的Windows计算机上。当我尝试在命令提示符中运行spark-shell时，我得到"Failed to find Spark assembly JAR。在运行此程序之前，您需要使用sbt\sbt程序集构建Spark。
浏览 2提问于2017-03-24得票数 2
2回答
我正在尝试安装PySpark，并遵循，并从安装了Spark的群集节点上的命令行运行此命令：这会产生以下错误：$ spark-shell$ python
浏览 2提问于2014-08-19得票数 10
回答已采纳
我正在尝试使用从HBase获取数据。org.apache.spark.sql.execution.datasources
在我的本地.m2存储库中已经存在.jar of org.apache.hbase.hbase-spark.我真的想知道这个包在哪里(我想在这个包中使用的对象是
浏览 0提问于2018-06-08得票数 1
回答已采纳
1回答
我有一个应用程序，通过调用spark-shell来运行每个spark sql查询。因此它将生成一组如下查询，并调用spark-shell命令逐个处理这些查询。val Query=spark.sql(“从default.movieTable”中选择userid为userid，rating为rating，movieid为movieid )；
现在我想使用spark-submit而不是spark-shell来运行这个应用程序。
浏览 0提问于2018-10-16得票数 0
2回答
sessions_groups:RDD[(String, Iterable[(Action, Long)])] = logs.groupByKey().cache()
现在，我们想要研究会话中的Action共现，例如，会话中的重写次数然后，我们定义了将从会话操作中初始化的类Cooccurrences。
浏览 1提问于2015-02-07得票数 2
3回答
在检查如何使用cassandra连接时，文档指示将其添加到sbt文件中：一般来说，是否有一个显而易见的、直接的逻辑来将其转化为相应的：我试过：
spark-shel
浏览 3提问于2016-03-18得票数 5
回答已采纳
1回答
我正在尝试将一个参数传递给spark-shell。例如，我想把今天的日期作为scala代码中的一个变量。我找到的解决方案是然而，这不起作用。spark-shell会运行，但在它开始运行后不会执行任何东西。我是scala的新手，以前只用过python。另外，我不想使用sbt，我只想使用spark-shell。
浏览 0提问于2019-12-09得票数 0
1回答
目前，我正在运行spark-shell，以便编写一些基本的Scala并完成我的教程。现在，本教程希望我在spark中添加一个库，以便导入它并将其用于示例。我已经下载了库的.jar文件。/spark-shell之前，我需要添加命令吗？另外，当我创建一个独立的程序(使用sbt并在build.sbt中声明该库)时，spark是否会在/spark/jars/文件夹中找到.jar，或者我是否需要将它放在其他地方？
浏览 11提问于2017-07-10得票数 0
回答已采纳
我习惯于在Ruby on Rails项目上工作，在做其他事情之前，我会使用rails console命令来测试我所有的模型。我正在寻找一个等效的控制台，以便使用我在application.conf (db.default.url)内部提供的数据库来测试我的模型。我该怎么做呢？
浏览 9提问于2016-01-22得票数 8
我在一个带有spark-cloudant依赖关系的sbt管理的Spark项目上工作。代码是。我在build.sbt中添加了下面一行因此，build.sbt看起来如下}
assemblyOption in assembly := (assemblyOption in assembly).value.copy(includeScala
浏览 5提问于2016-12-03得票数 3
回答已采纳
我在spark-shell中使用以下代码运行scala代码：name := "Simple Project"scalaVersion := "2.11.8"
libraryDependencies我在使用<em
浏览 2提问于2017-12-08得票数 4
回答已采纳
在SBT 1.2.8中，由于导入了3个插件- sbt-scalajs-crossproject (0.6.0)，sbt-scalajs (0.6.26)和sbt-assembly (0.14.9)，我在项目中收到了被驱逐的警告依赖关系图如下所示，当我启动sbt控制台时，会出现两个逐出并发出警告。 ? 我知道如何覆盖我导入的库的驱逐警告，但是如何控制插件的驱逐警告呢？这里的两个重写似乎都是无害的，它们只是一些小的版本颠簸。
浏览 30提问于2019-03-18得票数 0
回答已采纳
我正在使用Spark和Cassandra，一般来说，事情都很简单，并按预期工作；特别是spark-shell和运行.scala进程来获得结果。我现在正在考虑Spark Job Server的使用；对于测试项目以及开发的一些初始的、简单的.scala，我已经启动并运行了作业服务器，并且工作正常。然而，我现在想要获取一个在spark-shell中工作的.scala程序，并将其放到Spark Job Server上，以便通过该机制进行访问。我遇到的问题是Job Server似乎无法识别cassandra周围的import语句，并
浏览 7提问于2017-12-07得票数 0
我是新的sbt插件发布，我刚刚重写了一些功能的一个现有插件。它一直在本地工作，我在sbt控制台上运行了。现在，我想将它发布到连接库。有什么好的教程可以做吗？
浏览 4提问于2014-08-07得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
