在实现流时，如何使用addJar()方法？newJob()使用DAG：config.addJar("..");
jet.newJob(dag, config).execute
浏览 5提问于2017-03-16得票数 0
回答已采纳
当火花作业需要jar文件时，需要通过以下两种方式将其添加到火花作业中：
原因是驱动程序运行在与客户端不同的机器上。1.spark-shell --
浏览 3提问于2017-03-22得票数 3
回答已采纳
我需要将一些外部依赖库(在我的例子中是spark-streaming-mqtt_2.10-1.5.2.jar)添加到我的pyspark计数代码中。我知道我们可以在submit中添加具有-jars属性的外部jars，也可以使用运行。但是我想将这个jar添加到我的代码中或文件中。我发现我们有SparkContext.addJar()方法，它可以包含在代码中。no attribute 'addJar</e
浏览 8提问于2016-11-25得票数 1
回答已采纳
它可以很好地运行以下命令：是的，它在本地模式下运行，只在主节点上执行我希望能够启动我的PySpark脚本，尽管我只想：因此，我在我的PySpark脚本中添加了以下代码行，以方便这一点：findspark.init_jsc.addJar('/absol
浏览 1提问于2018-02-01得票数 2
回答已采纳
我正在尝试使用SparkLauncher运行一个火花作业。我的火花应用程序jar不是一个胖jar，它依赖于许多其他第三方jar，在SparkLauncher中有指定依赖jar的方法吗？
浏览 0提问于2016-10-21得票数 1
回答已采纳
我已经在VM中安装了Spark1.6(使用gettyimages )，我想要连接到这个VM。我的Spark应用程序使用Cassandra，如果我用setMaster("local[2]")运行它，它将运行得非常好。我在上发现了类似的问题，建议使用addJar(...)向SparkContext添加必要的库jars。 "com.
浏览 3提问于2016-03-16得票数 1
回答已采纳
我正尝试在ibm bluemix中的新笔记本上运行AddJar。%AddJar https://github.com/ibm-cds-labs/spark.samples/blob/master/dist/helloSpark-assembly-2.1.jar -f
浏览 2提问于2016-08-29得票数 0
我正在使用Livy/Spark，我对如何使用其中的一些感到有点困惑。在livy examples文件夹中有一个上传到spark的构建作业的示例。我喜欢正在使用的接口，但我想通过http连接到livy/spark，因为我没有java客户端。这样看来，如果我使用livyclient上传jars，它只存在于那个spark会话中。我希望能够通过shell做交互的事情，但我也想为我经常使用的spark中不可用的算法创建自定义作业。我不确定我应该用什么方法来解决这个问题。有什么想
浏览 2提问于2018-05-12得票数 1
我正在尝试将JDBC驱动程序添加到在Amazon之上执行的Spark集群中，但我一直得到以下内容：
使用addJar显式地从代码中添加驱动程序Jar。使用spark.driver.userClassPathFirst=true时，当我使用这个选项时，我得到了一个不同的错误，因为将依赖项与Spark混合在一起，如果我只想<
浏览 3提问于2015-09-24得票数 3
我在IBM COS中有一个库jar文件，我想将其添加到watson stdio中的scala笔记本中。我想使用%addJar，但不确定访问该对象的URL应该是什么。当我右击对象时，我得到addJars不能识别的URL "cos://“。谢谢
浏览 29提问于2018-06-03得票数 0
在星火作业中，我不知道如何导入和使用方法SparkContext.addJar()共享的jars。该方法似乎能够将jars移动到集群中其他节点可以访问的某个位置，但我不知道如何导入它们。然后我创建一个火花作业，代码如下所示：import org.apache.spark.SparkContext
val sparkConf = new SparkConf
浏览 2提问于2017-03-22得票数 3
回答已采纳
我使用了一个独立的spark集群，一个master和2个worker。我真的不明白如何明智地使用SPARK_CLASSPATH或SparkContext.addJar。我两个都试过了，看起来addJar并不像我以前相信的那样工作。JavaSparkContext sc = new JavaSparkContext(&qu
浏览 0提问于2014-03-17得票数 6
回答已采纳
我有一个示例代码从卡夫卡读取，并排出到一个IMap。当我从命令行运行它(使用jet-submit.sh并使用JetBootstrap.getInstance()获取JET客户端实例)时，它工作得非常好。当我运行相同的代码(使用Jet.newJetClient()获取实例并在->上作为Eclipse应用程序运行)时，我得到：
java.lang.ClassCastException: cannot assign
浏览 0提问于2018-07-04得票数 0
我发现上传似乎在大约一分钟后就放弃了。我得到了大约1mb每秒的上传速率，它在一段时间后下降，然后停止。我重复了几次，同样的事情也发生了。下面是我使用的配置代码：ClientUserCodeDeploymentConfig clientUserCodeDeploymentConfigclientUserCodeDeploymentConfig.addJar("jar dependancy path..");
client
浏览 2提问于2020-01-21得票数 0
为了允许他们在网站上注册，我使用来自PyroCMS的Streams API来构建表单。这些用户将是两个不同模块的一部分，即雇主模块和求职者模块。在details.php文件中，在install()函数下，我希望创建多个流(数据库表)。以下代码帮助我们添加流：下面的代码将帮助我们定义要添加到流中的字段：
浏览 4提问于2012-07-07得票数 1
3回答
我有一个特殊的问题，我想知道Java 8流API是否能解决这个问题。我知道这可以在使用Streams API之外完成，但是如果可以使用Streams，我不想添加与尝试实现这一目标相关的所有样板代码。Ciao");还有一张钥匙清单：
List<String> keys = Arrays.asList(&quo
浏览 0提问于2019-06-14得票数 4
回答已采纳
characterAfterEncryption > 122) { }
试图避免在Java8中使用传统循环。无法找到一种方法，如何使用流来实现它？
浏览 1提问于2022-11-08得票数 -2
我正在Play Framework (2.4.0) / scala中构建一个应用程序，并尝试添加play.api.libs.streams，以便在我的应用程序中使用对象Streams。org.scalatestplus" %% "play" % "1.4.0-M4" % Test,
)
现
浏览 2提问于2016-07-04得票数 0
回答已采纳
ConcurrentKafkaListenerContainerFactory<>(); return factory; streamsConfiguration.put= new KafkaStr
浏览 25提问于2019-01-31得票数 1
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
