我们正在尝试从spark 1.6迁移到spark 2.1。我尝试在本地配置spark master和worker，发现spark REST api与之前不同。在spark 1.6中，当我开始使用master时，我使用以下url来获取所有应用程序的响应
现在，在spark 2.1中，我尝试了同样的方法，但并不像预期的那样。
浏览 3提问于2017-06-24得票数 2
一直试图从我的基于Java的Spark (v2.0.0)代码中获得与OrientDB的数据库连接(v2.1.16)，但到目前为止还没有成功。专用于OrientDB/Spark的唯一可用连接器似乎只适用于Scala代码：https://github.com/metreta/spark-orientdb-connector，因为Java和ScalaOrientDB有一个JDBC驱动程序，我也尝试过这个路由：
SparkSession spark = SparkSession.
浏览 0提问于2016-07-28得票数 -1
1回答
REST API与Spark交互
、、、、
我正在尝试将我的Spark上下文与REST API连接起来。所以我的流程是这样的，我将请求从我的UI- nodejs发送到REST API，它需要与包含所需响应的spark上下文( Spark job在hive表上工作)进行交互，并将其发送回UI进行显示。UI <->REST API<-> Spark (HDFS)
浏览 14提问于2017-12-27得票数 2
2回答
与\\false\\ = \false\相同data "template_file" "master_spark_defaultsrest_port = "${var.spark_master_
浏览 1提问于2019-01-04得票数 1
回答已采纳
我试图从java程序中使用Spark，其中pom.xml中的依赖项指向SparkVersion1.6.0。下面是程序import org.apache.spark.SparkConf;import org.apache.spark.sql.DataFrame;
import org.apache.
浏览 5提问于2017-04-25得票数 1
回答已采纳
我们在java中使用spark，并创建了Java REST api来调用我们的spark代码。在调用REST url时，我的java方法将创建SparkSession和上下文以进行计算。这对于单个请求可以很好地工作，但是对于多个请求，我们同时收到了与SparkContexts相关的问题:在同一驱动程序JVM中有多个SparkContexts
也尝试使用: conf.set("spark.driver.allowMultipleContexts"，&q
浏览 0提问于2019-06-10得票数 1
1回答
Sql数据集Spark2
、、、
正在尝试在Spark2中运行JavaSparkSQLExample。使用spark-core_2.11-2.0.2和spark-sql_2.11-2.0.2。另外，我们如何构建会话--因为您不能使用：.config("spark.some.config.option", "some-value")运行。SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A m
浏览 1提问于2016-12-08得票数 1
在Java Spark框架中，如何使用/api/search等REST端点在根/上提供静态文件(index.html、CSS、JS Spark.staticFiles.location("/"); Sp
浏览 17提问于2020-02-07得票数 0
我们使用Spark运行一个ETL进程，通过这个过程从一个庞大的(500+GB) MySQL数据库加载数据，并转换成聚合的JSON文件，然后写入Amazon。
浏览 0提问于2018-08-01得票数 1
回答已采纳
我想使用Spark REST API来获取指标并发布到云手表。但RESR API类似于：如果我给出了主主机和应用程序id，使用Spark 2.1导入org.apache.spark.sql
浏览 3提问于2018-01-06得票数 1
回答已采纳
spark-submit允许使用--conf spark.executorEnv.FOO=bar配置executor环境变量，Spark REST API允许使用environmentVariables不幸的是，在集群模式下使用spark-submit提交驱动程序时，我没有发现与配置驱动程序的环境变量类似的内容：
spark-submit --deploy-mode cluster myapp.jar是否可以在集群模式下使用spark
浏览 1提问于2016-06-18得票数 19
该功能已经作为REST API提供，并在Cloudfoundry上运行。我们希望提供对使用Spark Streaming和kafka摄取时间序列数据的支持，以便解决方案更具可扩展性和健壮性。从spark streaming内部调用REST API在spark中原生构建功能有什么缺点？
浏览 8提问于2017-02-16得票数 0
2回答
在纱线集群模式下部署Spark时，如何下发Spark监控REST API调用？YARN有没有一个API可以接受REST调用的例子(我已经知道app-id了)
，将其代理到正确的驱动程序端口，并将JSON返回给我？我指的是我的委托人。假设(或者已经设计好了)由于安全原因，我不能直接与驱动程序机器对话。
浏览 2提问于2016-10-01得票数 3
使用以下内容作为请求的主体，触发带有命名参数的python应用程序的本地REST filename，通过火花提交成功地创建了驱动程序，但是执行失败的信息很少。是--文件名参数导致的吗？有什么想法吗?", "spark.driver.supervise": "false",
"spark.app.name": "Spark REST API
浏览 3提问于2022-01-19得票数 0
我不太擅长这些web内容，但我已经成功地移植了一个小型的Spark应用程序，以提供从jetty到Tomcat的REST服务，这是按照Leonan Luppi in的项目进行的。但是在WebContent/WEB/lib文件夹中，如果我替换了该文件更新的版本：应用程序不工作。
有什么建议吗？
浏览 2提问于2016-09-01得票数 0
有没有办法通过Powershell在HDInsight上提交Spark作业？
浏览 3提问于2017-06-22得票数 0
我使用Spark和Hive库来实现SQL连接和浏览。 我正在使用一些我从Spark和Hive扩展而来的API，类，以及我使用过的它的内部方法。现在，许多API、类构造函数和方法语法都发生了变化。为了支持Spark的多个版本，我目前使用反射来实现Spark方法/API调用的兼容性。 例如:假设ThriftBinaryCLIServive是我扩展的一个类。Hive1.2和Hive2.1中的构造函数发生了变化。，Runnable oomHook)
浏览 42提问于2019-01-10得票数 2
回答已采纳
" : "test_user","files" : ["hdfs:///user" : "yarn","spark.executor.extraClassPath" :
"/etc/hbase/conf/&q
浏览 22提问于2019-10-02得票数 0
问题是:我有一个web应用程序，需要利用spark集群来运行spark-sql查询。我的理解是，提交作业脚本是异步的，因此这在这里不起作用。我如何在这样的设置中利用spark？我是否可以像在自包含的spark应用程序中一样，在web应用程序中编写代码，即创建上下文，设置主URL，然后执行我需要做的事情？这能在web应用中工作吗？如果是，那么我什么时候需要提供REST API的作业服务器来提交作业？
浏览 3提问于2016-09-13得票数 2
我有一个关于spark应用程序用法的问题。因此，我希望我们的Spark应用程序作为REST API Server运行，就像Spring Boot应用程序一样，因此它不会是批处理过程，相反，我们将加载应用程序，然后我们希望保持应用程序的活动状态(不调用spark.close())，并通过我们将定义的一些应用程序接口将应用程序用作实时查询引擎。
浏览 1提问于2020-09-01得票数 1
云服务器
ICP备案
云点播
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号