1回答
分布式rest调用和聚合
、、、
我有一个客户端的用例，需要从web rest服务加载大量数据。此rest api具有高度可伸缩性，显然在处理超过10000+的并发请求时没有任何问题。尽管我的代码寻找一个API来包装这个rest服务来完成这种大型数据加载。
浏览 20提问于2019-02-27得票数 0
回答已采纳
我想了解是否可以使用连接到Amazon EMR中实现的Spark master节点的flask应用程序。目标是从web应用程序调用Flask来检索spark输出。端口在amazon EMR集群的安全组中是开放的，但我无法从他的端口外部访问它。 你觉得那个怎么样？还有其他的解决方案吗？
浏览 17提问于2020-07-06得票数 0
回答已采纳
Mobius是apache spark的c#绑定。我想知道是否也可以通过C#使用MLlib和graphx。同样，可以通过C#为apache spark创建机器学习和图形处理作业。
浏览 0提问于2017-06-01得票数 1
在网上浏览之后，我认为Livy可以用来做这件事。 Livy已经安装了HDP 2.5。因此，我使用POST/Sessions创建了新的Livy会话，并包含了我的jar文件。{"kind":"spark","name":"livy","jars":["/xyz.jar"],"proxyUser":"livy"} (我必须包含标题‘x
浏览 32提问于2020-03-30得票数 0
我是spark的新手，想在本地机器上做rest url提交，每次提交到远程集群时，我都能在远程cluster.but上做rest提交，有没有什么办法我可以在本地机器上提交jar来触发rest url进行功能测试
浏览 20提问于2018-02-28得票数 0
Dask是一个纯粹的基于python的分布式计算平台，类似于Apache Spark。有没有办法通过REST API运行和监控Dask分布式作业/任务，比如Apache Livy for Apache Spark？
浏览 41提问于2021-09-26得票数 1
1回答
我想使用livy编程API提交批处理jar Spark作业，就像使用rest批处理一样，我有json数据 "className": "org.apache.spark.examples.SparkPi", "name": "SparkPi by Livy",
"proxyUser": &quo
浏览 1提问于2018-11-21得票数 2
1回答
我在安装了apache livy的google云平台上安装了dataproc。我正在使用livy rest api提交作业。当我试图从Yarn RM杀死livy作业时，我在浏览器控制台选项卡中得到以下错误。AuthorizationException","message":"Unable to obtain user name, user not authenticated","javaClassName":"
浏览 2提问于2018-09-22得票数 1
有没有办法通过Powershell在HDInsight上提交Spark作业？我知道这可以通过Azure Data Factory中的活动来完成，但是有没有办法将python脚本从Powershell cmdlet提交到pyspark HDInsight？
浏览 3提问于2017-06-22得票数 0
apache Livy文档很稀疏:是否可以使用Apache Livy将Spark SQL查询结果集作为REST调用返回？调用应用程序是移动的，它不能使用odbc/jdbc进行连接。
浏览 6提问于2017-08-16得票数 3
我知道Apache Livy是用于从任何地方与spark进行交互的rest接口。那么，使用Apache Livy而不是spark-jobserver有什么好处呢？使用Livy作为替代的spark-jobserver的缺点是什么？我在网上找不到太多关于这个的信息。你能帮我弄清楚这一点吗。
谢谢,
浏览 4提问于2018-02-19得票数 18
我们正在使用Apache Livy 0.6.0-孵化，并使用其REST API通过/batches/ API调用自定义spark jar。
自定义spark代码从HDFS读取数据并进行一些处理。这段代码是成功的，REST响应也是“成功”。我们希望数据返回给客户端，就像/session/ API返回数据的方式一样。有没有办法做到这一点？注意:/session/ API只能接受spark scal
浏览 0提问于2019-07-15得票数 2
我想通过REST API向Livy提交一个Pyspark应用程序来调用HiveWarehouse连接器。社区中的这个答案 https://community.cloudera.com/t5/Community-Articles/How-to-Submit-Spark-Application-through-Livy-REST-APISTART_ARRAY标记反序列化\n java.lang.String的实例：(org.eclipse.j
浏览 37提问于2020-01-11得票数 0
回答已采纳
我试图通过Apache Livy提交一个spark作业，但是LivyClient的uploadJar方法失败了。org.apache.livy.rsc.driver.JobContextImpl.addJarOrPyFile(JobContextImpl.java:151) at org.apache.livy
浏览 0提问于2019-08-07得票数 1
我想在Spark集群外部的一个节点(VM实例)上安装Apache Livy服务器。我怎么做才能让LivyServer指向Spark集群？在livy/conf/livy.conf中进行更改 livy.spark.master = spark://{spark-cluster-master_IP}:7077
livy.spark.deploy-mode= cluster livy服务器已使用命令启动 livy
浏览 26提问于2019-09-24得票数 1
我正在windows上执行cmd: mvn -e clean来安装apache livy，这会导致livy-server构建失败。SUCCESS [ 3.803 s][INFO] livy-scala-api-parent ..............................SKIPPED
[INFO] livy</e
浏览 6提问于2019-05-03得票数 0
我正在尝试将logback.xml与Apache ReST API结合使用，并且很难让它正常工作。我尝试提交logback.xml路径，如下所示。所以我的问题是，我如何让Livy使用logback.xml。
浏览 4提问于2019-11-19得票数 0
云服务器
ICP备案
云点播
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号