我想通过REST API向Livy提交一个Pyspark应用程序来调用HiveWarehouse连接器。社区中的这个答案 https://community.cloudera.com/t5/Community-Articles/How-to-Submit-Spark-Application-through-Livy-REST-API我创建了一个test1.json，如
浏览 37提问于2020-01-11得票数 0
回答已采纳
我想知道是否也可以通过C#使用MLlib和graphx。同样，可以通过C#为apache spark创建机器学习和图形处理作业。
浏览 0提问于2017-06-01得票数 1
主要是关于星火作业，我想使用Apache，但不确定使用还是运行火花提交是个好主意。
什么是最好的方式跟踪火花工作使用气流，如果我甚至提交？
浏览 1提问于2019-01-17得票数 4
回答已采纳
同样，我使用支持Python3的PySpark创建了一些文件。有没有办法允许通过Livy API从外部调用Python Notebook？
浏览 48提问于2019-05-20得票数 0
1回答
通过livy交互式会话，我尝试从Jenkins部署一个pyspark应用程序。livy_submit --livy-url <edge node> -s sample.py有办法/解决办法吗？
**livy-提交=> pip安装
浏览 8提问于2021-03-26得票数 0
3回答
我正在尝试提交火花作业通过livy使用rest api。但是如果我多次运行同一个脚本，它会运行多个具有不同作业ID的作业实例。Livy document说()删除批处理作业，但是livy session不返回应用程序名称，只返回应用程序id。
有没有其他方法可以做到这一点？
浏览 2提问于2017-06-28得票数 3
我正在使用Spark 2.4 + Livy Server 0.5.0在Apache色调4.3上运行PySpark/SparkR。我已经跟踪了所有我能找到的指南，但我一直在探讨这个问题。基本上，我可以通过命令行运行PySpark/SparkR，但由于某些原因，HUE执行以下操作：
成功地为PySpark
浏览 3提问于2019-02-14得票数 1
回答已采纳
现在我想让工作对团队可用，这样人们就可以提交一个输入文件(可能通过一些web-API)，然后spark作业将被触发，它将返回给用户结果文件(也可能是通过web-API)。
浏览 0提问于2015-06-16得票数 0
Livy有一个批处理日志端点：GET /batches/{batchId}/log，在中指出
据我所知，这些日志是livy日志和，而不是火花驱动程序日志。我在一个print作业中有一个pyspark语句，它打印到驱动程序日志输出。我能够通过描述批处理端点https://livy.incubator.apache.org/docs/latest/rest-api.html#batch找到驱动程
浏览 7提问于2020-01-08得票数 3
我知道Apache Livy是用于从任何地方与spark进行交互的rest接口。那么，使用Apache Livy而不是spark-jobserver有什么好处呢？使用Livy作为替代的spark-jobserver的缺点是什么？我在网上找不到太多关于这个的信息。你能帮我弄清楚这一点吗。
谢谢,
浏览 4提问于2018-02-19得票数 18
有没有办法通过Powershell在HDInsight上提交Spark作业？我知道这可以通过Azure Data Factory中的活动来完成，但是有没有办法将python脚本从Powershell cmdlet提交到pyspark HDInsight？
浏览 3提问于2017-06-22得票数 0
1回答
我在安装了apache livy的google云平台上安装了dataproc。我正在使用livy rest api提交作业。当我试图从Yarn RM杀死livy作业时，我在浏览器控制台选项卡中得到以下错误。authenticated","javaClassName":"org.apache.hadoop.security.authorize.AuthorizationException"}}
当我打开Yarn RM<em
浏览 2提问于2018-09-22得票数 1
问题是:我有一个web应用程序，需要利用spark集群来运行spark-sql查询。我的理解是，提交作业脚本是异步的，因此这在这里不起作用。我如何在这样的设置中利用spark？我是否可以像在自包含的spark应用程序中一样，在web应用程序中编写代码，即创建上下文，设置主URL，然后执行我需要做的事情？这能在web应用中工作吗？如果是，那么我什么时候需要提供REST API的作业服务器来提交作业？
浏览 3提问于2016-09-13得票数 2
我不能使用像Livy，spark job server这样的第三方库。我想通过REST API创建启动和提交作业到spark集群的API。
浏览 19提问于2019-10-21得票数 0
回答已采纳
我使用Livy REST API提交Spark应用程序。我希望my_conf (json secrets)存储在AWS SSM参数存储中，并在我使用Livy的python脚本提交spark应用程序时从参数存储中使用它。
浏览 0提问于2020-02-21得票数 1
return callJson(getHandler("birthday"), request, response); }
这并不坏，但它需要反射才能查找生日方法，因此没有编译时验证是否存在生日处理程序方法
浏览 6提问于2017-10-17得票数 1
1回答
场景:
我也想使用Livy。
我也将为Livy创建一个服务。Livy能否与外部火花主沟通，并将作业发送给外部火花主？或者Livy应该安装在火星主节点上？
浏览 0提问于2018-09-26得票数 1
我是新手，需要知道如何将我的EC2作业提交到亚马逊EC2 Spark集群。就像在azure中一样，我们可以通过带有azure插件的IntelliJ idea直接提交作业。
浏览 1提问于2017-05-16得票数 0
3回答
我尝试在集群部署模式下运行spark会话：.enableHiveSupport_options.items():
308 with_active_spark_context
/usr/
浏览 10提问于2017-09-01得票数 8
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
