我正在尝试使用Livy Batch API来调用我的Spark应用程序。driverMemory": "16g","executorMemory": "8g","executorCores": 2,"numExecutors": 2,"queue": "default","name": "Livy_sample_progdriverMemory&
浏览 30提问于2020-04-04得票数 0
回答已采纳
1回答
我正在尝试使用EMR 6.1.0将语句发布到livy会话。但是我无法导入我正在尝试执行的类(到我的自定义jar中)。在创建会话时，我尝试在livy REST API的jars参数中传递这个jar，应用程序日志也显示它会被提取并上传到hdfs。 最初，我将jar保存在S3中，并在api中传递s3链接。我已经发布了这条println(sc.jars)语句，我得到了如下信息 ArrayBuffer(file:/usr/lib/<
浏览 16提问于2021-01-10得票数 1
回答已采纳
在网上浏览之后，我认为Livy可以用来做这件事。 Livy已经安装了HDP 2.5。因此，我使用POST/Sessions创建了新的Livy会话，并包含了我的jar文件。{"kind":"spark","name":"livy","jars":["/xyz.jar"],"proxyUser":"livy
浏览 32提问于2020-03-30得票数 0
3回答
我试图运行本地jar文件与火花提交，这是非常好的工作。spark-submit --class "SimpleApp" --master local myProject/target/scala-2.11/simple-project_2.11-1.0.jarcurl -X POST --data '{
"file": "file:///home/user/myProject/target/scal
浏览 0提问于2018-06-26得票数 9
回答已采纳
2回答
如何获得我在集群中使用的livy版本？我们在集群节点上有livy客户端和服务器，但是我需要知道它的版本是什么，最好是在一个horthonwork集群上。
浏览 0提问于2017-09-01得票数 0
我想通过REST API向Livy提交一个Pyspark应用程序来调用HiveWarehouse连接器。社区中的这个答案 https://community.cloudera.com/t5/Community-Articles/How-to-Submit-Spark-Application-through-Livy-REST-API/ta-p/247502 我创建了一个test1.json，如下所示 {
"jars": ["
浏览 37提问于2020-01-11得票数 0
回答已采纳
运行示例Spark Livy作业时出现“内部服务器错误:会话处于启动状态”错误。
我安装了用于使用REST API访问apache-spark的Livy，并启动了Livy服务器。java.io.IOException:内部服务器错误："java.lang.IllegalStateException: Session is in state starting”在com.cloudera.livy.client.http.JobHandleImpl.getJobHandleImpl.java:201
浏览 52提问于2017-03-01得票数 0
我开始使用Livy，在我的设置中，Livy服务器在Unix机器上运行，我可以对它执行curl并执行作业。我已经创建了一个fat jar并将其上传到hdfs，我只是从Livy调用它的main方法。Livy的Json负载如下所示： {SNAPSHOT.jar",
&
浏览 22提问于2019-10-02得票数 0
当我使用Data创建HDInsight Spark activity时，有两个类型的选项(脚本和jar)，当我选择jar来运行时(我使用scala来开发jar文件，它运行shows by remoteSLF4J: Found binding in [jar:file:/usr/hdp/2.6.5.3009-43/spark2/jars/slf4j-log4j12-1.7.16.jar!/spark-llap-assembly-1.0.0
浏览 3提问于2019-10-22得票数 1
目前，要通过集群中的Apache Livy启动spark Job，我使用以下命令……. org.apache.spark.deploy.SparkSubmit --conf spark.master=yarn-cluster --conf spark.yarn.tags=livy-<em
浏览 2提问于2018-03-30得票数 1
3回答
我最近开始使用Scala、HDFS、sbt和Livy。目前我试图创建livy batch。Warning: Skip remote jar hdfs://localhost:9001/jar/project.jar.
java.lang.ClassNotFoundException: SimpleAppspark-submit --class "SimpleApp" --master local target/scal
浏览 0提问于2018-06-21得票数 1
我还可以从浏览器访问livy API端点
{"from":0,"total":5,"sessions":[{"id":0,"state":"dead","appId":null,"appInfo":{driverLogUrl":null,"sparkUiUrl":null},"log":["java.lang.Exception: No Y
浏览 7提问于2018-05-03得票数 0
1回答
使用亚马逊emr-5.30.1配Livy 0.7和Spark2.4.5curl -X POST \
-d '{"conf": {"kind" : "spark","jars": "s3://cjspro-emr-data/spark-examples.
浏览 2提问于2020-07-16得票数 1
1回答
'{"file": "/user/root/jsmith/test1.py"}' -H "Content-Type: application/json" localhost:8998/batches 获取作业状态
浏览 41提问于2020-01-08得票数 1
我使用Livy REST API提交Spark应用程序。{ “className”: “<main-class>”, “conf”: my_conf
}我希望my_conf (json secrets)存储在AWS SSM参数存储中，并在我使用Livy的python脚本提交spark应用程序时从参数存储中使用它。如何向/从参数存储中存储和获取(在python中获
浏览 0提问于2020-02-21得票数 1
在我安装Apache Livy的机器上(在Ubuntu 16.04上)：[INFO] Reactor Summary:[INFO] livy-apiSUCCESS [ 25.377 s]
[INFO] livy-scala-api_2.10 ................................SUCCESS [
浏览 1提问于2016-11-30得票数 8
我得到了这个错误：Getting Error in Airflow UI - "No module named 'airflow_livy'"。from datetime import datetime, timedeltafrom airflow.contrib.operators.spark_submit_operatorworld example', schedule_interval=
浏览 2提问于2020-08-05得票数 0
1回答
我想使用livy编程API提交批处理jar Spark作业，就像使用rest批处理一样，我有json数据 "className": "org.apache.spark.examples.SparkPi", "name": "SparkPi by Livy",
"proxyUser": "hadoop&
浏览 1提问于2018-11-21得票数 2
我试图使用Livy远程提交几个Spark作业。spark.executor.extraJavaOptions= -XX:+UseG1GC" \--deploy-mode cluster \\--end=2012-12-21 \--run-spiders
注意:
浏览 0提问于2018-08-08得票数 1
回答已采纳
我已经制作了一个jar，其中我的主要代码是(用java火花编写的)。我还需要一些外部jar来运行我的主代码(主jar)，如何使用Livy中的python脚本提交和执行jar呢？(使用火花提交)更新livy代码livy</
浏览 0提问于2019-08-04得票数 0
回答已采纳
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
