文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

使用 Livy Rest API 提交 spark 批量任务 （jar，Python， streaming）

Livy是一个开源的REST 接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。 ? image.png Livy封装了spark-submit并支持远端执行。...启动服务器 执行以下命令，启动livy服务器。 ./bin/livy-server 这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。...如果是本地开发模式的话，直接使用本地文件即可（注意必须配置livy.conf文件，设置livy.file.local-dir-whitelist = directory，以允许文件添加到session）...ID，这里为0，我们可以通过下面的命令查看任务状态： curl localhost:8998/batches/0 | python -m json.tool % Total % Received...： curl -X DELETE localhost:8998/batches/1 {"msg":"deleted"} 当重复调用上述接口时，什么也不会做，因为任务已经删除了： curl -X DELETE

3.5K30

Livy：基于Apache Spark的REST服务

Spark应用程序，伴随应用程序启动的同时Spark会在当前终端启动REPL（Read–Eval–Print Loop）来接收用户的代码输入，并将其编译成Spark作业提交到集群上去执行；二是批处理，批处理的程序逻辑由用户实现并编译打包成...Livy Livy是一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。...与原生Spark不同的是，所有操作都是通过REST的方式提交到Livy服务端上，再由Livy服务端发送到不同的Spark集群上去执行。说到这里我们首先来了解一下Livy的架构。...当我们提交请求创建交互式会话时，我们需要指定会话的类型（“kind”），比如“spark”，Livy会根据我们所指定的类型来启动相应的REPL，当前Livy可支持spark、pyspark或是sparkr...Livy的REST API设计为非阻塞的方式，当提交代码请求后Livy会立即返回该请求id而并非阻塞在该次请求上直到执行完成，因此用户可以使用该id来反复轮询结果，当然只有当该段代码执行完毕后用户的查询请求才能得到正确结果

4.4K80
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    如何通过Livy的RESTful API接口向Kerberos环境的CDH集群提交作业

    ，基于Apache Spark的开源REST服务，加入Cloudera Labs》、《如何编译Livy并在非Kerberos环境的CDH集群中安装》、《如何通过Livy的RESTful API接口向非Kerberos...本篇文章主要介绍如何使用java代码调用Livy提供的RESTful API接口向Kerberos环境的CDH集群提交Spark作业操作。...Spark作业 KBHttpUtils.postAccess(LIVY_HOST + "/batches", headers, submitJob); //通过提交作业返回的...3.通过CM和Yarn的8088界面查看作业执行结果 CM上Yarn的应用程序界面显示 [5o7whmy9tk.jpeg] Yarn的8088界面显示 [qm13ahj3lq.jpeg] Spark的...History界面显示 [l4j8f2kw6u.jpeg] 显示作业运行成功 5.总结 ---- 在Java 访问Kerberos环境的Livy API接口时需要在代码中加载krb5.conf、login-yran.conf

    4.3K120

    如何在Hue中添加Spark Notebook

    在前面Fayson也介绍了《Livy，基于Apache Spark的开源REST服务，加入Cloudera Labs》、《如何编译Livy并在非Kerberos环境的CDH集群中安装》、《如何通过Livy...的RESTful API接口向非Kerberos环境的CDH集群提交作业》、《如何在Kerberos环境的CDH集群部署Livy》、《如何通过Livy的RESTful API接口向Kerberos环境的...CDH集群提交作业》、《如何打包Livy和Zeppelin的Parcel包》和《如何在CM中使用Parcel包部署Livy及验证》，本篇文章Fayson主要介绍如何在Hue中添加Notebook组件并集成...5.通过菜单切换运行环境，可以是R、PySpark、Scala、Impala、Hive等 ? 6.运行Spark Notebook成功可以看到Livy中已成功创建了Spark Session会话 ?...推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

    8.7K30

    如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业

    ，基于Apache Spark的开源REST服务，加入Cloudera Labs》和《如何编译Livy并在非Kerberos环境的CDH集群中安装》，Livy提供了两种类型的API(编程API和RESTful...API接口)，本篇文章主要介绍如何使用java代码调用Livy提供的RESTful API接口向非Kerberos环境的CDH集群提交Spark作业操作。...; /** * package: com.cloudera * describe: 通过Java代码调用Livy的RESTful API实现向非Kerberos的CDH集群作业提交 * creat_user...Spark作业 HttpUtils.postAccess(LIVY_HOST + "/batches", headers, submitJob); //通过提交作业返回的...3.查看Livy界面提交作业的状态 [3weekffrp8.jpeg] 4.通过CM和Yarn的8088界面查看作业执行结果 Yarn的应用程序界面显示 [935ble4eve.jpeg] [2qkszjiegr.jpeg

    2.7K70

    Livy Session 详解（中）

    : Livy is an open source REST interface for interacting with Apache Spark from anywhere）相关的请求。...其中的 execute 方法用来执行代码片段： pyspark 类型的解释器用于执行 python、pyspark 代码片段 pyspark3类型的解释器用于执行 python3、 python3 spark...主要职责是： 启动 interpreter，并获取 SparkContext 持有线程池来异步执行 statements（通过 interpreter 来执行） 持有线程池来异步取消 statements...这种串行的方式有明显的弊端，即当 Session 的资源足以执行多个 statement 时，也只能一个接着一个执行，这既浪费了资源，有延长了任务运行的整体时间。那为什么还要这么做呢？...1.3.3、启动 Session 主要是调用 interpreter#start，该启动也是提交到 interpreterExecutor 中执行的，在启动后就会将 Session 的 state 修改为

    1.8K40

    Livy，基于Apache Spark的开源REST服务，加入Cloudera Labs

    REST API比较方便的与Spark集群交互。...通过简单的REST接口或RPC客户端库，它可以让你轻松的提交Spark作业或者Spark代码片段，同步或者异步的结果检索，以及SparkContext管理。...Livy还简化了Spark和应用程序服务器之间的交互，从而为web/mobile应用简化Spark架构。...3.预编译的jars，代码片段或者Java/Scala客户端API都可以用来提交作业。 4.安全认证的通信。 要使用Livy，集群中必须安装Spark 1.4或以上版本，Scala2.10。...强烈建议配置Spark on YARN，以确保用户会话可以连接到YARN集群中，并使用YARN分配的资源，也可以保证当有多个会话连接时，运行Livy服务的节点不会负载太高。

    2.6K80

    如何在HUE上使用Spark Notebook

    其中 liuyzh2.xdata是Spark2 History Server所在机器的主机名 18081端口是Spark2的spark.history.ui.port属性值 HUE是通过livy server...其中： show_notebooks：显示或不显示笔记本菜单 默认值： true enable_batch_execute：此标记用于通过 Oozie 以后台任务的形式批量提交查询。...当新建了一个pySpark Notebook后，后台会以登陆HUE系统页面的用户身份（比如hue）新建一个livy-session-xx的Spark应用程序，如下图所示： ?...同时在会话左侧也会出现一个圆圈，表示正在初始化一个livy session会话，如下图所示： ? 当圆圈消失，出现执行按钮时，我们就可以执行代码了。...Spark livy session空闲过期时间默认为1小时，可在spark2-conf.xml内修改livy.server.session.timeout值。

    4.5K31

    Livy Session 详解（上）

    本文基于 incubator-livy 0.4.0-incubating 从Livy Rest Api的介绍中我们可以知道，livy 共有两种 job，分别是 session 和 batch。...然而，在源码实现中，session 和 batch 都是 Session 的子类，rest api 中的 session 对应源码中的 InteractivateSession；rest api 中的...在之后关于 livy 的所有文章中，session 或 batch 对应 rest api 中的含义，InteractivateSession 和 BatchSession 及 Session 都对应代码中的含义...该 server 会在 driver 启动时被 driver 中的 rpc client 连接并告知 driver 中的 RpcServer 的信息，以便之后 client 端可以通过该信息向 driver...来确定 driver 的状态是否 ok，若 PingJob 成功执行，则说明 driver 状态 ok，将 session 置为 running 状态；若出错或失败，则说明 driver 出了一些问题

    2.8K40

    Spark实战系列4：Spark周边项目Livy简介

    孵化中） 2 Livy概述 Livy 是 Apache Spark的 一个REST服务，Livy可以在任意平台上提交Spark作业 Livy可以在WEB／Mobile中提交（不需要Spark客户端）可编程的...Apache Livy是 一个可以通过REST接 口轻松的与Spark集群进 行交互的服务，它可以很 方便提交Spark作业或者Spark代码 片段，同步或者异步的进 行结果检索以及Spark Context...服务器，以实现良好的容错性和并发性 作业可以作为预编译的jar，代码 片段或通过java / scala客户端API提交 通过安全的认证通信确保安全 4 Livy官网结构 Livy的安装运 行 至少是基于...LIVY_CONF_DIR 在启动Livy时，可以通过设置环境变量来提供备 用配置 目录。Livy使 用的配置 文件是： livy.conf：包含服务器配置。...一旦Livy服务器正在运 行，您可以通过端 口8998连接到它（这可以通过livy.server.port 配置选项进 行更改）

    1.9K10

    如何使用Oozie API接口向非Kerberos环境的CDH集群提交Spark作业

    作业的方式有多种，前面Fayson介绍了Livy相关的文章主要描述如何在集群外节点通过RESTful API接口向CDH集群提交Spark作业，本篇文章我们借助于oozie-client的API接口向非...Livy相关文章： 《Livy，基于Apache Spark的开源REST服务，加入Cloudera Labs》 《如何编译Livy并在非Kerberos环境的CDH集群中安装》 《如何通过Livy的RESTful...API接口向非Kerberos环境的CDH集群提交作业》 《如何在Kerberos环境的CDH集群部署Livy》 《如何通过Livy的RESTful API接口向Kerberos环境的CDH集群提交作业...Spark作业 [zmn87xt5vz.jpeg] 2.登录CM进入Yarn服务的“应用程序”菜单查看 [cmvmeo1tkn.jpeg] 3.打开Yarn的8088 Web界面查看 [k62rq1vgqn.jpeg...6.总结 ---- 通过Oozie API提交作业，需要先定义好workflow.xml文件 参数传递通过在代码里面调用oozieClient.createConfiguration()创建一个Properties

    1.8K70

    如何使用Oozie API接口向Kerberos环境的CDH集群提交Spark作业

    作业的方式有多种，前面Fayson介绍了Livy相关的文章主要描述如何在集群外节点通过RESTful API接口向CDH集群提交Spark作业以及《如何使用Oozie API接口向非Kerberos环境的...CDH集群提交Spark作业》，本篇文章主要介绍使用Oozie的API接口向Kerberos集群提交Spark作业。...Livy相关文章： 《Livy，基于Apache Spark的开源REST服务，加入Cloudera Labs》 《如何编译Livy并在非Kerberos环境的CDH集群中安装》 《如何通过Livy的RESTful...API接口向非Kerberos环境的CDH集群提交作业》 《如何在Kerberos环境的CDH集群部署Livy》 《如何通过Livy的RESTful API接口向Kerberos环境的CDH集群提交作业...6.总结 ---- 通过Oozie API提交作业，需要先定义好workflow.xml文件 参数传递通过在代码里面调用oozieClient.createConfiguration()创建一个Properties

    2.3K70

    0899-7.1.7-如何在CDP中安装Zeppelin并配置Interpreter

    1.安装Zeppelin与参数配置 1.1.添加Zeppelin服务 1.2.安装Livy 1.3.配置Zeppelin Name : zeppelin.helium.registry...的Interpreter Zeppelin.livy.url 配置安装livy服务的ip 验证%pyspark 创建一个pyspark Note 2.2.配置hive的interpreter 验证...bash_profile 重启zeppelin服务 让后创建pyton interpreter 验证%python 创建一个python Note 3.常见问题描述和解决办法 3.1.问题1 运行%pyspark...gatewayserver，具体报错如下图： 问题原因：没有安装py4j的python包 解决办法：在zeppelin的安装节点运行pip install py4j 3.3.问题3 zeppelin使用python时引用的...six包和install的版本不一样，具体情况如图： 问题原因：通过zeppelin安装的包不是全局包 解决办法：配置zeppelin的python环境变量，重启zeppelin服务 注：cdp

    1.2K30

    黑马9月2024Python大数据V5

    Spark：高性能计算的“引擎核心” Spark 凭借内存计算、DAG 执行模型和丰富的 API（如 Spark SQL、DataFrame、MLlib），在迭代计算、复杂 ETL、实时流处理和机器学习任务中表现卓越...复杂 ETL 与特征工程：Spark + Python 协同 当业务逻辑复杂（如用户行为路径分析、跨表关联聚合）或需调用 Python 生态库（如文本处理、时间序列特征提取）时，通过 PySpark 将...训练完成后，模型可部署为 REST 服务（FastAPI）或通过 Spark UDF 实现批量打分。...对策：采用 Conda 虚拟环境 + Docker 容器化封装，或使用 Livy 等服务提交 PySpark 作业，隔离运行时环境。...对策：优先使用 Spark 内置函数；必须用 Python 时，采用 Pandas UDF（Vectorized UDF）提升吞吐；关键路径考虑重写为 Scala/Java。

    15510

    如何在Kerberos环境的CDH集群部署Livy

    ，基于Apache Spark的开源REST服务，加入Cloudera Labs》、《如何编译Livy并在非Kerberos环境的CDH集群中安装》和《如何通过Livy的RESTful API接口向非Kerberos...环境的CDH集群提交作业》，本篇文章主要介绍如何在Kerberos环境的CDH集群中部署Livy服务。...= livy/ip-172-31-21-83.ap-southeast-1.compute.internal （可左右滑动） [emjm2qmrn4.jpeg] a)配置Spark作业提交模式 b)配置...livy启用模拟用户提交作业 c)配置livy恢复模式（默认为空、支持FileSystem本地文件系统及HDFS文件系统、Zookeeper） d)配置启用Kerberos认证并配置keytab 4.修改...推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。 [583bcqdp4x.gif] 原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操

    3.9K40

    Apache Livy 实现思路及模块概述

    本文基于 incubator-livy 0.4.0-incubating 关于Apache Livy（下文简称 livy）是什么以及有什么用，请移步：Livy：基于Apache Spark的REST...服务 一、实现思路 在知道 livy 的作用及特点后，我们尝试着分析一个用户的任务是怎么通过 livy 运行起来的。...这需要对最原始的任务按照 livy 的接口进行简单的封装，然后通过 http 的方式发送给 livy server 第二步：livy server 端要能够接收用户的请求，并且要能根据这是一个对 session...livy 模块概述.png 2.1、Client Client 并不算 livy 的模块，也很简单，在此略过 2.2、router 我们知道，livy server 提供的 api 是 rest api...另外，SessionStore 继承了该类提供高阶 Api 来进行 sessions 的存储和恢复 总结 上述的整体思路和模块概述让我们大致了解了 livy 是怎么玩的，接下来会针对各个模块进行更深入的展开

    2K50
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券