文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

Livy：基于Apache Spark的REST服务

为此本文引入Livy这样一个基于Apache Spark的REST服务，它不仅以REST的方式代替了Spark传统的处理交互方式，同时也提供企业应用中不可忽视的多用户，安全，以及容错的支持。...Livy的REST API设计为非阻塞的方式，当提交代码请求后Livy会立即返回该请求id而并非阻塞在该次请求上直到执行完成，因此用户可以使用该id来反复轮询结果，当然只有当该段代码执行完毕后用户的查询请求才能得到正确结果...当然Livy交互式会话还提供许多不同的REST API来操作会话和代码，在这就不一一赘述了。...为此Livy提供了一套编程式的API供用户使用，用户可以像使用原生Spark API那样使用Livy提供的API编写Spark作业，Livy会将用户编写的Spark作业序列化并发送到远端Spark集群中执行...表1就是使用Spark API所编写PI程序与使用Livy API所编写的程序的比较。 ?

4.4K80

使用 Livy Rest API 提交 spark 批量任务 （jar，Python， streaming）

Livy是一个开源的REST 接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。 ? image.png Livy封装了spark-submit并支持远端执行。...启动服务器 执行以下命令，启动livy服务器。 ./bin/livy-server 这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。...如果是本地开发模式的话，直接使用本地文件即可（注意必须配置livy.conf文件，设置livy.file.local-dir-whitelist = directory，以允许文件添加到session）...directory /tmp/spark-6e362908-465a-4c67-baa1-3dcf2d91449c" ], "state": "success" } 此外，还可以通过下面的api...Content-Type: application/json" localhost:8998/batches {"id":1,"state":"running","log":[]} 如果想终止任务，可以调用以下API

3.5K30
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    Apache Livy 实现思路及模块概述

    本文基于 incubator-livy 0.4.0-incubating 关于Apache Livy（下文简称 livy）是什么以及有什么用，请移步：Livy：基于Apache Spark的REST...服务 一、实现思路 在知道 livy 的作用及特点后，我们尝试着分析一个用户的任务是怎么通过 livy 运行起来的。...这需要对最原始的任务按照 livy 的接口进行简单的封装，然后通过 http 的方式发送给 livy server 第二步：livy server 端要能够接收用户的请求，并且要能根据这是一个对 session...livy 模块概述.png 2.1、Client Client 并不算 livy 的模块，也很简单，在此略过 2.2、router 我们知道，livy server 提供的 api 是 rest api...另外，SessionStore 继承了该类提供高阶 Api 来进行 sessions 的存储和恢复 总结 上述的整体思路和模块概述让我们大致了解了 livy 是怎么玩的，接下来会针对各个模块进行更深入的展开

    2K50

    Spark实战系列4：Spark周边项目Livy简介

    Livy （ 目前在ASF孵化中） 2 Livy概述 Livy 是 Apache Spark的 一个REST服务，Livy可以在任意平台上提交Spark作业 Livy可以在WEB／Mobile中提交...Livy，在Spark集群中部署配置就可以 3 Apache Livy是什么？...Apache Livy是 一个可以通过REST接 口轻松的与Spark集群进 行交互的服务，它可以很 方便提交Spark作业或者Spark代码 片段，同步或者异步的进 行结果检索以及Spark Context...上下 文管理， Apache Livy还简化了Spark和应 用程序服务器之间的交互，从 而使Spark能够 用于交互式Web /移动应 用程序。...服务器，以实现良好的容错性和并发性 作业可以作为预编译的jar，代码 片段或通过java / scala客户端API提交 通过安全的认证通信确保安全 4 Livy官网结构 Livy的安装运 行 至少是基于

    1.9K10

    Rest api简介

    理解和使用内容协商 我们的开发者在发送一个 REST API 请求的同时，根据应用场景，针对相同的资源，可能会期待不同的返回形式。 比如，我希望根据用户客户端语言，同一个资源的内容可以返回不同的语言。...IBM developerWorks 的文件服务标签云的 API REST API 请求，要求返回 XML 格式数据： GET https://www.ibm.com/developerworks...使用 HTTP 头进行缓存处理 在 REST 的构架中，我们除了在与后台的数据交换中，需要有一个良好的缓存机制外，针对 REST API 请求都是在远端用 HTTP 发起这一特点，还需要为网络缓存进行更多考虑...IBM developerWorks 的带有电子标签的文件服务 API REST API 请求： GET https://www.ibm.com/developerworks/mydeveloperworks...，可以帮助我们更好的设计 REST API： 批量更新： 当用户需要更新多个资源的时候，你打算让开发者一次次的发送 HTTP 请求逐个更新吗？

    3K60

    REST API设计指导——译自Microsoft REST API Guidelines（一）

    如果API的设计更规范更合理，在很大程度上能够提高联调的效率，降低沟通成本。那么什么是好的API设计？这里我们不得不提到REST API。...另外，REST API的书籍很多，但是完整完善实践丰富的设计指导并不多见，我们有幸看到了微软团队的作品——Microsoft REST API Guidelines，因此才有了此篇内容。...什么是REST API? Rest不是一种协议，也不是一种文字格式，更不是一种开发框架，它是一种系列的设计约束的集合：无状态性、将超媒体作为应用状态的引擎，这个约束我们统称Fielding约束。...简单的来说，在REST API:URL定位资源，用HTTP动词（GET,POST,PUT,DELETE)描述操作。前面说了，REST 指的是一组架构约束条件和原则。...为什么用REST API? 1.前后端分离主要以API为界做接洽的，这样就会有很多的API，API的表现力更强，更加便于理解。

    1.8K30

    如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业

    ，基于Apache Spark的开源REST服务，加入Cloudera Labs》和《如何编译Livy并在非Kerberos环境的CDH集群中安装》，Livy提供了两种类型的API(编程API和RESTful...API接口)，本篇文章主要介绍如何使用java代码调用Livy提供的RESTful API接口向非Kerberos环境的CDH集群提交Spark作业操作。...2.使用Maven创建Livy示例工程 [6rpympw3ea.jpeg] 3.在pom文件中添加如下依赖 org.apache.httpcomponents...; import org.apache.http.HttpResponse; import org.apache.http.client.methods.HttpDelete; import org.apache.http.client.methods.HttpGet...; /** * package: com.cloudera * describe: 通过Java代码调用Livy的RESTful API实现向非Kerberos的CDH集群作业提交 * creat_user

    2.7K70

    REST API设计指导——译自Microsoft REST API Guidelines（四）

    前言 前面我们说了，如果API的设计更规范更合理，在很大程度上能够提高联调的效率，降低沟通成本。那么什么是好的API设计？这里我们不得不提到REST API。...关于REST API的书籍很多，但是完整完善实践丰富的设计指导并不多见，我们有幸看到了微软团队的作品——Microsoft REST API Guidelines，因此才有了此篇内容。...上篇内容： REST API设计指导——译自Microsoft REST API Guidelines（三） 6 Client guidance 客户指导 To ensure the best possible...符合 Microsoft REST API 指南的 API 应该支持 PATCH 方法。...表的请求头应该遵循微软REST API服务规范。使用这些标头不是必须的，但是如果用到，那么它们必须使用一致。

    3K50

    REST API设计指导——译自Microsoft REST API Guidelines（三）

    前面我们说了，如果API的设计更规范更合理，在很大程度上能够提高联调的效率，降低沟通成本。那么什么是好的API设计？这里我们不得不提到REST API。...关于REST API的书籍很多，但是完整完善实践丰富的设计指导并不多见，我们有幸看到了微软团队的作品——Microsoft REST API Guidelines，因此才有了此篇内容。...5 Taxonomy 分类 As part of onboarding to Microsoft REST API Guidelines, services MUST comply with the taxonomy...Microsoft REST API 准则基本要求的一方面就是 服务的分类必须符合以下定义。...5.5 Long running API faults 长时间运行的API故障 For a Long Running API, it's possible for both the initial request

    1.7K30

    Livy Session 详解（上）

    本文基于 incubator-livy 0.4.0-incubating 从Livy Rest Api的介绍中我们可以知道，livy 共有两种 job，分别是 session 和 batch。...然而，在源码实现中，session 和 batch 都是 Session 的子类，rest api 中的 session 对应源码中的 InteractivateSession；rest api 中的...在之后关于 livy 的所有文章中，session 或 batch 对应 rest api 中的含义，InteractivateSession 和 BatchSession 及 Session 都对应代码中的含义...可以看到，session 对应的 spark app 的 mainClass 为 org.apache.livy.rsc.driver.RSCDriverBootstrapper 2.3：等待 SparkSubmit...获取运行结果等 3.1：client 传递其 RpcServer 信息给 driver 时序图中的第 (5) 步：RSCClientFactory#createClient，在该调用中创建了一个 org.apache.livy.rsc.rpc.RpcServer

    2.8K40

    Microsoft REST API指南

    Microsoft REST API指南 摘要 Microsoft REST API指南作为一种设计原则，鼓励应用程序开发人员通过RESTful HTTP接口访问资源。...本文档建立了 Microsoft REST API 开发人员应该遵循的指南, 以便统一一致地开发API。...允许合作伙伴(例如,非Micosoft团队)使用这些准则来设计自己的 REST API。 [*]注：本指南旨在构建符合 REST 架构风格的服务，但不涉及或要求构建遵循 REST 约束的服务。...如：实现或必须与某些外部定义的REST API互操作的REST服务必须与哪些外部的API兼容，而无法遵循这些准则。而还有一些服务也可能具有需要特殊性能需求，必须采用其他格式，例如二进制协议。...符合Microsoft REST API准则的API应该支持PATCH。 7.4.3.

    6.1K11
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券