文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

大数据平台：Ambari集群管理

主要展示Ambari Server与各组件之间的交互处理： REST API：对外提供REST API，除了给Ambari Web调用提供UI界面外，也便于开发者二次集成开发 Request Dispatcher...Rest API 基于Ambari进行二次开发，经常需要对REST API进行改造和扩展，因此下文将针对REST API相关内容进行详述。...Rest API的请求最终由具体的ResourceProvider实现： METHOD 方法 描述 GET ResourceProvider#getResources 根据查询条件获取资源 DELETE...获取stack的服务栈信息 {stack} 部署安装栈，如hdp {version} 安装的版本 GET /api/v1/stacks/{stack}/versions/{version}/services...Rest API官方文档 总结 在大数据平台搭建过程中，如果只针对公司内部场景，所有运维操作可由专门的运维同学管理，且面对的场景比较单一，可以不必考虑基于Ambari集群管理系统搭建环境。

2.5K75
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    ambari-server开发自定义API

    主要从Ambari-server详解、如何debug ambari-server源码、开发流程分析图、开发流程自定义示例四大部分入手，教读者如何玩转ambari-server 一、Ambari-server...简介 Ambari-Server是一个WEB Server，提供统一的REST API接口，同时向web和agent开放了两个不同的端口（默认前者是8080, 后者是8440或者8441）。...目录 目录 描述 org.apache.ambari.server.api.services 对web接口的入口方法，处理/api/v1/* 的请求 org.apache.ambari.server.controller...这样ambari-server也就停掉了。 三、开发流程分析 以 GET /api/v1/users 为例进行。该接口用于获取所有用户。 资源请求类，一通百通。 1....REST API展示形式 { href: "http://172.16.0.142:8080/api/v1/log/getAuditLog", items: [ {

    2.5K30

    Ambari 修改已集成服务的版本号，没有生效，如何解决？

    一、问题描述 Ambari修改了集成服务的metainfo.xml中的version值，也重启了ambari-server，但发现在Ambari页面的服务列表中的某服务版本号没有更新，是怎么回事呢？...文件，获取各服务名称及版本号列表。...等最后部署时，Ambari会将hdp各服务的版本信息、操作系统、Repository base url 保存到数据库中，分别是：repo_version、repo_os、repo_definition...当你后续修改已集成服务的metainfo.xml文件里面的version版本的时候，重启ambari-server，会发现服务列表中对应服务版本并没有变化。...修改具体如下图所示： 或者，你重新初始化hadoop集群（重新创建数据库，初始化sql），重启ambari-server，这时候ambari会重新加载一遍各服务的metainfo.xml，将信息保存到ambari

    56810

    分享一下我对 ambari 二次开发的一些理解~

    所以我建议呢，ambari 是开源的，我们可以自己编译获取相关 rpm 包使用。对于 hdp 的话，要么就用历史版本，要么就自己集成 apache hadoop 的。...从设计上看，Ambari 使用的是 主/从 架构，即一个 ambari server 和 多个 ambari agent 。...关于 ambari 的 emberjs 版本如何查看：打开 ambari web 界面，F12 打开控制台，在最下面的输入框里面输入：Ember.VERSION 即可输出版本号。如下图所示：?...agent 节点，让各 agent 节点去执行具体动作；等等应该还有很多作用…如果你需要修改 ambari-server 源码的话，当开发完毕后，源码是需要编译的，你需要获取到新的 ambari-server.rpm...，页面二次开发，修改后实时查看效果汉化 ambari 页面如何自动同步 windows 本地和 linux 服务器之前的代码ambari 编译出来的是相关 rpm 包，rpm 包里面内容讲解，了解 ambari

    5.6K81

    【技术革新】当古老的Ambari Metrics遇上现代监控：我们如何重构一个停滞不前的监控系统

    这就是我们决定彻底重构Ambari监控系统的起点。在这个系列文章中，我将分享我们的经验——从认识问题，到设计方案，再到最终实现。今天，让我们先来了解AMS的前世今生，以及它为何需要一场彻底的革新。...从设计初衷说起Ambari Metrics System (简称AMS) 诞生于大数据技术的早期阶段，是Apache Ambari提供的一个专为Hadoop集群设计的监控系统。...Metrics Collector和Timeline Server处理时间序列数据Metrics Collector：AMS的核心组件，接收来自Metrics Monitor和Hadoop Sinks的所有指标数据...Web UI和REST API展示监控数据Ambari Web UI：提供图形化界面，展示各种指标的趋势图和仪表板REST API：允许外部应用程序访问指标数据，实现自定义监控和告警这个设计在当时看来是合理的...我们将重点探讨：新一代监控系统的架构设计我们如何设计全新的监控架构核心组件的功能定位与交互方式技术选型与决策过程为什么我们选择了特定的技术栈开源组件的评估与比较自研与开源的平衡策略痛点解决方案如何解决存储瓶颈的问题如何简化运维管理流程如何提供灵活的自定义监控能力如何增强数据查询与分析能力如何解决监控指标的可读性问题实际应用效果性能提升的量化指标用户反馈与案例分享敬请期待下一篇

    52000

    Kerberos基本概念及原理汇总

    系统环境 操作系统：CentOS 6 或 CentOS 7 JDK版本：1.8.0_151 ambari版本：2.6.1 HDP版本：2.6.4.0 扩展链接 Kerberos原理--经典对话 基于...用户主体使用其Kerberos密码在本地解密TGT，从那时起，直到ticket到期，用户主体可以使用TGT从TGS获取服务票据。服务票证允许委托人访问各种服务。...Ambari Principals 除了Hadoop服务主体之外，Ambari本身还需要一组Ambari Principal来执行服务“冒烟”检查，执行警报运行状况检查以及从群集组件检索指标。...Ambari Server user 为Kerberos启用集群时，组件REST端点（例如YARN ATS组件）需要SPNEGO身份验证。...Ambari Server需要访问这些API并需要Kerberos主体才能通过SPNEGO针对这些API进行身份验证。

    13.3K20

    看完您如果还不明白 Kerberos 原理，算我输！

    系统环境 操作系统：CentOS 6 或 CentOS 7 JDK 版本：1.8.0_151 Ambari 版本：2.6.1 HDP 版本：2.6.4.0 扩展链接 《Kerberos原理--经典对话...二、Kerberos验证过程 Kerberos 验证分为两个阶段：允许进行后续验证的初始验证以及所有后续验证自身。 1. 初始验证：票证授予票证 下图显示了如何进行初始验证： ?...Ambari Principals 除了 Hadoop 服务主体之外，Ambari 本身还需要一组 Ambari Principal 来执行服务“冒烟”检查，执行警报运行状况检查以及从集群组件检索指标。...Ambari Server user 为 Kerberos 启用集群时，组件 REST 端点（例如 YARN ATS 组件）需要 SPNEGO 身份验证。...Ambari Server 需要访问这些 API 并需要Kerberos主体才能通过 SPNEGO 针对这些 API 进行身份验证。

    21.3K85

    使用Ambari搭建HDP集群完全参考手册

    今天就来介绍如何安装Ambari和如何使用Ambari来部署Hadoop集群。 对于HDP集群，ambari是一个极其优秀的管理软件。本文就来介绍，如何使用ambari来部署一个HDP集群。...将下载的 ambari.repo 文件拷贝到 Linux 的系统目录/etc/yum.repos.d/。拷贝完后，我们需要获取该公共库的所有的源文件列表。依次执行以下命令。...3、启动ambari server ambari-server start 成功启动 Ambari Server 之后，便可以从浏览器登录，默认的端口为 8080。...这是因为ambari-agent 在注册时，默认会获取主机主机名，并使用主机名向ambari-server注册。...安装完之后便可以得到图示结果： ambari控制台 刚装好时，因为所有服务都没启动，所有全是告警，上图因为我正在启动服务，所有欧HDFS和zookeeper显示无告警。

    4.9K10

    Ambari介绍

    Ambari目标 解决Hadoop生态系统部署 部署：hadoop组件间有依赖，包括配置、版本、启动顺序、权限配置等。 部署过程跟踪。能够展示出部署过程中每个步骤的状态及相关信息。...、更新失败 配置管理 可以将默认配置写入stack中(stack后续介绍)，在开启时ambari将stack中各个版本的config文件读入，在使用blueprint创建集群部署hadoop时，直接生成...(blueprint后续介绍) 服务状态展示、监控、报警 Ambari主要概念 资源 ambari将集群及集群中的服务、组件、机器都视为资源，资源的状态都会记录在db中 Hadoop生态 Stack 发行版本的含义...，如HDP，可以有若干版本。...ambari-server->ambari-agent ambari-server端负责接收rest请求，再向agent端发送命令，发送命令的格式是json，内部包涵部署脚本执行命令(安装/开始/停止服务

    73420

    在 Docker 上建立多节点的 Hadoop 集群

    在开始前，确保你有最新的Ambari镜像： docker pull sequenceiq/ambari:latest 一行命令 一旦你得到了最新的镜像，你就可以启动Docker容器。...，像是blueprint,簇大小,等等 … 在shellj.mp/docker-ambari功能函数的头文件有参数列表....API AmbariShell 依照blueprint的设置自动分配宿主信息 通过发送至/api/v1/clustersREST API的内容创建簇 自定义 如果你有自己定义好的脚本，...先启动 AmbariShell: amb-start-cluster 2 amb-shell AmbariShell启动的前提: Ambari REST API 将帮助你建立多个hadoop端. host...我们使用了docker的模式简化了hadoop的使用模式 – 可以在 LinkedIn找到我们关于Cloudbreak的最新进展 – 开源云端的Hadoop as a Service API应用并构建在

    1.8K10

    从理论到工程实践——用户画像入门宝典

    文档从用户画像的理论到实践均有所涉及，大家可以参照此文档完成用户画像系统从0到1的搭建。 本文档共分为6个部分，层级结构如下图所示。 文档版权为公众号 大数据流动 所有，请勿商用。...如何从大数据中挖掘商机？建立用户画像和精准化分析是关键。 用户画像可以使产品的服务对象更加聚焦，更加的专注。...ODS的数据最终流入DW DW (Data Warehouse)数据仓库，是数据的归宿，这里保持这所有的从ODS到来的数据，并长期保存，而且这些数据不会被修改。...所以树状图和标签描述信息需要去mysql中获取，而比例等图表数据则是从Hbase，Hive中查询获取的，当然也有直接通过ES获取的。...这些已经是标签的具体信息了，由于是对单一id的查找，从hive中获取会造成查询速度的问题，所以我们更建议从Hbase或者ES中查询获取，这样查询效率和实时性都能获得极大的提升。

    1.4K20
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券