Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >0642-6.2-如何在CM界面创建触发器

0642-6.2-如何在CM界面创建触发器

作者头像
Fayson
发布于 2019-05-28 16:26:04
发布于 2019-05-28 16:26:04
1.1K00
代码可运行
举报
文章被收录于专栏:Hadoop实操Hadoop实操
运行总次数:0
代码可运行

作者:唐辉

1

文档编写目的

Fayson在这里先介绍下CM中的trigger,也就是触发器。触发器是当一个或多个特定条件得到满足的服务、角色、角色组、或主机将采取指定动作的声明。条件为tsquery语句,要采取的操作是将服务,角色,角色配置组或主机的运行状况更改为Concerning 状态(黄色告警)或Bad状态(红色告警),用于我们更直观掌握到个人所关心集群状况。关于tsquery在《0597-5.16.1-如何在CM界面自定义图表》文章中有简单介绍

测试环境:

1.RedHat7.2

2.CDH6.2.0

2

创建触发器

创建触发器常用的有几种方式,一种是在数图表(大多数图表,主页展示的图表没有该功能)的下拉菜单中单击“ 创建触发器 ”,针对某中图表创建触发器,另一种是在某个服务或者主机、角色>状态 页面然后单击“运行状况测试”右边 “ 创建触发器”按钮,另外一种是直接在配置文件中配置。值的注意的是:创建触发器时要根据触发器的属性从相应的位置创建触发器,如主机相关、服务相关、角色相关的触发器,否则可能出现在预览中显示正常,但是CM界面不触发的情况,在下文中Fayson会举例说明

2.1

示例1:在HDFS容量图表中自定义使用容量触发器。

在CM界面>图表中选中HDFS容量图表 >点设置 选择创建触发器

打开后默认界面如下:

可以看到默认有3个值的查看,鼠标放到生成的图表上可以看到分别是配置的HDFS容量、使用的HDFS容量和使用的非HDFS容量。可以看到图中使用的HDFS容量为35.2G,在下面我们将配置使用的HDFS容量超过10G时就在CM界面进行红色告警。

红色字体部分为修改部分,添加触发器名字为dfs_capacity_used测试

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
IF (select dfs_capacity, dfs_capacity_used, dfs_capacity_used_non_hdfs where entityName=$SERVICENAME AND last(dfs_capacity_used) > 10GiB ) DO health:bad

然后填充到表达式中进行预览如下:

为保证有效,改成100GiB显示未触发

编辑成功后在下面点击保存触发器

然后返回CM主页查看,可以看到HDFS上有一个告警

点这个告警查看,就是我们刚刚编辑的告警,可以在操作中对触发器再次编辑、禁用、抑制、或者删除

2.2

示例2:DataNode 打开文件数超过阈值告警触发器

选择HDFS 然后点击创建触发器,如下图所示

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
IF ((SELECT fd_open WHERE roleType=DataNode AND last(fd_open) > 300) OR (SELECT fd_open WHERE roleType=NameNode AND last(fd_open) > 300)) DO health:bad

然后保存查看

CM界面显示告警

2.3

示例3:主机CPU使用率超过阈值告警触发器

点集群任意主机>主机名>状态 点击创建触发器

注:创建触发器时要根据触发器的属性从相应的位置创建触发器,比如上述两个例子都是HDFS的触发器,都从HDFS服务中创建触发器,而下面是有关主机的属性,所以从主机中创建,否则会出现在预览中显示触发器正常,但是在集群状态中查看与设置的不相符的情况

单个主机的CPU使用率监控:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
IF (select cpu_percent where entityName=$HOSTID and min(cpu_percent) > 8) DO health:bad

或者通过编辑器模式添加

添加成功后CM界面出现如下告警

群集所有主机CPU使用率超过阈值触发器:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
IF (SELECT cpu_percent_across_hosts WHERE entityName = "1" AND category = CLUSTER AND last(cpu_percent_across_hosts ) >3)  DO health:concerning

配置后发现所有的主机都变成了存在隐患的状态

随便选择其中一个主机查看,就可以发现我们刚才设置的触发器已经生效

除上述的配置外,我们当然也可以通过如下配置和删除触发器在服务中> 配置 > 选中高级>搜索 service trigger,在触发器中生成的配置已Json 文件的格式存储在配置中

3

总结

通过创建触发器,可以更直观的在CM界面查看所关注的内容告警信息,提高对集群和服务的状态管控

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
参考:https://www.cloudera.com/documentation/enterprise/6/6.2/topics/cm_dg_triggers.html#xd_583c10bfdbd326ba--6eed2fb8-14349d04bee--7d8e__section_y3f_nwj_w5https://www.cloudera.com/documentation/enterprise/6/6.2/topics/cm_dg_triggers_usecases.htmlhttps://www.cloudera.com/documentation/enterprise/6/6.2/topics/cm_dg_tsquery.html#cmug_topic_11_7
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-05-26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
0597-5.16.1-如何在CM界面自定义图表
本篇文章主要介绍在Cloudera Manager 界面图表简单说明以及如何在CM界面通过tsquery创建自定义图表
Fayson
2019/04/28
2K0
0597-5.16.1-如何在CM界面自定义图表
如何通过Cloudera Manager页面自定义图表
在Cloudera Manager中我么可以看到很多图表,CDH的组件如HDFS、HBase等都有大量的描述CPU、磁盘、作业队列等的图表,这些图表可以通过tsquery语句进行构建,tsquery语言是指从Cloudera Manager时间序列数据存储中检索时间序列数据的语句。
soundhearer
2020/10/16
2.3K0
如何通过Cloudera Manager页面自定义图表
做大数据再不用提心吊胆了!
前几天,家住北京市朝阳区的程序员诸葛建国非常郁闷,他突然接到客户电话,说公司网站没法正常工作了,登上服务器一看,他大吃了一惊——服务器的硬盘满了!! 当时诸葛建国真是怒从心头起,恶向胆边生,马上就想找cloudera的客服开喷。这服务器都用了JDT 来监控各种服务的运行状态了,怎么硬盘满了没有报警?cloudera的agent平时对资源都是锱铢必较,欲求不满,一有风吹草动就报警,怎么硬盘满了反而视而不见,装聋作哑? 在cloudera manager中查看了一番之后发现,cloudera的agent只关
大神带我来搬砖
2018/05/02
5800
做大数据再不用提心吊胆了!
Cloudera Manager监控介绍
Cloudera Manager提供了许多功能,用于监控集群组件(主机,服务)的运行状况和性能,以及集群上运行的作业的性能和资源情况。具体的包括以下项目:
Fayson
2018/03/30
5.1K0
0629-6.2-如何使用CM API接口获取集群所有节点内存和磁盘使用情况
大家也知道Cloudera Manager提供了丰富的监控指标,部分客户也有自己统一的监控平台,需要将CM上的监控指标集成到统一的监控平台上,因此可以通过提供的API接口获取监控指标,本篇文章Fayson主要介绍如何通过CM API接口获取集群所有节点内存和磁盘使用情况。如下图所示:
Fayson
2019/05/16
4.8K1
0629-6.2-如何使用CM API接口获取集群所有节点内存和磁盘使用情况
0488-Cloudera Manager6.1的新功能
北京时间2018年12月19日,Cloudera正式发布Cloudera Enterprise 6.1.0,昨天Fayson的文章介绍了《0487-CDH6.1的新功能》,因为本次更新内容较多,特意将CDH和Cloudera Manager的更新分开两篇文章来介绍,本文Fayson主要介绍Cloudera Manager6.1的新功能。
Fayson
2018/12/29
3.2K0
Cloudera Manager管理控制台
Cloudera Manager管理控制台(Cloudera Manager Admin Console)是一个基于Web的用户界面,用于配置,管理和监控CDH。
Fayson
2018/03/30
4.8K0
Cloudera Manager的运行状况测试
Cloudera Manager使用运行状况测试(health tests)来监控集群中运行的服务,角色和主机的运行状况,包括Cloudera Management Service角色。基于角色的健康测试默认启用。以一个简单的健康测试为例,每个NameNode数据目录中是否有足够的磁盘空间。更复杂的运行状况测试可以评估何时将HDFS的上一个检查点与阈值进行比较或数据节点是否连接到NameNode。还有一些运行状况测试可以汇总其他的运行状况测试:在HDFS中,有几个DataNode关闭是正常的(假设你有几十个节点),你可以设置一个阈值说明百分之多少个节点挂了才表明整个服务挂掉。
Fayson
2018/03/30
8.5K1
CDH5.13和CM5.13的新功能
CDH5.13在美国时间10月12日正式发布,距离上次CDH5.12的7月16日,相距差不多3个月的时间,这也是Cloudera发布CDH的minor version的一般时间间隔。让我们先概括一下新功能:
Fayson
2018/03/29
1.5K0
CDH5.13和CM5.13的新功能
使用Cloudera Manager查看集群,服务,角色和主机的图表
对于集群,服务,角色和主机,你都可以查看与之相关的各种指标的图标的仪表盘。虽然对于不同实体的指标显示是不一样的,但是基本功能都是一样的。
Fayson
2018/03/30
3.2K0
如何使用Cloudera Manager监控服务
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github: https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- Cloudera Manager的服务监控功能可监控在集群上运行的服务和角色实例的几十项服务运行状况及性能指标,具体的监控方式有如下: 1.以交互式图表的方式显示服务监控和性能数据 2.配置服务阈值监控指标 3.生成与系统和服务运行状况以及关键日志条目的事件,并使其可用户搜索和警
Fayson
2018/07/12
3.9K0
0487-CDH6.1的新功能
北京时间2018年12月19日,Cloudera正式发布Cloudera Enterprise 6.1.0,上次发布CDH6.0是8月30日,差不多过去了3个多月的时间,参考Fayson之前的文章《Cloudera Enterprise 6正式发布》。从CDH6.0到CDH6.1是一次minor version的更新,但更新内容较多,在开始接下来的细化功能讨论前,我们先看看几项重点更新的内容:
Fayson
2018/12/29
2.5K0
CDH5.14和CM5.14的新功能
Fayson在2017年的10月12日介绍了《CDH5.13和CM5.13的新功能》,今天1月26日,Cloudera正式发布了CDH5.14。三个月零几天,2018年第一次更新比以往时候来的更晚一些,估摸着是老外过年放假导致的吧。本次更新包括集成CDSW1.3,Kudu1.6,Impala2.11等新功能,还修复了大量bug。以下我们看看CDH5.14和CM5.14具体的更新内容。
Fayson
2018/03/29
3.3K0
0466-CDH5.16.1和CM5.16.1的新功能
Fayson在2018年的6月15日介绍了《CDH5.15和CM5.15的新功能》,今天11月29日,Cloudera正式发布CDH5.16.1。从5.15到5.16,差不多等待了5个月,当然Cloudera在期间还发布了CDH6正式版,随后发布CDH6.0.1,参考《Cloudera Enterprise 6正式发布》。我们注意到这次CDH新版本的发布,没有5.16.0而直接是5.16.1,具体原因未知。
Fayson
2018/12/21
1.3K0
0925-规划NameNode的heap
所有 Hadoop 进程都在 Java 虚拟机 (JVM) 上运行,每个守护进程都在集群中主机自己的 JVM 上运行。一般来说,生产集群的HDFS会配置NameNode HA,即有两个NameNode角色,每个NameNode都使用自己的JVM。NameNode JVM的heap预估是个技术活,本文主要介绍相关知识,另外NameNode的heap使用主要来源HDFS中目录,文件和block数量,为了HDFS的稳定和最佳性能,一般建议HDFS中的文件数不要超过3亿。
Fayson
2024/05/27
3110
0925-规划NameNode的heap
0895-Cloudera Manager的工作原理
1.Cloudera Manager词汇 下图说明了Cloudera Manager的基本名词和关系: 一个Deployment代表了全部,包括Cluster。Cluster是一些运行相同版本CDH的Host的集合,不同的Host又会划给不同的Rack。Service是特定系统的实例,跨越了许多Role,每个Role都会被分配给一个Host。角色配置组是一次配置多个角色的一种方式,这也是常见的情况。 Configuration被附加到多个上下文,并且可以酌情级联。例如存储DataNode日志文件的路径通常
Fayson
2022/09/15
1.4K0
0895-Cloudera Manager的工作原理
0589-Cloudera Manager6.2的新功能
虚拟私有集群(Virtual Private Cluster)使用Cloudera共享数据体验(Shared Data Experience,SDX)来简化on-premise和on-cloud的应用程序的部署,并使运行在不同集群中的工作负载能够安全,灵活地共享数据。
Fayson
2019/04/28
2K0
如何在Hue中使用Sentry为Solr赋权
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github: https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- Fayson在之前的文章《如何使用Sentry为Solr赋权》以及《使用命令行创建collection时Sentry给Solr赋权的问题》中,对Solr与Sentry的集成授权进行过介绍,并通过命令行的方式创建collection,以及通过命令行的方式对collection的赋权
Fayson
2018/07/12
1.1K0
0621-6.2.0-如何卸载CDH6.2
Fayson在两年前的文章中介绍过CDH的卸载,参考《0008-如何卸载CDH(附一键卸载github源码)V1.2》和《0609-6.1.0-如何卸载CDH6.1》。除非你是使用Cloudera官方提供的一键安装脚本安装的CDH,否则并没有现成的一键卸载的脚本供使用。
Fayson
2019/05/14
2.8K0
0621-6.2.0-如何卸载CDH6.2
Cloudera(CDH) 简介和在线安装
本文介绍了在Cloudera Manager上如何部署CDH集群,包括准备环境、安装和配置CDH以及部署Hadoop和Spark。
shaonbean
2018/01/02
8K0
Cloudera(CDH) 简介和在线安装
相关推荐
0597-5.16.1-如何在CM界面自定义图表
更多 >
领券
💥开发者 MCP广场重磅上线!
精选全网热门MCP server,让你的AI更好用 🚀
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验