大家好，我是鲍光亚，我分享的主题是Zabbix对大流量监控数据的高效处理。首先总结Zabbix监控数据的两个特点，再分析Zabbix如何利用监控数据的特点实现大流量监控数据的高效处理。
当我们在监控环境中，构建高频率监控时，有许多设计选择需要考虑。要考虑如何减少性能影响？存储空间的数据保留策略是什么？有哪些现成的功能可以解决这些潜在的问题？
前言：公司（某银行旗下第三方支付平台）最近在做运维大数据项目，需要将各个监控系统的实时采集数据汇总到大数据平台进行智能告警和根因定位，Zabbix作为整个公司数据量最大的监控系统，超过12000的nvps，每周约产生400G左右的监控数据，如何将Zabbix的实时监控数据抽取出来并且不影响到Zabbix的性能？
Server通过轮询和捕获数据，计算是否满足触发器条件，向用户发送通知。它是Zabbix监控代理和Proxy代理报告系统可用性和完整性数据的核心组件。Server自身可以通过简单服务远程检查网络服务(如Web服务器和邮件服务)。
Zabbix是用于web和应用程序的开源监控软件。它提供对从服务器，虚拟机和任何其他类型的网络设备收集的数千个指标的实时监控。这些指标可帮助确定IT基础架构的当前运行状况。有用的信息存储在数据库中，因此您可以随时分析数据并提高所提供服务的质量。
3、可实现全栈级监控（从底层硬件、网络、存储，到虚拟化层、操作系统、中间件，以及最上层的应用和API）
①Zabbix 是通过 vmware collector 进程来监控虚拟机。这些进程通过 SOAP 协议从 VMware Web 服务获取必要的信息，对其进行预处理并存储到 Zabbix server 共享内存中。
Zabbix（[`zæbiks]）是一个基于Web界面的提供分布式系统监控以及网络监控功能的企业级的开源解决方案。用于监控各种网络设备，操作系统、数据库、中间件以及服务器的安全运营；并提供灵活的通知机制以让系统运维人员快速定位/解决存在的异常问题。
Zabbix是用于网络和应用程序的开源监控软件。它提供对从服务器，虚拟机和任何其他类型的网络设备收集的数千个指标的实时监控。这些指标可帮助您确定IT基础架构当前的运行状况，并在客户投诉之前检测硬件或软件组件的问题。有用的信息会被存储在数据库中，因此您可以随时分析数据并提高所提供服务的质量，或计划设备的升级。
在Zabbix 6.0 LTS版本中将原生支持Zabbix服务器高可用性集群。高可用性可以保护您免受软件和硬件故障的影响，并允许您在执行维护窗口时最小化停机时间。在Zabbix 6.0 LTS之前，用户需要使用专用的集群软件来实现高可用性。大多数用户同时使用Corosync+pacemaker或keepalived软件。这需要掌握这些工具相关的知识，来实现的高可用性集群设置、配置、维护和其他与管理Zabbix高可用性集群相关的任务。您也可以使用其他第三方供应商解决方案，同时在许多情况下会产生额外的许可费用。
1> 数据采集: 可用性和性能检测，自动发现，支持agent，snmp,JMX,telnet等多种采集方式，支持主动和被动数据传输、支持用户自定义插件，自定义间隔收集数据.
Zabbix 5.2.6 数据库共有170张表，Zabbix 数据表的名称都是复数。资源之间的关联关系是通过外键来完成的。比如host和item的关联关系，就是在items表中使用hostid与hosts表中的资源进行关联。
Zabbix是一个企业级的高度集成开源监控软件，提供分布式监控解决方案。可以用来监控设备、服务等可用性和性能。
对于我们这些大规模使用Zabbix的用户来说，最关心的问题之一就是：Zabbix能承受多大规模的数据写入量？我最近的一些工作正好以此为中心，远期来看，我可能会有一个超大量级的环境（大约32000+台设备）需要通过Zabbix实现完全监控。在Zabbix论坛里有一个模块讨论大型环境的监控，但是不走运的是，我并没有找到一个完善的系列解决方案来实现大型环境的监控。
本文转载出处：https://mp.weixin.qq.com/s?__biz=MzUzMTkyODc4NQ==&mid=2247486774&idx=1&sn=30dac5dfc151962fc6774126b1754b71&chksm=faba4e88cdcdc79e6ee67d14981aaeabb58581dce0c0d8fe308f322d66633f0322328d519d70&scene=178&cur_album_id=2869340550028771330#rd
首先，一个好的监控系统必须非常迅速的接收，处理和记录传入的数据，这里的每一微秒都很重要，一开始可能并不明显，但当你的系统变得非常庞大的时候，所有的微秒加起来即使不会变成几分钟也会变成很多秒。
其他的监控系统是将数据存储在rrd数据库里面，不存在数据库越来越大的情况，这跟数据库的环形存储特性有关系。zabbix不管是采用分布式架构还是传统的服务端与客户端直接相连的模式，最终都是将数据存储在mysql里面。
MySQL近两年一直稳居第二，随时有可能超过Oracle计晋升为第一名，因为MySQL的性能一直在被优化，同时安全机制也是逐渐成熟，更重要的是开源免费的。
Zabbix除了可以监控计算机，服务器还可以监控路由器，交换机，打印机等等，为了让后面的内容更好理解，这里先简述一下zabbix实现监控的过程。
银河麒麟高级服务器操作系统V10是针对企业级关键业务，适应虚拟化、云计算、大数据、工业互联网时代对主机系统可靠性、安全性、性能、扩展性和实时性等需求，依据CMMI5级标准研制的提供内生本质安全、云原生支持、自主平台深入优化、 高性能、易管理的新一代自主服务器操作系统，同源支持飞腾、鲲鹏、龙芯、申威、海光、兆芯等自主平台；基于银河麒麟高级服务器操作系统，用户可构建数据中心、高可用集群和负载均衡集群、虚拟化应用服务、分布式文件系统等，并实现对虚拟数据中心的跨物理系统、虚拟机集群进行统一的监控和管理。
Zabbix 是一个基于 Web 界面提供分布式系统监视及网络监视功能的企业级开源解决方案。它能监视各种网络参数，保证服务器系统的安全运营，并提供灵活的通知机制以让系统管理员快速定位、解决存在的各种问题，借助Zabbix 可很轻松地减轻运维人员繁重的服务器管理任务，保证业务系统持续运行。其后端使用数据库存储监控配置和历史数据，可以非常方便地对接数据分析、报表定制等渠道，在前端开放了丰富的 RESTful API 供第三方平台调用，整体架构在当下的 DevOps 的趋势下显得非常亮眼。
版权声明：本文为耕耘实录原创文章，各大自媒体平台同步更新。欢迎转载，转载请注明出处，谢谢
这次讲2 个小小知识点，一个关于监控交换机端口流量，一个关于store value。
本文整理自尚海在2020Zabbix中国峰会的演讲，更多演讲视频可关注官方Bilibili账号主页（ID：Zabbix中国）。
Zabbix 创始人兼CEO Alexei Vladishev在Meetup上海站演讲
Cacti 是一套基于 PHP、MySQL、SNMP 及 RRD Tool 开发的监测图形分析工具,Cacti 是使用轮询的方式由主服务器向设备发送数据请求来获取设备上状态数据信息的,如果设备不断增多,这个轮询的过程就非常的耗时,轮询的结果就不能即时的反应设备的状态了。Cacti 监控关注的是对数据的展示,却不关注数据异常后的反馈。如果凌晨 3 点的时候设备的某个数据出现异常,除非监控人员在屏幕前发现这个异常变化,否则是没有任何报警机制能够让我们道出现了异常。
如今，由强大的软硬件驱动的信息系统和应用系统是银行和金融行业的核心，一次宕机就有可能造成百万级，甚至数千万美元的损失！
Zabbix 5.4于5月17日发布，5.4支持定期生成PDF报表，强有力的问题检测，高级数据聚合，还有其他意义重大的改进功能，来一睹为快。
Zabbix agent 2 的开发旨在为用户提供更多附加功能 —— 从支持的采集指标的增加到指标采集逻辑的改进和简化的自定义监控插件的开发。那么在 Zabbix 6.0 LTS 版本中 Zabbix Agent 2 将实现哪些功能？
首场线下Zabbix Meetup 上海站于4月23日圆满举办，现场有 130 +位嘉宾参加，场面热烈。感谢本次活动的赞助商杭州网银互联科技股份有限公司大力支持。
当涉及到Zabbix Agent模式时，可以在主动模式和被动模式之间进行选择。每次在前端添加新项或主机时，您都需要选择项类型。
Zabbix是什么 Zabbix 是由Alexei Vladishev创建，目前由Zabbix SIA在持续开发和支持。 Zabbix 是一个企业级的分布式开源监控方案。 Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制，允许用户为几乎任何事件配置基于邮件的告警。这样可以快速反馈服务器的问题。基于已存储的数据，Zabbix提供了出色的报告和数据可视化功能。这些功能使得Zabbix成为容量规划的理想方案。 Zabbix支持主动轮询和被动捕获。Zabbix所有
Zabbix 6.0 LTS 包含许多新的企业级功能和改进。加入 Artūrs Lontons，了解 Zabbix 6.0 LTS 发布后将要提供的一些主要功能。如果我们特别关注Zabbix路线图和Zabbix 6.0 LTS版本，可以发现Zabbix主要开发的重点之一是解决许多企业级复杂问题及相关用例的功能，Zabbix 6.0 LTS旨在：
Zabbix团队很高兴在此宣布4.2正式发布！Zabbix集众多现代化监控系统的优秀功能于一身：数据采集和处理、分布式监控、实时问题和异常检查、告警升级、可视化等等...
Zabbix6.0已于上周发布，新功能一览见《Zabbix6.0为BSM、DevOps、ITOps助力》。你是否考虑升级至最新版本或者已经升级了？软件升级往往是一个令人生畏的的过程，尤其是当你第一次升级 Zabbix 实例时。本文将介绍升级的过程、必要的先决条件，以及迁移到 Zabbix 6.0 LTS 后，有哪些新功能是你期待的。
监控系统是运维工作中不可或缺的一部分，它可以帮助我们监控系统的健康状况、运行状态和性能指标等，及时发现和解决问题，确保系统的可靠性和稳定性。SRE对监控系统最基本的需求就是：监控是SRE的第三只眼，使得可以在系统出问题时我们能及时感知到。
zabbix是一款知名的老牌监控系统，可对硬件、操作系统、数据库、网络等多种目标介质进行统一监控，并集成了UI、监控展示、告警、服务发现等多种功能，可非常高效地进行监控工作。
#可以看到启动用户是zabbix，然后左边是一堆的PID号，PID号后面是PPID号也就是父进程号都是统一的45404，然后最后边可以看到不同的进程标识,这些进程是干嘛的，可以跟下面的内容核对：
感谢平安银行选择宏时数据！宏时数据作为Zabbix大中华区总代理为客户提供强有力的技术支持。下文转载自期刊，作者供职于平安银行广州分行，分享平安银行自动化监控平台的实践分享。
zabbix稳定运行一段时间之后，积累了一定量的数据。老板看运维整天没事干，让折腾一个酷炫的大屏显示。同时在这个基础上有一定的定制话需求。记录一下自己查询zabbix数据库的查询语句。
由民生银行潜望者Zabbix开源监控项目项目组投稿，为社区分享他们整理的Zabbix源码解析、民生银行潜望者Zabbix运维管理平台、多Server架构实现、容器/数据库/中间件全自动注册监控等项目文档。
这篇文章，我将对监控体系的基础知识、原理和架构做一次系统性整理，同时还会对几款最常用的开源监控产品做下介绍，以便大家选型时参考。内容包括3部分：
备注：这里要注意，数据更新间隔和自定义时间间隔是并行运行的，所以通常都会有冲突，要先单独按照自定义时间间隔执行Item，可以将数据更新间隔设为0，这样数据更新间隔这个策略就不会被执行，而只执行自定义时间间隔。对于自定义时间间隔的写法可以查看官网上的教程。 下图的自定义时间间隔表示，在星期一到星期五每天下午五点到八点每隔二十分钟执行Item监控脚本，更新数据。
zabbix作为运维邻域不可缺少的一员，它的各种文档可是数不胜数啊，但是关于配置文件的解释与说明就有点少。这里列出zabbix配置文件篇之zabbix_server。 Zabbix Server端配置文件说明 # This is a configuration file for Zabbix Server process # To get more information about Zabbix, # visit http://www.zabbix.com ############ GENERAL PAR
曾就职于多家知名互联网企业（盛大、一下科技、新浪微博等）负责运维工作，主要从事系统运维、服务器监控，数据采集，日志处理、故障分析。是Zabbix中国社区的活跃用户之一，有超过1万小时的Zabbix使用，开发经验。
Zabbix-简介 Zabbix概念 Zabbix组成 Server Zabbix server 是 Zabbix agent 向其报告可用性、系统完整性信息和统计信息的核心组件。是存储所有配置信息、统计信息和操作信息的核心存储库。 数据库 所有配置信息以及 Zabbix 收集到的数据都被存储在数据库中。 Web前端 为了从任何地方和任何平台轻松访问 Zabbix ，提供了基于 web 的界面。该界面是 Zabbix server 的一部分，通常（但不一定）和 Zabbix server
Zabbix 6.0 LTS包含许多新的集成和模板。随着模板和集成总数的增长，我们计划对模板存储库进行重大改进。这将大大改善开发新社区模板、提交模板拉取请求、遵循模板开发过程等的工作流程。
最近几年一直在使用监控系统，主要使用Zabbix和Prometheus 两个监控工具，对于这两个监控系统有一些使用实践方面的经验，通过对比的方式来和大家分享一下。
一、监控基础 1、监控处理过程 采样---->存储----->报警---->展示 （1）、采样 采样的监控数据采集方法：ssh/telnet、SNMP、Protocol v3、IPMI(智能平台管理接口)、TLS。 （2）、数据存储 数据类型：历史数据(nvps)、趋势数据。 数据存储系统：rrd(轮询数据库)； SQL(关系型数据库，MySQL/PostgreSQL)； NoSQL(反关系型数据库，Redis/MangoDB)； 时间序列存储。 （3）、主机的四种监控接口：zbx、snmp、jmx、ipmi。 2、常用的开源监控工具 （1）、cacti：强大的【数据展示】功能。 cacti是基于php来编写的； 利用SNMP协议采集样本数据； 利用rrdtool进行数据存储； 报警机制有限。 （2）、nagios：强大的【报警机制】。 nagios不支持历史数据和趋势数据保存； 数据展示功能有限。 （3）、zabbix：集cacti、nagios优点。 强大的数据展示功能； 强大的报警机制； 支持历史数据和趋势数据的存储； 支持脚本实现故障的数据修复。 （4）、ganglia：用于集群监控。 ganglia用于集群监控时，可以实现多台主机的多种集合数据的集中展示。 二、zabbix -----------www.zabbix.com Zabbix功能特点 概述 Zabbix是一个高度集成的网络监控解决方案，一个简单的安装包中提供多样性的功能。 数据收集 可用性和性能检查 支持SNMP（包括主动轮训和被动获取），IPMI，JMX，VMware监控 自定义检查 按照自定义的间隔收集需要的数据 通过server/proxy+agents来执行 灵活的阀值定义 您可以非常灵活的定义问题阈值,称之为触发器,触发器从后端数据库获取参考值 高度可配置化的告警 可根据递增机制，接收方和媒介类型自定义发送告警通知 使用宏变量可以使告警通知更加高效有用 自动相应动作可包含远程命令 实时图表绘制 使用内置图表绘制功能可以将监控项的内容实时绘制成图表 Web监控功能 Zabbix可以追踪模拟鼠标在Web网站上的点击操作，来检查Web的功能和响应时间 丰富的可视化选项 支持创建自定义的图表，一个试图集中展现多个监控项 网络拓扑图 以仪表盘的样式自定义大屏展现和幻灯片轮询播放 报表 监控内容的高级（业务）视图 历史数据存储 数据库数据 可配置历史数据 内置数据管理机制（housekeeping） 配置简单 将被监控对象添加为主机 在数据库中获取主机进行监视 应用模板来监控设备 使用模板 在模板中分组检查 模板可以关联其他模板 网络发现 自动发现网络设备 监控代理自动注册 发现文件系统，网络接口和SNMP OID值 快捷的Web界面 PHP Web前端 可从任何地方访问 你可以定制自己的操作方式 审核日志 Zabbix API Zabbix API为Zabbix 提供了对外的可编程接口，用于批量操作，第三方软件集成和其他目的 权限管理系统 安全用户认证 特定用户可以限制访问特定的视图 功能强大，易于扩展的agent 部署在被监控对象上 支持Linux和Windows 二进制代码 为了性能和更少内存的占用，用C语言编写 便于移植 为复杂环境准备 使用Zabbix proxy代理服务器，使得远程监控更简单 结构 Zabbix由几个主要的软件组件构成，这些组件的功能如下。 Server Zabbix server 是agent程序报告系统可用性、系统完整性和统计数据的核心组件，是所有配置信息、统计信息和操作数据的核心存储器。 数据库存储 所有配置信息和Zabbix收集到的数据都被存储在数据库中。 Web界面 为了从任何地方和任何平台都可以轻松的访问Zabbix, 我们提供基于Web的Zabbix界面。该界面是Zabbix Server的一部分，通常(但不一定)跟Zabbix Server运行在同一台物理机器上。 如果使用SQLite,Zabbix Web界面必须要跟Zab
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
