首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

数据库智能运维探索与实践

在业务的驱动下,美团点评DBA团队经历了从“人肉”运维到工具化、产品化、自助化、自动化的转型之旅,也开始了智能运维在数据库领域的思考和实践。...本文将介绍美团点评整个数据库平台的演进历史,以及我们当前的情况和面临的一些挑战,最后分享一下我们从自动化到智能化运维过渡时,所进行的思考、探索与实践。...还有一个就是专业的DBA越来越匮乏,越来越贵,关键是根本招聘不到人手。 在这种背景下,我们必须去思考:如何突破困局?如何朝着智能化转型?传统运维苦在哪里?智能化运维又能解决哪些问题?...但主动出击不一定是通过DBA去做,可能是系统或者机器人操作;第三,传统运维是由DBA发起和解决的,而智能运维是系统发起、RD自助;第四,传统运维属于“人肉救火”,而智能运维属于“智能决策执行”;最后一点...传统运维在采集这一块做的不够,所以它没有太多的数据可供参考,其分析和预警能力是比较弱的。而智能运维刚好是反过来,重采集,很多功夫都在平时做了,包括分析、预警和执行,智能分析并推送关键报表。

4.1K10

为什么要搞数据库运维平台

实际上很多企业都有想做一套数据库运维平台的想法,主要基于以下的一些原因 1 ORACLE 的淘汰,导致更换其他数据库后,数据库的台数和数量等都有上升,管理手段和方式在使用纯手工的方式进行大批量的数据库的管理...2 固定种类数据库运维监控种类的平台建立,这样的平台也是见得不少,都有自己的特性和卖点,并且有些产品是固化与某一种数据库产品或自研数据库产品所推出的,这些平台包含,自动搭建数据库,自动巡检数据库,自动运维故障处理...3 基于业务的数据库运维的平台,这点可能是商业数据库平台的一个无法触及的地方,目前经济环节的问题会导致针对成本核算的重视,而数据库成本的计算,尤其与业务方面有关的方面这是一个空白,比如数据库为什么要扩充容量...基于上面的一些内容,所以想通过目前企业的需求,来规划一个目前在企业内部核心化的数据库运维平台,并且在开发中,逐步扩展,对于个人,以及整体职业的发展都是一个好的契机与机会。...从某种角度,如果深入到业务甚至可以通过平台的方式节省在数据库上的投入,转变被动管理方式,为主动管理,让数据库运维从花钱的角色,变为省钱的角色,乃至一个“赚钱”的部门。

2.8K60
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    运维平台一体化

    运维一体化 之 平台一体化----从标题看可以看到两个一体化,分别是运维一体化与平台一体化。...,通过为运维人员提供运维开发平台,降低运维开发门槛,快速落地一些紧迫的运维工具,降低操作性、重复性的运维工作; -从依靠经验向智能化驱动运维转型,结合数据分析、知识库、机器学习技术促进运维智能化...如上图所示,我们的运维一体化的核心是组织、流程、工具三位一体,具体来讲是以CMDB为基础,结合运维统一门户、运维分析平台、云平台、监控平台、流程平台、操作平台、审计归档平台,构建运维工具一体化(即平台一体化...运维一体化以运维向主动精细化运维、价值驱动、运维开发、智能化转型为目标,为实现上述目标首要的工作是需要解放运维生产力,通过“监管控”运维自动化提高工作效率,通过自主的开发平台实现敏捷的开发能力,通过运维分析实现运维智能化...实现读写分离,目前我们的数据库由17台MYSQL组成,数据存储由原来了一个月,到现在的一年以上,支持多指标、多形式、多并发的监控、分析的运维场景需要。

    5.3K20

    设备远程运维平台—助力工业设备智能化

    远程运维是工业互联网重要组成部分,没有工业互联网核心技术,远程运维不可能实现目标,设备远程运维平台运用了各种新技术,物联网实现数据接入,云计算实现存储、大数据实现分析, 人工智能实现状态检修与预警预报。...01设备远程运维平台设备远程运维平台通过智能终端对设备进行在线监测,将各种数据上传到云平台,存储、整理、分析,通过智能应用系统实现在线监控、记录、查询、统计、分析、修改、报警等操作,实现远程智能化管理。...加快工厂信息自动化进程,将企业管理、决策、市场信息和现场监控信息结合起来,实现ERP、MES、PCS等信息一体化,提高企业智能化管理水平。...04设备远程运维系统优势1、一物一码,快速全面掌握设备信息系统给每台设备配置唯一的二维码标识,扫一扫即可快速查看设备详情、服务记录、备件更换记录、设备使用帮助、知识库以及设备的实时运行数据,更加有利于客户对产品使用...3、连接用户更紧密,提高企业和客户的黏性通过智能化服务,随时为客户提供各种信息,保障客户设备良性运作和使用寿命。变被动服务为主动服务,增加客户配件在原厂家的购买率及新设备的复购率。

    1.2K50

    腾讯织云Metis智能运维学件平台正式开源

    10月20日,腾讯织云 Metis 智能运维学件平台正式对外开源。...1、项目描述 “Metis”取名自希腊神话中的智慧女神墨提斯,全称为:腾讯织云 Metis 智能运维学件平台。“织云”指的是腾讯智能一体化运维平台,“学件”的概念由南京大学周志华教授提出。...在此基础上,腾讯云副总裁赵建春先生进一步提出“运维学件”的概念,亦称 AI 运维组建,强调其具备对运维场景智能化解决方案的记忆能力。...如 Metis 的智能咨询机器人、舆情监控、集群智能负载均衡、数据库参数调优、容量预测。...5、Metis 智能运维学件未来开源计划 Metis 将打造一个开放的学件平台,陆续开源时间序列指标预测、主机异常智能分析、MySQL 异常智能分析、硬盘生命周期预测等其它智能运维学件,集合广大用户在智能运维领域的建设经验和实践

    5.3K21

    数据库自动化运维平台–自助DML

    为了使DBA的工作轻松,有效率很多年前各大公司就开始自动化运维平台建设,在这方面我们属于比较晚的了。 今天介绍下最近开发的一个平台,自助DML。什么是DML,就是平常执行的增删改查数据库操作。...有人有疑问这不是程序访问的操作,为什么还要做一个平台操作这些呢,其实这种操作主要是开发需要线下修复数据的一种操作,不只是增删改,还有建表,建索引,添加字段等,这些操作开发一般会提给DBA协助操作数据库。...处理近百个这种需求,基本上一个人一天就不用干别的了。...虽说现在的公司实例少点,但每天的工作量还是很大,关键这种工比较重复,枯燥,没有技术含量,所以迫切需要一个自助的服务平台开放出去来提高工作效率,解放DBA。...: 1) 提交任务需要满足两个条件:(1) 元数据平台(请参考之前的元数据平台博客)集群归属部门信息不能为空 (2)提交任务的人所在部门要跟集群归属部门一致 2) 根据流程检查权限后,就会对提交的

    3.3K20

    数据库运维管理平台面面观

    近期因工作需要对国内数家主流的数据库运维管理平台做了个调研,同时对这一产品的发展演进趋势做了简单分析,供大家参考。 1....数据库运维管理平台将逐渐向基于云的SaaS平台发展,实现跨地域、跨云平台的资源监控和管理。 智能化趋势:数据库运维管理平台将更加注重应用人工智能、机器学习等技术,实现数据库管理自动化和智能化。...安全智防趋势:随着数据库安全事件频繁发生,数据库运维管理平台将更加注重数据库安全的智能防护。例如对不合法的SQL操作,恶意登录,数据泄漏等安全事件进行实时监控,及时发现并处理异常情况。...自动化趋势:数据库运维管理平台将更加注重自动化运维的发展,推进各项操作的自动化实现,减少人工操作的参与,提高运维效率和管理质量。...综上所述,数据库运维管理平台将逐渐实现云化、智能化、多模式化、安全化和自动化的发展趋势。作为一个专门用于进行数据库管理和运维的平台,将实现更高效的数据库管理,更保障企业数据的可靠性和安全性。

    52120

    【开源公告】腾讯织云Metis智能运维学件平台正式开源

    1 项目描述 “Metis”取名自希腊神话中的智慧女神墨提斯,全称为:腾讯织云 Metis 智能运维学件平台。“织云”指的是腾讯智能一体化运维平台,“学件”的概念由南京大学周志华教授提出。...在此基础上,腾讯云副总裁赵建春先生进一步提出“运维学件”的概念,亦称 AI 运维组建,强调其具备对运维场景智能化解决方案的记忆能力。...织云 Metis 是聚焦在智能运维的应用实践集合,它基于腾讯已有的运维数据,将机器学习领域的分类、聚类、回归、降维等算法和运维场景相结合,旨在通过一系列基于机器学习的算法,对运维数据进行分析、决策,从而实现自动化运维的更高阶段...如 Metis 的智能咨询机器人、舆情监控、集群智能负载均衡、数据库参数调优、容量预测。...5 Metis 智能运维学件未来开源计划 Metis 将打造一个开放的学件平台,陆续开源时间序列指标预测、主机异常智能分析、MySQL 异常智能分析、硬盘生命周期预测等其它智能运维学件,集合广大用户在智能运维领域的建设经验和实践

    3.7K30

    【开源公告】腾讯织云Metis智能运维学件平台正式开源

    1 项目描述 “Metis”取名自希腊神话中的智慧女神墨提斯,全称为:腾讯织云 Metis 智能运维学件平台。“织云”指的是腾讯智能一体化运维平台,“学件”的概念由南京大学周志华教授提出。...在此基础上,腾讯云副总裁赵建春先生进一步提出“运维学件”的概念,亦称 AI 运维组建,强调其具备对运维场景智能化解决方案的记忆能力。...如 Metis 的智能咨询机器人、舆情监控、集群智能负载均衡、数据库参数调优、容量预测。...5 Metis 智能运维学件未来开源计划 Metis 将打造一个开放的学件平台,陆续开源时间序列指标预测、主机异常智能分析、MySQL 异常智能分析、硬盘生命周期预测等其它智能运维学件,集合广大用户在智能运维领域的建设经验和实践...腾讯织云 Metis 智能运维学件平台之无阈值智能监控学件正式开源 Github 开源地址: https://github.com/Tencent/Metis 请给 Metis 一个 Star !

    1.4K30

    【开源公告】腾讯织云Metis智能运维学件平台正式开源

    1 项目描述 “Metis”取名自希腊神话中的智慧女神墨提斯,全称为:腾讯织云 Metis 智能运维学件平台。“织云”指的是腾讯智能一体化运维平台,“学件”的概念由南京大学周志华教授提出。...在此基础上,腾讯云副总裁赵建春先生进一步提出“运维学件”的概念,亦称 AI 运维组建,强调其具备对运维场景智能化解决方案的记忆能力。...如 Metis 的智能咨询机器人、舆情监控、集群智能负载均衡、数据库参数调优、容量预测。...5 Metis 智能运维学件未来开源计划 Metis 将打造一个开放的学件平台,陆续开源时间序列指标预测、主机异常智能分析、MySQL 异常智能分析、硬盘生命周期预测等其它智能运维学件,集合广大用户在智能运维领域的建设经验和实践...腾讯织云 Metis 智能运维学件平台之无阈值智能监控学件正式开源 Github 开源地址: https://github.com/Tencent/Metis 请给 Metis 一个 Star !

    3.3K20

    腾讯数据库专家雷海林分享智能运维架构

    2019年5月8日-10日的DTCC2019年中国数据库大会上,腾讯云数据库专家工程师雷海林首受邀做了主题为《TDSQL智能运维平台-扁鹊架构与实践》的技术分享,以下为大会现场演讲实录。 ?...一、扁鹊的基本介绍 扁鹊系统是TDSQL面向云市场推出的一款针对数据库性能/故障等问题的自动化分析并为用户提供优化/解决方案的产品。 1....之所以将这个模块命名为扁鹊,就是希望它能像古代的扁鹊神医为人诊断病因一样也可以为数据库“对症下药“,治疗/修复/预判数据库已知或潜在的风险。 2....三、智能诊断原理与实践 我们将客户经常咨询的DB问题大体分为三类,可用性问题、性能问题、可靠性问题。 下面我们具体看一下扁鹊是怎样针对这三类问题进行分析并解决的。 1....从我们自身的运维经验来看,由DB故障导致的切换并不常见,更多的情况是由于用户的SQL占用过多的系统资源引发的一些异常状况,主要可以分为慢查询并发和大事务两类,下面我们逐个分析两种行为触发切换的原因 由慢查询并发引起的主备切换

    1.9K20

    腾讯数据库专家雷海林分享智能运维架构

    2019年5月8日-10日的DTCC2019年中国数据库大会上,腾讯云数据库专家工程师雷海林首受邀做了主题为《TDSQL智能运维平台-扁鹊架构与实践》的技术分享,以下为大会现场演讲实录。...image.png 关注“腾讯云数据库”官方微信,回复“智能运维”,即可下载本文PPT。...image.png 三、智能诊断原理与实践 我们将客户经常咨询的DB问题大体分为三类,可用性问题、性能问题、可靠性问题。 下面我们具体看一下扁鹊是怎样针对这三类问题进行分析并解决的。...image.png 从我们自身的运维经验来看,由DB故障导致的切换并不常见,更多的情况是由于用户的SQL占用过多的系统资源引发的一些异常状况,主要可以分为慢查询并发和大事务两类,下面我们逐个分析两种行为触发切换的原因...关注“腾讯云数据库”官方微信,回复“智能运维”,即可下载本文PPT。 image.png

    11.9K20

    腾讯数据库专家雷海林分享智能运维架构

    2019年5月8日-10日的DTCC2019年中国数据库大会上,腾讯云数据库专家工程师雷海林首受邀做了主题为《TDSQL智能运维平台-扁鹊架构与实践》的技术分享,以下为大会现场演讲实录。...扁鹊的需求背景 TDSQL作为腾讯针对金融场景推出的高一致,分布式数据库集群的解决方案目前已覆盖了腾讯90%的支付业务场景,内部有大量团队使用;同时作为腾讯金融云的数据库产品,支持公有云和专有云两种云解决方案...之所以将这个模块命名为扁鹊,就是希望它能像古代的扁鹊神医为人诊断病因一样也可以为数据库“对症下药“,治疗/修复/预判数据库已知或潜在的风险。 2....三、智能诊断原理与实践 我们将客户经常咨询的DB问题大体分为三类,可用性问题、性能问题、可靠性问题。 下面我们具体看一下扁鹊是怎样针对这三类问题进行分析并解决的。 1....从我们自身的运维经验来看,由DB故障导致的切换并不常见,更多的情况是由于用户的SQL占用过多的系统资源引发的一些异常状况,主要可以分为慢查询并发和大事务两类,下面我们逐个分析两种行为触发切换的原因 由慢查询并发引起的主备切换

    1.4K60

    腾讯智维平台在渝上线,开启IDC智能运维新时代

    作为腾讯20年数据中心运维经验的结晶,腾讯智维平台将以水土机房为起点,逐步在重庆电信机房部署落地。此次合作,正是腾讯数据中心为行业升级提供解决方案的一次尝试,也代表着腾讯拥抱产业互联网的决心。...图4    腾讯重庆云计算数据中心 腾讯智维由服务内部的星云平台升级而来,是腾讯自研的数据中心技术设施管理软件平台。...通过智维平台,可以实现数据中心的智能告警、智能巡检、智能容量分析和透明化的客户体验,为全局把控、精细化管理、优化运营成本提供基础,同时也为技术专家实时、异地处理告警,数据中心无人值守创造可能。...图5    腾讯智维平台优势介绍 接入腾讯智维平台后,重庆电信数据中心将在运营方面更加智能化和可视化,如同多了一双可以掌控数据中心运营全局的“眼睛”。...后续,腾讯数据中心还将全面开放运营能力,同时将其商业化,进一步助力数据中心行业智能化、数字化升级。 ? 联系邮箱:tidc@tencent.com

    2.3K10

    重新定义智能运维,博睿数据ONE平台带来哪些启示

    为此,博睿数据近日正式推出了一体化智能可观测平台ONE,该平台旨在建立一体化、智能化、面向业务与用户体验的统一运维平台,助力企业提高数字化体验,降低运维成本,提升工作效率,为数字化转型赋能升级。...同时,这也是业界第一个将所有运维监控需求“All in ONE”的统一平台。 博睿数据COO吴静涛直言:“一体化智能可观测ONE平台在IT运维市场具有里程碑意义。...过去,企业在运维上更多聚焦在系统层面的机房建设;例如,底层服务器的搭建、购买。现在,企业更注重于业务搭建、业务体验优化以及业务运营。 其二、用户运维职责也发生转变。...作为一个集告警收敛、异常检测、根因定位、智能见解,聚焦业务与用户体验的运维体系,打破运维孤岛,避免重复建设,赋能企业数字化的一体化、智能化、面向业务与用户的开箱即用的一体化可观测平台,ONE平台实现监控到可观测...从孤立的工具走向统一的能力平台,传统工具化的运维体系竖井林立,已不再适合企业对位运维监控的需求。 从人工的分析走向智能的见解。

    1.1K20

    智能综合运维管理平台能否解决企业目前面临的困难?

    图片    依托于大数据分析技术,为各行业运维管理提供信息化支撑。通过对管理平台进行智能化改造,构建基于云平台的用监控的统一管理平台。...实现“监、管、控”为一体的先进管理目标,为企业业务运维管理积累运行数据。     目前企业在运维管理的过程中仍然经常碰到一些难点,本文华汇数据将为您整理一些运维管理的难点及解决办法。...智能运维管理系统1、设备没有联网,动态数据缺失巡检靠经验,无法实时查看动态数据。被动运维,故障预测无从谈起。...图片 IT综合运营管理平台(ITOM) 一款面向政府,企业,行业用户的it综合运营管理平台,帮助用户改变孤立,分散的it管理,提供一体化,标准化,可视化的it运营管理平台。...IT综合运营管理平台(ITOM)包含运维监控系统(IM)、用户体验 (UE)、IT管理平台(ITOA)、IT系统后评价平台(PPE)四大系统,帮助府、企业、行业用户解决IT运维问题,提高运维效率,提升服务质量

    1.2K10

    腾讯智维平台在渝上线,开启IDC智能运维新时代

    作为腾讯20年数据中心运维经验的结晶,腾讯智维平台将以水土机房为起点,逐步在重庆电信机房部署落地。此次合作,正是腾讯数据中心为行业升级提供解决方案的一次尝试,也代表着腾讯拥抱产业互联网的决心。...图4    腾讯重庆云计算数据中心 腾讯智维由服务内部的星云平台升级而来,是腾讯自研的数据中心技术设施管理软件平台。...通过智维平台,可以实现数据中心的智能告警、智能巡检、智能容量分析和透明化的客户体验,为全局把控、精细化管理、优化运营成本提供基础,同时也为技术专家实时、异地处理告警,数据中心无人值守创造可能。...图5    腾讯智维平台优势介绍 接入腾讯智维平台后,重庆电信数据中心将在运营方面更加智能化和可视化,如同多了一双可以掌控数据中心运营全局的“眼睛”。...后续,腾讯数据中心还将全面开放运营能力,同时将其商业化,进一步助力数据中心行业智能化、数字化升级。

    2.5K10

    哪些是数据库智能化运维必踩的坑?

    将脚本打包成工具使用,比如说自动化运维平台、性能优化平台、监控平台,简单来说就是将所用的脚本归档集中起来。...然后是自动化运维,关于这方面的讨论这几年非常火,各种大会上都在讲自动化。根据我的观察,目前自动化运维主要在做那么一件或两件事,大多是一些不需要太多的流程,不需要太多的人工智能的事情。...最后是智能化运维,这是也本次要讲的一个比较重要的主题。所谓的智能化运维就是让机器去干人的事情,让机器学习人的思想,再通过人工智能的一些手段实现出来。...而智能化运维甚至还在起步阶段,或者说在概念的阶段。 AI性能运维需求 作为一个非甲方公司,我们考虑的智能化性能,必须要兼容所有的数据,这是一个大的前提。不同的数据库的类型,智能化运维需求是不一样的。...如果有报错,还可以去百度,谷歌或者其他地方查询,只要有足够的时间,就能找到一个问题的方向。因此在智能化运维性能这块,我们要把这些毫无头绪的环节梳理出来。 性能优化的目标 ?

    1.6K30

    10kV配电运维智能化设备与一体化运维模式

    本文主要分析探讨了10kV配电自动化设备与一体化运维模式。 ...2.1.3成立专门的维护公司   易电务配电运维是一体化运维模式所需的主要运维方式,对于一易电务公司来说,为了保证电网故障能够快速、准确地处理和排除,就可以成立专门的维护公司。...71688f91db75478ebfcdd97ef38dbdf1.jpeg 2.2一体化运维模式   一体化运维模式是根据配电网自动化设备的各种型号以及种类进行设备一体化运行维护的工作模式。...一体化运 维模式主要是由管理部门对系统运维部门和设备运维部门进行统一协调,对配电网自动化系统进行相关运行管理和设备维护工作。...总而言之,在建设智能配电网的目标下,自动化的发展是十分重要的,专业公司一体化运维模式可以有效地解决维护工作量大、技术维修 人员对区域不熟悉、工作效率低下的问题。

    1.1K50
    领券