这一年,蓝鲸平台从自动化运维平台,重新定义为研发运营一体化平台,实现了CI、CD、CO的IT管理全生命周期的打通。
“不想当将军的士兵不是好的战士”、“不想当CIO的DBA不是好的运维”。在每天面临如此多的来自工作量、运维安全、技术更新挑战的同时,我们还需要不断的成长与思考:
产品研发有自己的生命周期: 设计阶段---开发阶段---测试阶段---部署阶段---线上运行阶段---下线或者回滚阶段。
之前为了将一批数据库纳管起来,往往需要手动一个个输入,一些数据库配置信息发生了变动也需要一个个手动调整,往往面临操作繁杂、数据更新不及时的问题。WeOpsV3.12版本增加数据库自动发现采集能力,可对指定范围内数据库资产进行自动发现和采集、更新配置信息,自动同步到WeOps-资产记录中,自动新增/更新如下信息:
早期的IT资源交付,从最开始的物理机资源交付,从机器上架到一系列的系统的引导安装,数据库的初始化安装,以及资源对象的网络设置等,甚至很多时候都需要到机房进行本地部署。 随着企业数字化的变革带来业务系统的与日俱增,以及市场上传统、开源等各类新技术的大量兴起,导致现在的IT资源交付,对基础架构来讲面临着更加多样性、重复性和及时交付的挑战。当然,部分企业在逐步引进私有云、公有云、混合云后,也帮助解决了IAAS层资源的快速交付困难,但对于企业来讲更多的会选择多个不同云平台,从而导致面临一人管理多个云资源平台的现象,不仅对管理员技能要求很高同时其工作量也相当大。
我们将现有环境中的监控称之为眼,例如:APM、Zabbix、Flume、Tivoli、HMC、NPM、Netbase 等,通过眼获得了众多运维数据,包括:业务监控数据、中间件监控数据、数据库监控数据、IAAS 监控数据、PAAS 监控数据、系统监控数据、硬件监控数据、存储监控数据、网络监控数据、众多日志数据、变更数据等。
随着数字化转型的深入,基于中台和PaaS架构的一体化运维建设也在各行各业快速展开,但是如何将运维平台本身的能力与企业已有的工具能力进行中台化整合、工具场景如何联动,是个复杂而庞大的工程。
美团点评技术沙龙由美团点评技术团队主办,每月一期。每期沙龙邀请美团点评及其它互联网公司的技术专家分享来自一线的实践经验,覆盖各主要技术领域。 目前沙龙会分别在北京、上海和厦门等地举行,要参加下一次最新沙龙活动?赶快关注微信公众号“美团点评技术团队”。 本次沙龙主要围绕数据库相关的主题,内容包括美团数据库自动化运维系统构建、点评侧MySQL自动化服务平台RDS、美团数据库中间件、和小米高级DBA带来的Redis Cluster的大规模运维实践。 讲师简介 宁龙,美团网高级DBA,现负责美团数据库自动化运维系统
对于中小型企业而言,进行主机和应用的管理是比较麻烦的,应用部署往往需要直接连接服务器,再进行手动的环境配置、代码拉取、应用构建和部署发布等工作,容易出错,且耗时费力。一个好的自动化运维平台,往往能大大节省人力物力,提高开发部署效率。Spug,正是一个面向中小型企业设计的轻量级自动化运维平台。
转载声明:本文转载自「FineOPS」,搜索「FineOPS」即可关注。 当下企业很多都热衷于建设运维自动化、智能化,通过技术革新代替繁杂的手工运维,提高生产效率的同时最大程度的减少人为失误。但是如何
随着互联网技术的不断发展,在线网站的规模越来越大,防火墙作为网站的安全屏障,被大量的使用。防火墙数量的增加以及防火墙中安全策略条目的增加,安全工程师的运维工作量成倍的增长,应用交付往往要求防火墙策略能快速设置。用传统的人工方式运维大量的防火墙策略已经变得非常困难。 本文会介绍携程网络安全运维如何通过自动化方式,在防火墙数量达到几十台,策略条目庞大、多品牌的情况下,对防火墙策略进行集中式统一化的管理,提升用户查询、申请策略体验,优化申批流程,系统自动化配置防火墙策略,提升安全工程师效率的
5月16日,蓝鲸行业说直播专栏又迎来新一期的更新,第八期带来金融基金行业的研运一体化落地实践分享。
今天我就给大家讲一下我们这边做的数据库运维的自动化平台,他是怎么样子的。首先我会给大家简单介绍一下我们做平台的背景,以及平台的一些技术架构,以及针对我们DBA和开发的需求的全套解决方案。 首先是背景,我们为什么要做RDS,在做RDS之前其实我们也有一套自己的自动化系统,可是我们有了这套自动化系统我们发现有了之后我们DBA还是很忙,每天忙于工单处理,大表DDL,集群搭建,扩容,数据迁移等等。这些东西不能说没有价值,但是对于DBA来说,每一次的重复操作,都会让这个价值指数级下降,并且不能带来成长。所以我们对这些
刚刚过去的火热七夕节,也恰巧是云计算诞生十周年纪念日。十年前的今天,Google创始人埃里克·施密特在公司年度战略大会上首次公开提出“Cloud Computing”后被业界认为是云计算概念的正式提出
初期阶段IT基础设施通常处在小规模状态。几台至几十台机器的规模,足以满足业务需求。很多公司都不一定配有专门的运维人员或者部门,业务开发人员完成自己业务工作的同时,也一并完成所负责管理相关业务的设备。随着云时代到来了,IT基础设施迅速发展成几百上千服务器。更多的业务系统上线,业务人员也无暇再顾及运维工作。此时,运维人员开始专业化,独立成部门。各类孤岛式的运维管理工具上线,提升运维效率。
近些年,传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活性的要求。随着数据库规模急速扩大,各种NewSQL系统上线使用,运维逐渐跟不上业务发展,各种矛盾暴露的更加明显。在业务的驱动下,美团点评DBA团队经历了从“人肉”运维到工具化、产品化、自助化、自动化的转型之旅,也开始了智能运维在数据库领域的思考和实践。
做了多年安全运维的我一直想出点干货,经常看众大神分享经验,仰望的同时总是想有一天自己也能贡献点什么。在宜信的这些年工作了许久,经验也积攒了一些,不敢说干货多硬,只能算是近几年工作经验的沉淀,希望能给阅读者带来启示和帮助。更欢迎同行各位大佬给予斧正,共同交流经验和从业心得体会,在此谢过。
我觉得你可以把你一整天的工作情况都罗列下来,毫无疑问,你需要是个有心人,你得关心自己的工作情况,把耗时和时间的分配情况都记录下来,便于追溯。
摘要 在“双态IT"的架构下,传统业务与创新性业务两种截然不同的业务形态如何统—管理成为了运维人员现在面临的最大挑战。本次演讲旨在探讨对两种业务形态进行统—管理,自动化交付和统一高效的解决思路和方案。
在数据库运维中对运维场景建立连接是一种很不错的方式,通过建立连接使得我们可以把原本单一的问题通过流程化的方式衔接起来。
2018年12月,经过嘉维蓝鲸项目组近半年的努力奋战,太平集团成功上线了蓝鲸研发运营一体化平台,实现了IT运维全流程标准化和调度自动化,并取得了如下收益:
工单是运维工作里面的硬通货,在多年之前我们口口相传,no 工单,no work,但是似乎在很多公司里面对于工单的管理都不够给力或者给予的重视程度有一些落差。
IT运维指的是企业IT 部门采用相关的方法、手段、技术、制度、流程和文档等,并借助各类运维工具,对IT软硬件运行环境、业务系统、运维流程、运维人员等进行综合管理。
蓝色的部分是我们已有的部分,另外的部分是我们当时做得不好的地方。 当然这个过程说起来都是辛酸泪。都是一点一滴的改进。
这里根据笔者以往的工作经验和周围一些 DBA 大佬的分享,总结出 DBA 在工作中需要开发的内容:
这些年来,大家都在谈运维自动化。但大家是否也会困惑于“只见树木、不见森林”?或者说,做了几年的运维自动化,但依然不能确定还有哪些工作没做?怎么更优雅的实施运维自动化?
生产变更管理是运维流程的重要流程,有效防控变更风险将直接影响业务连续性管理的有效性,变更管理的目标是通过规范生产系统变更实施,减少变更带来的问题,并高效和迅速地处理变更发布、交付需求。变更管理通常包括几个主要步骤:变更流程、变更评审、变更实施、变更效果评估。变更流程主要指建立变更发布计划,并通过线上化流程方式进行变更申请的审批;变更评审主要指围绕降低变更风险,并让变更正常交付涉及的准备工作;变更实施主要指变更计划的现场实施管理,以及变更发布执行涉及的操作;变更效果评估主要指围绕变更管理的执行情况进行数据运营,以持续提升变更管理水平。
本篇从传统运营管理出发,分析运营管理关键要点,再类比到IT运营,最后从“控底线、优服务、提效能、降成本”四个实施方向看看ITOM应该为IT运营转型做什么、如何做。
之前也写过一篇比较基本的文章,也算是自己对运维平台的一个基本思考。运维平台的建设思考(r6笔记第20天) 当然想法简单,而且缺乏实践,但是朝着这个方向迈进是没有错的。从我的观点来看,现在能够实现半自动化运维已经很了不得了。而且把这些工作能够落到实处,更是不易 。 比如举几个简单的例子。 比如对于数据库的数据文件添加这个功能来说,其实完全可以实现自动化扩容。但是是否完全可行呢,我觉得还有待斟酌。比如temp设置为自动增长,如果出现 了sql语句导致的问题,结果导致temp被撑爆,听说过temp无限扩展达到
点击上方蓝字关注每天学习数据库 作为“互联网+”和“智能+”的主要技术供应商,腾讯提出了“云化”已经成为重要的创新模式,各行各业都将进入“互联网+”的下一站——“智能+”阶段。在此过程中,腾讯云将充分发挥“连接器”的作用,用“智能”连接各行各业。 3月12日,腾讯云全新发布自主可控金融业务支撑平台,该平台融合了可支撑数百万虚机的专有云平台TCE、服务过380亿账户的分布式数据库TDSQL,以及在腾讯海量业务场景淬炼出来的微服务平台TSF、大数据及人工智能平台TBDS&Ti等在内的优势能力,帮助金融机构打
大家都知道这两年饿了么的发展迅速,作为一名运维人员如果你工作在饿了么,你可曾这样分析过?之前分享过一篇关于饿了么的文章。 大家好,首先,先简单介绍下自己,我是徐巍,目前在饿了么负责基础设施的运维及开发工作,早些年就职于PPTV、携程、游族等公司,也算是一个运维的老兵了。饿了么成立于2008年,2014年底开始迎来业务的大规模爆发性增长,2015-2016年饿了么进入高速发展期,业务和服务器的增长都在数十倍的规模,这种大规模的增长必然带来很多挑战,本文将通过饿了么运维基础设施的进化史和大家分享不同时期应
腾讯云数据库国产数据库专题线上技术沙龙正在火热进行中,3月26日郝志刚的分享已经结束,没来得及参与的小伙伴不用担心,以下就是直播的视频和文字回顾。 关注“腾讯云数据库”公众号,回复“0326郝志刚”,即可下载直播分享PPT。 1 前言 “赤兔”平台是TDSQL提供的产品服务之一,它从管理员视角提供TDSQL的全部运维功能和上百项数据库状态监控指标的展示,让数据库管理员日常90%以上的操作均可通过界面化完成,同时更方便定位排查问题。 扁鹊系统是TDSQL面向云市场推出的一款针对数据库性能/故障等问题的自动
关于https证书的过期巡检监控,还真是百密一疏!仔细复盘,可能我们将注意力都集中在基础设施、基础状态、应用系统、中间件、数据库、链路追踪、日志,以及更高阶的可观测的概念及如何建设上,而忽略了当下,孰不知我们现阶段为监控所做的一切都是在提高系统的可观测性!因此对于监控,即使没有可观测性的加成,也可以使我们的监控系统满足业务日益发展的需要。
大型国有银行,整体核心的系统都是大机+DB2 这样的传统架构;针对现在的互联网金融业务快速扩张的需求,传统的架构面临着比较大的挑战。
创建这个策略只是一个开始而已,随着项目的进行,它也会改变。发布策略的一个关键部分就是发布计划,它用来描述如何执行发布。
随着 Kubernetes(K8s) 的全面成熟,越来越多的组织开始大规模地基于 K8s 构建基础设施层。然而,考虑到数据库在架构中的核心地位与 K8s 在有状态应用编排上的短板,仍有不少组织认为在 K8s 上运行核心数据库会带来颇高的风险。事实上,在 K8s 上运行 TiDB 不仅能实现企业技术栈的统一,降低维护成本,还能带来更高的可用性与安全性。本次分享将介绍 TiDB 在 K8s 上的运维管理系统 TiDB Operator,再从各类故障场景入手剖析 TiDB on K8s 如何实现高效的故障自愈并保障数据安全。最后,我们会分享来自国内外一线公司的 TiDB Operator 生产环境案例,并总结出一套 TiDB on K8s 最佳实践。
点击上方蓝字每天学习数据库 大咖简介:雷海林,腾讯云数据库技术专家,2007加入腾讯,一直从事支付,数据库领域相关的开发工作。重点研究方向是Linux和数据库内核,在内核编程,后台程序性能优化,分布式数据库方面有丰富经验,目前主要负责分布式数据库TDSQL的研发。 ---- 2019年DTCC中国数据库大会上,腾讯云数据库专家雷海林受邀接受了深度专访。对个人在数据库领域的心路历程,TDSQL智能运维平台架构,以及数据库运维的宝贵经验逐一进行了分享。 采访视频 采访问题 问题1:请您介绍下日常工作重点,以
声明:本文来自于我的这些年运维创业服务经验,基于EasyOps自动化运维平台的经验总结,与大家分享。
墨墨导读:数2020数据技术嘉年华于11月21日落下帷幕,大会历时两天,来自全国各地的数据领域学术精英、领袖人物、技术专家、从业者和技术爱好者相聚北京,见证了个人的快速成长、技术的迭代进步、行业的蓬勃发展、生态的融合共赢,以及市场的风云变迁。
之前接到一位客户咨询,说自己是300人的公司,4名运维人员。负责桌面支持,网络,视频等所有it工作。有什么办法能提高并量化it运维效率。为他解答的过程自己也整理除了一些思考,和大家一起聊聊。
不过大公司会专门做某一部分,例如应用运维不需要关注测试和安全等方面,但建议都学学,触类旁通有好处。 有这些基础,进到公司就可以去完成基础的建设工作了。比如会安排你搭建服务,整理资产报表,清理一些日志,这些基本工作可以帮助你了解公司当前有哪些服务,各种服务之间是如何运作的,之后再慢慢参与到业务中,薪资一线城市可以达到6-10k左右。
内容来源:2018 年 11 月 10 日,SOUG联合创始人周亮在“2018 SOUG年度数据库技术峰会”进行《Oracle AI 性能优化指南探讨》的演讲分享。IT 大咖说(微信id:itdakashuo)作为独家视频合作方,经主办方和讲者审阅授权发布。
相信很多企业的管理层都面临过这样的问题:80后70后相对比较好管理,而90后00后出生于较为生活富裕的互联网时代,个性比较突出,应该如何管理才能提高组织的效率呢?
随着DevOps在公司的不断实践落地,基于环境现状,目前已经发展成较为成熟和稳定的工作流。负责DevOps建设的团队目前的工作是内部Ops平台开发和不断发现挖掘内部人员的需求以进一步优化。得益于容器以及k8s相关技术使得业务稳定性提高,基于Jenkins Pipeline流水线的任务构建及各类环境的部署发布也变得容易,Prod生产环境和Pre预生产环境的上线发版还是由测试或运维人员负责在平台进行点击和确认发布。
本文将为大家讲解 Serverless 工作原理、架构优势和 Serverless 应用的开发流程,以及如何使用 Serverless CI/CD 能力进行自动化部署。 本次和大家分享的提纲如下: 什么是 Serverless CI/CD? Serverless 介绍 Serverless 架构 CI/CD 与 Serverless CI/CD Serverless CI/CD 应用 Serverless 应用开发流程 Serverless CI/CD 优势 Serverless CI/CD 实战 基于
自新型冠状病毒爆发以来,地产行业面临前所未有的挑战,业务线上化已成为全面需求,某大型地产集团积极做出业务调整,全面实施线上卖房。
领取专属 10元无门槛券
手把手带您无忧上云