但是公司业务发展的速度实在太快,来了一个厂商或者应用就要求我们上线一个RDS实例,并且要求实例具备高可用、可扩展能力,随时上线或者下线,领导又要求提高物理硬件资源利用率。业务部门整天催着我们快速提供数据库服务,数据库实例多了后,运维难度和复杂度直线上升。公司IT发展战略朝着微服务和互联网化全面改造,DevOps建设又旨在打通运维和开发部门壁垒,作为DBA运维人员该如何适应这种转型?
云产品 API 是用于与云产品进行通信的编程接口,允许开发者编写代码来控制云资源。通过使用 API,开发者可以实现自动化和标准化的操作,从而提高效率和降低错误率。此外,云产品 API 还可以提供对云服务的扩展和集成,使开发者能够将云服务与自有其他应用系统集成,构建更加丰富和复杂的应用程序。通过使用 API,可以提高开发者的生产力和创新能力,帮助他们更快地开发和部署云应用,从而更好地满足业务需求,实现真正的"DevOps"。
作者:李志勇 来源: http://www.csdn.net/article/2016-03-21/2826611 偶然在网上看到游族网络运维总监李志勇先生进行的一次分享,作为一个运维人,对其中的运维
FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等,是全域、异构、批流一体的数据同步引擎,大家如果有兴趣,欢迎来github社区找我们玩~
今天我就给大家讲一下我们这边做的数据库运维的自动化平台,他是怎么样子的。首先我会给大家简单介绍一下我们做平台的背景,以及平台的一些技术架构,以及针对我们DBA和开发的需求的全套解决方案。 首先是背景,我们为什么要做RDS,在做RDS之前其实我们也有一套自己的自动化系统,可是我们有了这套自动化系统我们发现有了之后我们DBA还是很忙,每天忙于工单处理,大表DDL,集群搭建,扩容,数据迁移等等。这些东西不能说没有价值,但是对于DBA来说,每一次的重复操作,都会让这个价值指数级下降,并且不能带来成长。所以我们对这些
笔者刚开始进入公司的时候,主要是忙于分布式MySQL系统----MyShard的构建,公司使用了大量的IDC机房,基于这种网络特点,MyShard设计当初完全是为了是一套支持Multi-Master操作的高可用性的分布式数据库,可以在多个机房中部署的业务上提供快速的写操作,实现了分布式高可用存储能力。
最近在 Operator 还是 Provider 的问题上掉了不少头发,感谢 pigletfly 推荐本文,解答了我很多疑惑。
一 、引子 笔者刚开始进入公司的时候,主要是忙于分布式MySQL系统----MyShard的构建,公司使用了大量的IDC机房,基于这种网络特点,MyShard设计当初完全是为了是一套支持Multi-Master操作的高可用性的分布式数据库,可以在多个机房中部署的业务上提供快速的写操作,实现了分布式高可用存储能力。 在业务增长期,MyShard解决了公司的很多大型的数据库存储业务,随着公司业务逐渐稳定下来,分布式存储需求越来越少。而公司却有大量的小业务以及不断尝试的各种新业务,需要越来越多的小数据量的数据库存
前段时间整理了一下数据库运维系统的一些内容,比自己预期的要难一些。我来简单回顾下一些参考点。
导语:“你不是不够好,你只是过时了”这句话用到 IT 行业特别合适,每隔一段时间都会有新的技术出现, 让码农们应接不暇。借着回顾DBA工作中的几个时期,跟大家分享我们对下一代数据库运维架构的理解和目前正在做的工作。 明星 DBA 层出不穷的时期 刚进入阿里时听过一句话一直记到现在,“要像了解自己的老婆一样了解自己管理的数据库”。当年我还没有结婚,对这句话的理解并不深刻。 这应该是@冯春培说的,当年进阿里的面试考官之一,大家都服气的称他为大师。 这句话后面其实隐含了一个背景:相比现在,当时的应用迭代较慢,架构
“你不是不够好, 你只是过时了” 这句话用到 IT 行业特别合适, 每隔一段时间都会有新的技术出现, 让码农们应接不暇. 借着回顾 DBA 工作中的几个时期, 跟大家分享我们对下一代数据库运维架构的理解和目前正在做的工作.
摘要 “你不是不够好,你只是过时了”这句话用到 IT 行业特别合适,每隔一段时间都会有新的技术出现, 让码农们应接不暇。借着回顾DBA工作中的几个时期,跟大家分享我们对下一代数据库运维架构的理解和目前正在做的工作。 DBA 层出不穷的时期 刚进入阿里时听过一句话一直记到现在,“要像了解自己的老婆一样了解自己管理的数据库”。当年我还没有结婚,对这句话的理解并不深刻。 这应该是@冯春培说的,当年进阿里的面试考官之一,大家都服气的称他为大师。 这句话后面其实隐含了一个背景:相比现在,当时的应用迭代较慢,架构集中,
从2019年初开始,就有不少创业公司陆陆续续向我咨询Kubernetes等云原生技术。
最近深深体会到,目前的发展速度,数据库方面各种东西,原理层出不穷,一个礼拜不去看那些公众号去“滋养”,一下脑子,就发现新的概念不知道了。
很早之前整理了一份DBA 技能图谱,最近有朋友问源文件,正好随着技术迭代,针对技能图谱做了补充。
《云上应用技术架构》是一本全面详尽的专业手册,旨在为应用运维人员、平台架构师和解决方案架构师提供在云环境中构建、管理和优化应用程序的必备知识和技能。本书精心设计了丰富的内容体系,涵盖了从基础的云架构设计,到复杂的数据架构和安全性设计等多个关键主题。
最近的互联网线上事故发生比较频繁,9月19日网上爆料出顺丰近期发生了一起线上删库事件,在这里就不介绍了。
👆点击“博文视点Broadview”,获取更多书讯 《云数据库架构》一书全面介绍了主流数据库的技术特点,结合业务场景讲解了数据库技术选型和数据库架构的最佳实践。下面我们摘取本书第1章中对阿里云RDS MySQL三节点企业版的重点内容,让读者先睹为快。 数据库的高可用是个悠久的话题,目前以最常见的主备模式为例, 它主要有异步和半同步两种方式,但这两种方式都有各自的缺陷。 异步在主库宕机后,最后更新的记录有可能没有推送到从库,从而引发数据丢失。 半同步虽然会保证最少有一个从库接收到binlog,但同样有丢
Growth Hacking这个词在过去一两年开始迅速从硅谷传播到国内,也诞生了一系列专注于企业数据分析业务的明星初创公司,如GrowingIO,神策数据,诸葛IO等。Growth Hacking简单的来说就是用数据驱动的方式来指导产品的迭代改进,以实现用户的快速增长,可以看看上面几家数据分析公司披露的客户就知道它有多流行了: GrowingIO客户:有赞,豆瓣,36Kr等 神策数据客户:秒拍,AcFun,爱鲜蜂,pp租车等 诸葛IO客户:Enjoy,罗辑思维等 我司的一个主要产品是面向中小诊所的运营S
上世纪 60 年代,首款企业级数据库产品诞生。经过六十余年的发展,企业级数据库市场已从原先寡头垄断的格局发展成百家争鸣的繁荣局面。多元数据库的格局,极大的促进了社会经济的发展,但同时也带来了数据库运维管理上的难题,如何更好的管理多云数据库,成为行业亟待解决的难题。 数据库多元化带来的管理难点 安装部署过程复杂:传统数据库环境准备,需要用户自行准备存储、网络、计算资源,协调系统、网络、数据库等各方专家,才能完成一套可用的数据库集群部署。 数据库管理难度大:传统数据库管理依赖于数据库厂商自带的管理工具,而今数据
我们曾经分享过一篇文章,云时代的DBA,何去何从?,在文中我们讨论了Oracle最近几年重点转而向云的变革,它全力以赴在做的一件事情就是把所有的产品和服务转移到云上来。 云技术改变了数据库领领域的竞争
有赞的基础架构使用了UCloud的基础服务,我们有相当比例的数据库是UCloud的RDS(一部分使用云RDS,一部分使用购买他们的物理服务器自建数据库)。
上云之后 DBA 会原地失业吗?其实多数情况都不会,那上云后还有哪些事需要 DBA 去做的呢?这节内容就来扯一扯。
在 11 月的 KCD 上海现场,听了一场阿里云的工程师关于他们自己的多云基础架构管理工具的介绍,前边的引言部分有介绍到 Terraform,还有另一款竞品就是 Crossplane,而且表示 Crossplane 在通用性 API 等方面做得比 Terraform 更好,阿里云的也参考了其架构和实现。就让我很感兴趣,同时在 2019 年使用 OpenShift 4 的时候也在其 OperatorHub 里有发现 Crossplane,当时觉得其 Logo 很有辨识度便一直有印象。所以这次抽了个周末专门体验了一下,看它是否当得起这个标题。开始~
目前云平台逐渐火热起来,国内如:阿里云、腾讯云、华为云等平台,国外如:AWS、Azure、Google GCP等平台,都有不少用户,并在持续的增加中。
时序数据库厂商「格睿云Greptime」已于近期完成天使轮融资。据介绍,本轮融资金额在数百万美金级别,由耀途资本领投,九合创投跟投。Greptime成立于2022年4月,是一家时序数据库厂商。公司CEO 庄晓丹曾在蚂蚁集团带领智能监控团队自研超大规模时序数据平台并实践 AIOps 智能运维,CTO 孙宁及技术 VP 冯家纯分别来自滴滴与蚂蚁集团。
小孩子最好的地方在于,无论你对他怎么样,他一直对你还是怎么样,前一秒在哭,下一秒就会笑容满面,而成年人不同,别人的一句话,可能就是一把刀插进心脏,久久不能恢复。
作者简介:崔秋,PingCAP 联合创始人,重度开源爱好者,曾任职于搜狗、豌豆荚,长期从事广告系统基础组件相关的研究,现主要从事开源 NewSQL 数据库 TiDB/TiKV 相关的设计和研发工作。
随着云计算的快速发展,越来越多的企业希望从顶层框架入手,探索整体数据架构中的更多可能性,DBaaS(亦称泛数据库类服务)就是PaaS 层的一个重要分支。那么,DBaaS到底是什么?适用于哪些应用场景?
大家好,我是马听,目前有8年DBA工作经验,这一篇文章,来跟大家聊一下,从事DBA岗位是一种怎样的体验?
对于DBA的定位在如今看来已经发生了重大的变化,有些是职业定位上的,有些是心理定位上的,在团队内部也分享过一次,现在总结分享出来。
《多机房多活架构,究竟怎么玩?》说明了在机房迁移的过程中,一定有一个“多机房多活”的中间状态:
Percona Everest目前处于alpha阶段,它面向寻求利用私有数据库即服务(DBaaS)的优势,而又不想重新造轮子的组织。
很震惊!很震撼!吓得我赶紧召集全公司服务端小伙伴Review了我们所有的安全部署!!!
近些年,传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活性的要求。随着数据库规模急速扩大,各种NewSQL系统上线使用,运维逐渐跟不上业务发展,各种矛盾暴露的更加明显。在业务的驱动下,美团点评DBA团队经历了从“人肉”运维到工具化、产品化、自助化、自动化的转型之旅,也开始了智能运维在数据库领域的思考和实践。
某游戏公司开发了个游戏APP,该公司在APP中会发布一些游戏场景、游戏角色、装备、精美皮肤等内容,玩家在线娱乐,产生充值购买等行为。 业务的构建涉及到几个端:
导读:本文我们盘点了往年发生的一些删库事件,我们该如何做到更好地预防和处理删库实践呢?
运行后导致redis hang住,接着CPU飙升,业务上所有支付链路卡住,所有的请求流量全部挤压到了rds数据库中,引起数据库雪崩效应,进而直接宕机。
大家知道 2022 年我又创业了,加入以虎哥 Startup 的 Databend 这个公司担任联创,我也从传统的 OLTP 转战到 OLAP,今年也接触了更多大数据用户。趁着元旦假期整理一下思路,从数据角度和大家聊一下 2022 年数据库发展,这里首先声明这篇文章更多只代表个人观点,大家看看就好,有兴趣后面找机会再交流。
作者 | 吴炳锡 中国数据库行业随着 2021 年 7 月 PingCAP 完成 3.4 亿美元融资,估值达到 30 亿美金,把中国数据库行业引爆了。2022 年 12 月 23 日达梦数据库 IPO 顺利过会,如果上市成功预计估值在 500 亿人民币,不出意外的话,这将是科创板最大的 IPO 之一。 那么你知道中国的数据公司有多少吗?据不完全的统计已经超过 300 多家,那 2023 年数据库市场又会是什么变化呢?我这里抛出来 5 个问题借本文与大家讨论一下。 Q1. 中国和海外数据库的差距还有多远?
内容来源:2017 年 08 月 24 日,微软中国首席产品经理宋青见在“ODF 2017开源数据库论坛(北京)”进行《云原生的MySQL托管服务架构及读写分离的优化》演讲分享。IT 大咖说(微信id:itdakashuo)作为独家视频合作方,经主办方和讲者审阅授权发布。
数据库管理系统对于大多数公司来说都是一个刚需。主要是将DBA的工作自动化,提高运维效率。传统企业会购买一些市场上的商业产品。互联网公司大多数会由DBA组自己开发维护一个类似系统。最近调研了一些开源的数据管理系统,加上一些个人的思考。觉得一个数据库管理系统应该具有以下基础功能:
1. 容器化: - Docker:Docker是一种开源的应用容器引擎,它将应用程序及其依赖(如库、配置文件等)打包成标准化的容器镜像。容器镜像可以在任何支持Docker的环境中运行,确保应用在开发、测试和生产环境之间的一致性。Docker通过容器隔离技术(如Linux命名空间和控制组)实现轻量级的资源隔离和管理。
公有云,私有云(OpenStack/cloudstack + KVM/XEN,oVirt), 混合云 服务监控 配置管理
👆点击“博文视点Broadview”,获取更多书讯 项目早期无论是从成本考虑,或者是业务模型考虑,往往难以估量长期的业务变化发展,尤其是数据库的扩容,项目的设计成员往往会单纯得以为,等到数据量膨胀以后,直接扩容数据库的规格,通过堆硬件的方式来解决数据库负载的问题。 在笔者的从业经验来看,这样的思想几乎是行业的“主流思想”,这也无可厚非,从业务角度,底层做得越透明,往往是越成功的。但从数据库的角度来看,单纯的堆硬件扩容依然存在非常大的性能隐患。 如果早期的时候,使用了8C 16G的RDS规格,以支撑1w Q
在集中式开发时代,配置文件基本足够用了,因为那时配置的管理通常不会成为一个很大的问题,简单一点来说,系统上了生产之后,如果需要修改一个配置,登录到这台生产机器上,修改这个配置文件,然后reload配置文件并不是什么很大的负担。但是在互联网时代,我们的应用都是分布式系统,部署在N台机器上,如果在线上一台一台的重启机器,会造成很大的负担和不稳定。并且对于公司来说,会有多个环境区分(测试环境和线上环境),有时还需要对同一环境中的不同集群做不同的配置。因此需要一个配置中心来集中管理不同环境、不同集群的配置,修改配置后能够实时推送到应用端。
而此时除了RDS 外,还想用 Redis,然而却不想自己搭建维护 Redis 服务。
领取专属 10元无门槛券
手把手带您无忧上云