随着各行各业电子信息化的不断加深,线上交易数据保持了长时间高速增长的态势,对数据存储的需求越来越大,数据库管理系统(DBMS)面临越来越大的性能、空间和稳定性压力。在此过程中,得利于计算&存储&网络等硬件领域的不断进步,业界流行的数据库管理系统逐步从单机架构向分布式架构演变。笔者希冀从梳理数据库管理系统所面临的一个又一个实际挑战及业界所提出的诸多解决方案的过程中,发现片缕灵感以指引未来的数据库开发工作。
注:本文发表后,收到了很多后台反馈,其中关于大型机的早期成就不容省略。微调重发本文,纯属个人观点,错谬之处,仍然期待指正。
第一代的“存算一体”数据库是80年代的IBM大机,提供计算、数据库、存储、中间件,解决了核心交易场景对性能和可靠性的诉求,但他的缺点同样明显,贵!高昂的采购费用、封闭的硬件生态和高昂的售后维保价格,大机的垄断,即使是银行这类不差钱的企业也感到肉疼。大机有限的存储扩展能力,也限制了数据库的容量。
POLARDB 是一个具有国际性质的数据库产品,虽是一个“国产数据库” ,可最专业的资料还要看 E 文。以下为翻译
我常用ISCSI配置共享存储的软件:Openfiler 和 StarWind,本文主要讲解的是 StarWind 软件。
这里介绍LVS集群的通用体系结构,设计原则和相应特点;LVS集群应用于建立可伸缩的Web,Media,Cache和Mail等网络服务。
笔者上一篇译文中在介绍Leaf Node时提到, 虽然leaf node不要求直接访问共享存储,但最好还是连上共享存储,因为说不准未来哪天就要把这个leaf node转为hub node使用。 其实这样的说法并不够准确,在12cR1时,leaf node上是无法运行只读数据库实例的,这时不连接共享存储完全不影响其使用。而12cR2的leaf node是可以运行只读数据库实例的,一旦leaf node上有了数据库,这时leaf node(确切的说这时leaf node应该叫做reader node)就必须连接
从Oracle数据库12c开始,可以将Oracle Clusterware和Oracle RAC配置在大型集群中,称为Oracle Flex集群。 这些集群包含两种类型的节点:Hub节点和Leaf节点。 Hub节点紧密连接,可以直接访问共享存储,并作为一个或多个Leaf 节点的锚点。 leaf 节点与Hub节点松动连接,可能无法直接访问共享存储。 Hub Node and Leaf Node Oracle ADG上的列式存储支持 Oracle ADG上的列式存储支持Oracle ADG上的列式存储支持 Or
Android 10 之前的文件系统 , 内存分为两块 , 应用私有目录 , 和 共享存储空间 ;
Ø 当业务因高可用机制发生数据库切换时,切换前后的数据库内容应当一致,不会因为数据缺失或者数据不一致而影响业务。
在一个生产系统中,通常都需要用高可用方案来保证系统的不间断运行。PostgreSQL 本身不支持任何多主群集解决方案,例如MySQL或Oracle。尽管如此,仍有许多商业和社区产品提供此实现,以及其他产品,例如PostgreSQL的复制或负载平衡。
ActiveMQ是最常用、特性最丰富的消息中间件,通常用于消息异步通信、削峰解耦等多种场景,是JMS规范的实现者之一。功能丰富到什么程度呢?支持大部分消息协议,而且支持XA。
从传统关系型数据库到云数据库,数据库在不断演进。与此同时,它也发挥着越来越重要的作用。从云计算、新媒体、音视频、云游戏到移动 App,几乎各行各业都离不开数据库。一方面,数据库作为 IT 基础设施的关键一环,对企业业务的发展起着支撑作用;另一方面,数字化在经济社会中不断深入,数据成为核心要素,围绕数据的生产、存储和消费均依赖数据库。
随着容器技术在生产环境中越来越多被使用,实际用户应用正在从无状态应用程序扩展到需要持久化存储支持的有状态应用程序。IT技术专业人员需要知道如何选择适合在容器中运行有状态应用程序的存储。我们深度解读Gartner报告,就存储类型及应用类型两个维度来帮技术专业人员分析容器存储的选择。
云原生Clickhouse 优势概述 以Clickhouse为基础,借鉴Snowflake等系统的设计思路,打造一款高性能的云原生OLAP系统,为用户提供多场景下的一站式的数据分析平台。 简单、易维护:集群管理、统一共享分布式调度服务 高可用、可扩展:支持500万以上的Table 低成本:存储成本至少降低了50% 兼容开源,复用超高性能:兼容协议、语法、数据库存储格式 Clickhouse是一款性能十分强悍的OLAP引擎,凭借优秀的性能在用户行为分析、ABTest、在线报表等多个领域大放异彩,但是目前C
VMware 公司去年3月开源了企业级容器 Registry 项目 Harbor ,由VMware中国研发的团队负责开发。Harbor 可帮助用户迅速搭建企业级的 registry 服务,它提供了管理图形界面, 基于角色的访问控制 RBAC,镜像远程复制(同步),AD/LDAP 集成、以及审计日志等企业用户需求的功能,同时还原生支持中文和英文,深受国内外用户的喜爱。许多开源社区的开发者也给 Harbor 项目添砖加瓦,贡献代码、反馈问题和提出建议。在大家共同努力下, Harbor 项目推出以来,在 GitHub 获得了近2000个点赞星星和500多个 forks。
日前,第11届PostgreSQL中国技术大会圆满落幕,大会上腾讯云多位顶级技术达人携手亮相,分别对腾讯云PostgreSQL系列产品技术亮点和创新实践案例进行了深入解读,针对TDSQL-C PostreSQL高可用特性、TDSQL-A发展历程、技术架构等做出了详细介绍。 会上腾讯云数据库开源产品TDSQL PostgreSQL版(开源代号Tbase)再次公布升级:分区表能力增强,分区剪枝性能提升30%,分布区表关联查询性能(Join)提升超十倍。此外,异地多活易用性增强、分布式死锁自动检测并解锁功能上线
TDSQL-C再创佳绩 9月16日,Distributed Cloud|2021全球分布式云大会在上海召开,腾讯云原生数据库TDSQL-C荣获“云原生卓越技术提供商”奖项,TDSQL-C 是腾讯自研的云原生分布式数据库(原CynosDB), 基于共享存储,实现了强大的扩展能力和超百万级QPS的高吞吐性能,深度定制的数据库内核TXSQL是支撑关键业务平稳运行的基石。 (云原生卓越技术提供商奖项) TDSQL-C的总体架构是基于共享存储,存储和计算分离的架构。 (传统的MySQL主备架构和TDSQL
在计算机领域,SAN(Storage Area Network)和NAS(Network Attached Storage)都是常见的存储解决方案。它们在数据存储、访问方式和应用场景上有着显著的区别。本文将详细介绍SAN和NAS的定义、特点以及它们之间的区别。
受停电影响,公共通信设施关闭、工厂停工、医院手术受阻……伊朗2021年大面积停电事件为我国能源行业敲响警钟,以电力为核心的能源安全是“国之大计”,必须高度重视。尤其在数字化环境下,我国核心技术基础薄弱,信息产业长期依赖进口,存在着重大安全风险。
关于对高可用的分级在这里我们不做详细的讨论,这里只讨论常用高可用方案的优缺点以及高可用方案的选型。
2020年全国两会期间,合肥工业大学应用数学研究所所长檀结庆在媒体采访中提到:“国产数据库只占据不到7%的市场份额,尤其在数据库最核心的交易业务中,鲜有能跟甲骨文同台竞争并实现替换的产品。”
双机热备就是使用互为备份的两台服务器共同执行同一服务,其中一台主机为工作机(Primary Server),另一台主机为备份机(Standby Server),保证系统不间断的运行。双机热备软件就是实现上述功能的软件产品。双机热备针对的是服务器的临时故障所做的一种备份技术,通过双机热备,来避免长时间的服务中断,保证系统长期、可靠的服务。
声明 本文为笔者根据自身的项目经验,以及参考大量文档书写而成。文中提到很多厂商的解决方案和概念,第一不方案之间的优劣评判,第二不进行厂商间的相互攻击,第三文中仅代表个人观点,不代表任何厂商的官方立场。 目前业内主流的双活存储技术 双活这个概念,2013年前后比较火热,那时候笔者有幸参与了IBM的一些双活项目,如GPFS A-A,PowerHA/HyperSwap等。因此本文也是有感而发,经验之谈。 谈到双活,首先这是一个很宽泛的概念。广义上说,双活是两个或多个数据中心,每个都具有独立运行生产应用所需要的所有
今天,中国信息通信研究院“原生聚力,云数赋能”第四届云原生产业大会首日活动取得圆满成功。作为云原生领域盛会,本次大会将邀请云原生业界顶级专家代表共探云原生产业发展方向,见证云原生发展阶段性成果,分享云原生应用先进经验。 腾讯云数据库专家团携顶尖云原生数据库TDSQL-C亮相,腾讯云数据库技术负责人程彬在主论坛分享了云原生时代数据库的技术沿革,四位鹅厂专家在下午的《云原生数据库架构探索与实践》专场中详细剖析了腾讯云在云原生数据库领域的技术演进历程、架构探索、问题解决思路和发展方向。 此外,凭借创新技术和领先实
TASKCTL本身无数据库,无任何第三方中间件,整个产品信息均在一个文件目录下。因此,通过共享存储,连接两个不同应用环境,即可达到信息共享的目的。TASKCTL在信息共享的基础上,通过一定可靠的检测技术,保证两个主备环境的实例启停的自动切换,从而达到服务高可靠的目的。
选择合适的控制器 k8s 的核心之一控制器(deployment(适合无状态的控制器)、StatefulSet(适合有状态的控制器)) deployment的特性: deployment创建的Pod是无状态的,当挂在Volume之后,如果该Pod挂了,由于是无状态的,Pod挂了的时候与之前的Volume的关系就已经断开了,新起来的Pod无法找到之前的Pod。但是对于用户而言,他们对底层的Pod挂了没有感知,但是当Pod挂了之后就无法再使用之前挂载的磁盘了。 备:如果deployment创建的pod挂载volume时,如果后端使用nfs或者ceph,重启pod数据也不会丢失的 简单理解:deployment的pod是无状态的,Pod挂了之后无法使用之前挂载的磁盘,ip也会丢失。
李飞飞,现任阿里巴巴集团副总裁、高级研究员,阿里云智能数据库事业部总负责人。加入阿里巴巴之前为美国犹他大学计算机系终身教授。研究成果多次获得了IEEE ICDE、ACM SIGMOD最佳论文奖等重要学术奖项。
郜德光,携程技术保障中心高级数据库经理,负责数据库相关的运维工作,参与了SQL Server和MySQL的高可用以及数据库容灾建设。喜欢钻研技术,对数据相关的技术一直保持着浓厚的兴趣。
关于对高可用的分级我们暂不做详细的讨论,这里只讨论常用高可用方案的优缺点以及选型。
在数据量持续爆增、数据日益多样化的今天,传统数据库的迭代速度已经追不上数据的增速,且企业对数据库计算和存储能力的要求越来越高。面对当前的挑战和机遇,国产数据库厂商的研发创新速度不断加快,可以说云计算时代的到来,扭转了国外商业数据库一家独大的局面。 目前,国产数据库领域正处于百花齐放的状态,已经有越来越多的行业巨头参与到了数据库的建设中,腾讯云便是其中之一。为了更深入地了解腾讯云数据库的发展历程,从而进一步透视国产数据库的发展方向,InfoQ 和腾讯云数据库专家工程师窦贤明就云数据库的发展、前景与挑战进行
1.引言 在过去的十几年中,Internet从几个研究机构相连为信息共享的网络发展成为拥有大量应用和服务的全球性网络,它正成为人们生活中不可缺少的 一部分。虽然Internet发展速度很快,但建设和维护大型网络服务依然是一项挑战性的任务,因为系统必须是高性能的、高可靠的,尤其当访问负载不断增 长时,系统必须能被扩展来满足不断增长的性能需求。由于缺少建立可伸缩网络服务的框架和设计方法,这意味着只有拥有非常出色工程和管理人才的机构才能建立 和维护大型的网络服务。 针对这种情形,本文先给出LVS集群的通用体系结
原文链接 http://allthingsoracle.com/oracle-flex-cluster-leaf-node-failover/ 译者 周天鹏 Oracle 在12c中使用hub-and-spoken技术实现了Flex Cluster的功能(即RAC集群中的每个节点不再需要既运行ASM实例又运行DB实例,各节点可以扮演不同的角色)。相比12c以前的版本,该功能使集群规模的扩大和缩减变得更加靠谱。原因如下: 集群中各节点间网络的互相干扰变得更少。 关键的集群组件争用更少,如OCR, VOT
作者 | Andy Kimball 译者 | Sambodhi 策划 | 蔡芳芳 在经历了 18 个月的挑战之后,我们推出了第一个真正可扩展的无服务器 SQL 数据库。这东西现在可以免费使用!请继续阅读本文,了解 CockroachDB 无服务器是如何由内而外工作的,以及我们为什么可以免费提供这种服务——不是在某段时间内免费,而是永远免费。要实现这一目标,需要进行许多重大的、迷人的工程。你一定会喜欢这个故事的。 什么是 CockroachDB 无服务器 如果你之前创建了一个数据库,根据你的
我们在考虑MySQL数据库的高可用的架构时,如果数据库发生了宕机或者意外中断等故障,能尽快恢复数据库的可用性,尽可能的减少停机时间,保证业务不会因为数据库的故障而中断。与此同时,用作备份、只读副本等功能的非主节点的数据应该和主节点的数据实时或者最终保持一致。当业务发生数据库切换时,切换前后的数据库内容应当一致,不会因为数据缺失或者数据不一致而影响业务。这些都是MySQL高可用方案的基本标准。
1.引言 在过去的十几年中,Internet从几个研究机构相连为信息共享的网络发展成为拥有大量应用和服务的全球性网络,它正成为人们生活中不可缺少的 一部分。虽然Internet发展速度很快,但建设和维护大型网络服务依然是一项挑战性的任务,因为系统必须是高性能的、高可靠的,尤其当访问负载不断增 长时,系统必须能被扩展来满足不断增长的性能需求。由于缺少建立可伸缩网络服务的框架和设计方法,这意味着只有拥有非常出色工程和管理人才的机构才能建立 和维护大型的网络服务。
两个节点可以采用简单的一主一从模式,或者双主模式,并且放置于同一个VLAN中,在master节点发生故障后,利用keepalived/heartbeat的高可用机制实现快速切换到slave节点;
HTAP,一个为满足实时性业务分析场景而存在的数据库。 从 2005 年被 Gartner 首次提出以来,HTAP 已经历经数十年的发展期。在当下,如果再次提起 HTAP,不免让人觉得它是个既“友好”又“矛盾”的存在。 “友好”在于,HTAP 数据库能够同时支撑业务系统和在离线数据分析系统运行,避免在传统架构中,在线与离线数据库之间大量的数据交互,对简化企业的数据系统的复杂度将起到至关重要的作用;但“矛盾”在于,用户在 AP 场景和 TP 场景负载模型差异很大,对数据库的诉求也完全不同,如何通过技术手段来平
方案一、多主同步复制PXC方案 PXC即Percona Xtradb Cluster,它采用Galera引擎,可以实现多个节点间的数据同步复制以及读写并且可保障数据库的服务高可用及数据一致性。架构如下
高可用(High Availability,HA)也可以称为高可用性或高可用环境。HA是分布式系统架构设计中必须考虑的因素之一。HA通常是指通过设计来减少系统不能提供服务的时间。假设系统一直能够提供服务,那么这时就可以称系统的可用性是100%。如果系统每运行100个时间单位,会有1个时间单位无法提供服务,那么可以称系统的可用性是99%。很多公司(例如三大运营商、百度、京东等)的高可用目标都是4个9,也就是99.99%。
Kubernetes 对第三方运营商、存储集成、GPU 支持等的支持使其成为 GenAI 应用程序的绝佳平台。
20多年前,Bertrand Meyer在他的《Object-Oriented Software Construction》一书中提出了CQS(Command Query Seperation,命令查询分离)的概念,指出:
oracleAllSilent_$(date +"20%y%m%d%H%M%S").log
作为Talend的客户成功架构师,我花了大量时间帮助客户优化他们的数据集成任务——不管是在Talend数据集成平台还是大数据平台上。虽然大多数时候开发人员都有一个健壮的解决方案工具包来处理不同的性能调优场景,但我注意到一个常见的模式是,没有定义良好的策略来解决性能问题的根本原因。有时没有策略会修复一些直接的问题,但从长远来看,相同的性能问题会重新出现,因为原始设计中的核心问题没有得到解决。这就是为什么我建议客户使用结构化方法来调优数据集成任务的性能。拥有策略的一个关键好处是它是可重复的——不管您的数据集成任务是做什么,它们是多么简单还是多么复杂,以及作为集成的一部分而移动的数据量。
很多人提到云计算,一定会说到云计算具备自动伸缩能力,会按照客户的业务负载自动伸缩,我在刚接触云计算时也这么认真。真是这样吗?没这么简单!
Oracle 12c 在RAC方面提出了很多新的解决方案和特性。这些方案和特性使得Oracle 集群在云和大数据的时代环境下,帮助企业用户上云更具优势。今天我们来一起学习Oracle RAC在最新的12c Release 2版本上的最佳实践。 为了让大家更好地理解PPT的内容,在此做简单解读。 本文将围绕12.2中最新的两种集群的部署方式 Standalone Cluster和Domain Service Cluster展开,包含的内容分为以下几大模块: 1、12.2集群配置选项 2、Standalone
领取专属 10元无门槛券
手把手带您无忧上云