在Hadoop 中，NameNode 所处的位置是非常重要的，整个HDFS文件系统的元数据信息都由NameNode 来管理，NameNode的可用性直接决定了Hadoop 的可用性，一旦NameNode进程不能工作了，就会影响整个集群的正常使用。
这里介绍LVS集群的通用体系结构，设计原则和相应特点；LVS集群应用于建立可伸缩的Web，Media，Cache和Mail等网络服务。
注：本文发表后，收到了很多后台反馈，其中关于大型机的早期成就不容省略。微调重发本文，纯属个人观点，错谬之处，仍然期待指正。
VMware 公司去年3月开源了企业级容器 Registry 项目 Harbor ，由VMware中国研发的团队负责开发。Harbor 可帮助用户迅速搭建企业级的 registry 服务，它提供了管理图形界面, 基于角色的访问控制 RBAC，镜像远程复制（同步），AD/LDAP 集成、以及审计日志等企业用户需求的功能，同时还原生支持中文和英文，深受国内外用户的喜爱。许多开源社区的开发者也给 Harbor 项目添砖加瓦，贡献代码、反馈问题和提出建议。在大家共同努力下， Harbor 项目推出以来，在 GitHub 获得了近2000个点赞星星和500多个 forks。
原文链接 http://allthingsoracle.com/oracle-flex-cluster-leaf-node-failover/ 译者 周天鹏 Oracle 在12c中使用hub-and-spoken技术实现了Flex Cluster的功能(即RAC集群中的每个节点不再需要既运行ASM实例又运行DB实例，各节点可以扮演不同的角色)。相比12c以前的版本，该功能使集群规模的扩大和缩减变得更加靠谱。原因如下: 集群中各节点间网络的互相干扰变得更少。 关键的集群组件争用更少，如OCR, VOT
从Oracle数据库12c开始，可以将Oracle Clusterware和Oracle RAC配置在大型集群中，称为Oracle Flex集群。 这些集群包含两种类型的节点：Hub节点和Leaf节点。 Hub节点紧密连接，可以直接访问共享存储，并作为一个或多个Leaf 节点的锚点。 leaf 节点与Hub节点松动连接，可能无法直接访问共享存储。 Hub Node and Leaf Node Oracle ADG上的列式存储支持 Oracle ADG上的列式存储支持Oracle ADG上的列式存储支持 Or
贾晶晶，Zilliz 数据工程师 & 高昌健，Juicedata 解决方案架构师，十年互联网行业从业经历，曾在知乎、即刻、小红书多个团队担任架构师职位，专注于分布式系统、大数据、AI 领域的技术研究。
云原生Clickhouse 优势概述 以Clickhouse为基础，借鉴Snowflake等系统的设计思路，打造一款高性能的云原生OLAP系统，为用户提供多场景下的一站式的数据分析平台。 简单、易维护：集群管理、统一共享分布式调度服务 高可用、可扩展：支持500万以上的Table 低成本：存储成本至少降低了50% 兼容开源，复用超高性能：兼容协议、语法、数据库存储格式 Clickhouse是一款性能十分强悍的OLAP引擎，凭借优秀的性能在用户行为分析、ABTest、在线报表等多个领域大放异彩，但是目前C
1.引言 在过去的十几年中，Internet从几个研究机构相连为信息共享的网络发展成为拥有大量应用和服务的全球性网络，它正成为人们生活中不可缺少的 一部分。虽然Internet发展速度很快，但建设和维护大型网络服务依然是一项挑战性的任务，因为系统必须是高性能的、高可靠的，尤其当访问负载不断增 长时，系统必须能被扩展来满足不断增长的性能需求。由于缺少建立可伸缩网络服务的框架和设计方法，这意味着只有拥有非常出色工程和管理人才的机构才能建立 和维护大型的网络服务。 针对这种情形，本文先给出LVS集群的通用体系结
最近几年，我的工作内容始终围绕着客户 Kubernetes 集群的建设。如何为客户的 Kubernetes 集群选择一款稳定可靠、性能表现优异的存储解决方案，这样的问题一直困扰着我。
RHCS提供的三个核心功能 高可用集群是RHCS的核心功能。当应用程序出现故障，或者系统硬件、网络出现故障时，应用可以通过RHCS提供的高可用性服务管理组件自动、快速从一个节点切换到另一个节点，节点故障转移功能对客户端来说是透明的，从而保证应用持续、不间断的对外提供服务，这就是RHCS高可用集群实现的功能。 RHCS通过LVS（LinuxVirtualServer）来提供负载均衡集群，而LVS是一个开源的、功能强大的基于IP的负载均衡技术，LVS由负载调度器和服务访问节点组成，通过LVS的负载调度功
1.引言 在过去的十几年中，Internet从几个研究机构相连为信息共享的网络发展成为拥有大量应用和服务的全球性网络，它正成为人们生活中不可缺少的 一部分。虽然Internet发展速度很快，但建设和维护大型网络服务依然是一项挑战性的任务，因为系统必须是高性能的、高可靠的，尤其当访问负载不断增 长时，系统必须能被扩展来满足不断增长的性能需求。由于缺少建立可伸缩网络服务的框架和设计方法，这意味着只有拥有非常出色工程和管理人才的机构才能建立 和维护大型的网络服务。
笔者上一篇译文中在介绍Leaf Node时提到， 虽然leaf node不要求直接访问共享存储，但最好还是连上共享存储，因为说不准未来哪天就要把这个leaf node转为hub node使用。 其实这样的说法并不够准确，在12cR1时，leaf node上是无法运行只读数据库实例的，这时不连接共享存储完全不影响其使用。而12cR2的leaf node是可以运行只读数据库实例的，一旦leaf node上有了数据库，这时leaf node（确切的说这时leaf node应该叫做reader node）就必须连接
RHCS（Red Hat Cluster Suite）：能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合。 LUCI：是一个基于web的集群配置方式，通过luci可以轻松的搭建一个功能强大的集群系统。 CLVM：Cluster逻辑卷管理，是LVM的扩展，这种扩展允许cluster中的机器使用LVM来管理共享存储。 CMAN：分布式集群管理器。 GFS(Global File System)共享文件系统：以本地文件系统的形式出现。多个Linux机器通过网络共享存储设备，每一台机器都可以将网络共享磁盘看作是本地磁盘，如果某台机器对某个文件执行了写操作，则后来访问此文件的机器就会读到写以后的结果
双机热备指基于高可用系统中的两台服务器的热备（或高可用），因两机高可用在国内使用较多，故得名双机热备。双机高可用按工作中的切换方式分为：主-备方式（Active-Standby方式）和双主机方式（Active-Active方式），主-备方式指的是一台服务器处于某种业务的激活状态（即Active状态），另一台服务器处于该业务的备用状态（即Standby状态)。而双主机方式即指两种不同业务分别在两台服务器上互为主备状态（即Active-Standby和Standby-Active状态）。
ActiveMQ是最常用、特性最丰富的消息中间件，通常用于消息异步通信、削峰解耦等多种场景，是JMS规范的实现者之一。功能丰富到什么程度呢？支持大部分消息协议，而且支持XA。
AutoMQ[1] 是新一代基于共享存储架构实现的云原生 Kafka。得益于其存算分离的共享存储架构，通过和阿里云合作，深度使用阿里云可靠、先进的云服务如对象存储 OSS、块存储 ESSD、弹性伸缩 ESS 以及抢占式实例实现了相比 Apache Kafka 10 倍的成本优势并且提供了自动弹性的能力。
用Openfiler制作iSCSI添加为vSphere集群的共享存储 实验环境 物理机：DELL IPTIPLEX 990 PC机 I52400处理器支持VT功能 8G内存 千兆网卡 操作系统：WIN7 64位（物理机安装）WIN2008R2(vSphere center虚拟机安装) 虚拟软件：Vmware Workstation8 vSphre镜像下载地址：http://www.verycd.com/topics/2835087/ 下载VMware-VIM-Setup-All-5.0.iso VMware-ESXi-5.0.iso 拓扑图：W2K8_x86_64 R2 ----ESXi5-1----ESXi5-2—Openfiler_x86_64
随着容器技术在生产环境中越来越多被使用，实际用户应用正在从无状态应用程序扩展到需要持久化存储支持的有状态应用程序。IT技术专业人员需要知道如何选择适合在容器中运行有状态应用程序的存储。我们深度解读Gartner报告，就存储类型及应用类型两个维度来帮技术专业人员分析容器存储的选择。
Milvus 作为一款针对海量特征向量的相似度搜索引擎，在单台服务器上就可以处理十亿级数据规模。而对于百亿或者千亿级数据，则需要具有水平扩展能力的 Milvus 集群来满足对海量向量数据的高性能检索需求。
前面介绍了 HeartBeat 及其集群高可用部署、DRBD原理与实践、DRBD配置与管理、高可用集群架构 corosync+pacemaker、LVS+KeepAlived、haproxy+keepalived+nginx 实现 k8s 集群负载均衡、Pacemaker+Corosync 高可用架构实战等相关的知识点，今天我将详细的为大家介绍高可用集群管理工具 RHCS相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发朋友圈支持一波！！！
http://mpvideo.qpic.cn/0bf2leaaaaaa3qalyodiobpfawodabmqaaaa.f10002.mp4?dis_k=17550684a324164ea111bfe
Ø 当业务因高可用机制发生数据库切换时，切换前后的数据库内容应当一致，不会因为数据缺失或者数据不一致而影响业务。
Apache Kafka 自诞生之日起，就以其卓越的设计和强大的功能，成为了流处理领域的标杆。它不仅定义了现代流处理架构，更以其独特的分布式日志抽象，为实时数据流的处理和分析提供了前所未有的能力。Kafka 的成功，在于它能够满足各种规模企业对于高吞吐量、低延迟数据处理的需求，经过多年的发展铸就了极其丰富的 Kafka 生态，成为了事实上的行业标准。
NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问。为了提高HDFS的高可用性，在 Hadoop2.0 中，HDFS NameNode支持了高可用架构，如下图。
TASKCTL本身无数据库，无任何第三方中间件，整个产品信息均在一个文件目录下。因此，通过共享存储，连接两个不同应用环境，即可达到信息共享的目的。TASKCTL在信息共享的基础上，通过一定可靠的检测技术，保证两个主备环境的实例启停的自动切换，从而达到服务高可靠的目的。
声明 本文为笔者根据自身的项目经验，以及参考大量文档书写而成。文中提到很多厂商的解决方案和概念，第一不方案之间的优劣评判，第二不进行厂商间的相互攻击，第三文中仅代表个人观点，不代表任何厂商的官方立场。 目前业内主流的双活存储技术 双活这个概念，2013年前后比较火热，那时候笔者有幸参与了IBM的一些双活项目，如GPFS A-A，PowerHA/HyperSwap等。因此本文也是有感而发，经验之谈。 谈到双活，首先这是一个很宽泛的概念。广义上说，双活是两个或多个数据中心，每个都具有独立运行生产应用所需要的所有
第一代的“存算一体”数据库是80年代的IBM大机，提供计算、数据库、存储、中间件，解决了核心交易场景对性能和可靠性的诉求，但他的缺点同样明显，贵！高昂的采购费用、封闭的硬件生态和高昂的售后维保价格，大机的垄断，即使是银行这类不差钱的企业也感到肉疼。大机有限的存储扩展能力，也限制了数据库的容量。
前言： 本文是基于笔者个人的实践，不代表任何官方的观点。 超融合的概念，近两年确认非常火。实际上，超融合架构起初是受到 Google、Facebook 等大型互联网公司通过软件定义技术构建大规模数据中心的启发，结合虚拟化技术和企业IT的场景，为企业实现可扩展的 IT 基础架构。超融合的架构的基础是计算虚拟化、存储虚拟化再加上部分的网络虚拟化功能。很多公司有HCI的软件方案，比如VMware的vSphere+vSAN+vCenter有的公司还有HCI的一体机，比如华为的FusionStorag
如果出现以上结果，表示服务端配置成功 最好在本地挂载一次，挂载成功在取消挂载，至少可以确认服务端配置正确，能够挂载 6) 设置开机自启动并检查
Kubernetes对于有状态的容器应用或者对数据需要持久化的应用，不仅需要将容器内的目录挂载到宿主机的目录或者emptyDir临时存储卷，而且需要更加可靠的存储来保存应用产生的重要数据，以便容器应用在重建之后仍然可以使用之前的数据。
RespectM同学在文章[MLSQL集成JuiceFs](16 - MLSQL集成JuiceFs)中，已经详细的讲解了如何整合两者。丢一个配置文件到SPARK_HOME/conf以及启动时带上SDK Jar就可以完美在MLSQL访问各种对象存储和HDFS了，这非常酷。
历史上，数据分析需求的不断提升（更大的数据规模、更快的处理速度、更低的使用成本）和计算基础设施的不断进化（从专用的高端硬件、到低成本的商用硬件、到云计算服务），这两大因素推动数据仓库的架构大体经历了三个时代：软硬一体的一体机时代、存算一体的分布式时代以及存算分离的云原生时代。
Pod、Service、Volume 和 Namespace 是 Kubernetes 集群中四大基本对象，它们能够表示系统中部署的应用、工作负载、网络和磁盘资源，共同定义了集群的状态。Kubernetes 中很多其他的资源其实只对这些基本的对象进行了组合。
两个节点可以采用简单的一主一从模式，或者双主模式，并且放置于同一个VLAN中，在master节点发生故障后，利用keepalived/heartbeat的高可用机制实现快速切换到slave节点；
Pacemaker 是 Linux环境中使用最为广泛的开源集群资源管理器，Pacemaker利用集群基础架构(Corosync 或者 Heartbeat)提供的消息和集群成员管理功能，实现节点和资源级别的故障检测和资源恢复，从而最大程度保证集群服务的高可用。
高可用性即HA（High Availability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。 计算机系统的高可用在不同的层面上有不同的表现：
作者 | Andy Kimball 译者 | Sambodhi 策划 | 蔡芳芳 在经历了 18 个月的挑战之后，我们推出了第一个真正可扩展的无服务器 SQL 数据库。这东西现在可以免费使用！请继续阅读本文，了解 CockroachDB 无服务器是如何由内而外工作的，以及我们为什么可以免费提供这种服务——不是在某段时间内免费，而是永远免费。要实现这一目标，需要进行许多重大的、迷人的工程。你一定会喜欢这个故事的。 什么是 CockroachDB 无服务器 如果你之前创建了一个数据库，根据你的
将磁盘使用scsi或sata母线直接与主板相连给系统提供存储的一种方式，如我们的笔记本默认就是这种方式。
读写节点和只读节点共享一份底层存储读写节点和只读节点之间通过TCP或RDMA协议使用DMS组件共享Shared Buffer Pool中的热数据页读写节点和只读节点通过DSS API和DSS Server的协同访问底层共享存储中的持久化的数据
Kubernetes（简称K8S） 是Google开源的分布式的容器管理平台，方便我们在服务器集群中管理我们容器化应用。
关于对高可用的分级在这里我们不做详细的讨论，这里只讨论常用高可用方案的优缺点以及高可用方案的选型。
Sanlock是一个基于共享存储的分布式锁管理器，集群中的每个节点都各自运行sanlock服务，锁的状态都被写到了共享存储上，所有节点都能访问共享存储，共同维护锁的状态。
QoS对于服务多租户多业务的整体系统来说，不管对网络还是存储，都格外重要，没有QoS，会造成不同租户及业务之间对资源的抢占，用户A用爽了，用户B却遭了殃，频频投诉，这是系统管理员最头疼的事情。我们今天就来讨论一下分布式存储系统中的QoS算法。进入正题之前，我们先来了解背景知识，即什么是QoS，分布式QoS又是什么，有哪些常见的QoS算法。最后我们再来讨论本文正题：mClock算法和dmClock算法。
注意：此方案为非实时同步方案，但借助 MinIO 客户端的数据同步功能，应该也是可以做到实时同步迁移。
受停电影响，公共通信设施关闭、工厂停工、医院手术受阻……伊朗2021年大面积停电事件为我国能源行业敲响警钟，以电力为核心的能源安全是“国之大计”，必须高度重视。尤其在数字化环境下，我国核心技术基础薄弱，信息产业长期依赖进口，存在着重大安全风险。
在Hadoop 1.x 中，Namenode是集群的单点故障，一旦Namenode出现故障，整个集群将不可用，重启或者开启一个新的Namenode才能够从中恢复。
Oracle 12c 在RAC方面提出了很多新的解决方案和特性。这些方案和特性使得Oracle 集群在云和大数据的时代环境下，帮助企业用户上云更具优势。今天我们来一起学习Oracle RAC在最新的12c Release 2版本上的最佳实践。 为了让大家更好地理解PPT的内容，在此做简单解读。 本文将围绕12.2中最新的两种集群的部署方式 Standalone Cluster和Domain Service Cluster展开，包含的内容分为以下几大模块： 1、12.2集群配置选项 2、Standalone
在 Hadoop 1.x 版本中，是没有 HA 实现方式的，它只有可以看做是冷备份的 SecondaryNameNode 来起到备份作用，因为 2NN 能够协助 NameNode 做一些检查点的工作，能同步磁盘镜像(FSImage)和日志(EditLog). 当 NN 挂掉，2NN 是没有办法立即启动起来继续为集群服务的，需要用手工的方式启动 2NN，这显然会产生服务中断，对业务连续性产生较大影响。
经历了 18 个月有挑战的工作后，我们运行第一个真正的可伸缩的 Serverless SQL Database。它现在可以使用了，而且免费。继续读下去，去了解 CockroachDB Serverless 由内到外的工作，以及我们为什么可以免费，而且不是在有限的时间内免费，而是永远免费。这里需要一些重要的和令人着急的工程才能实现。我想你会喜欢听听他的实现。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
