随着各行各业电子信息化的不断加深，线上交易数据保持了长时间高速增长的态势，对数据存储的需求越来越大，数据库管理系统（DBMS）面临越来越大的性能、空间和稳定性压力。在此过程中，得利于计算&存储&网络等硬件领域的不断进步，业界流行的数据库管理系统逐步从单机架构向分布式架构演变。笔者希冀从梳理数据库管理系统所面临的一个又一个实际挑战及业界所提出的诸多解决方案的过程中，发现片缕灵感以指引未来的数据库开发工作。
VMware 公司去年3月开源了企业级容器 Registry 项目 Harbor ，由VMware中国研发的团队负责开发。Harbor 可帮助用户迅速搭建企业级的 registry 服务，它提供了管理图形界面, 基于角色的访问控制 RBAC，镜像远程复制（同步），AD/LDAP 集成、以及审计日志等企业用户需求的功能，同时还原生支持中文和英文，深受国内外用户的喜爱。许多开源社区的开发者也给 Harbor 项目添砖加瓦，贡献代码、反馈问题和提出建议。在大家共同努力下， Harbor 项目推出以来，在 GitHub 获得了近2000个点赞星星和500多个 forks。
贾晶晶，Zilliz 数据工程师 & 高昌健，Juicedata 解决方案架构师，十年互联网行业从业经历，曾在知乎、即刻、小红书多个团队担任架构师职位，专注于分布式系统、大数据、AI 领域的技术研究。
emptyDir是Host上创建的临时目录，其优点是能够方便地为Pod中的容器提供共享存储，不需要额外的配置。它不具备持久性，如果Pod不存在了，emptyDir也就没有了。根据这个特性，emptyDir特别适合Pod中的容器需要临时共享存储空间的场景，比如前面的生产者消费者用例。
Ø 当业务因高可用机制发生数据库切换时，切换前后的数据库内容应当一致，不会因为数据缺失或者数据不一致而影响业务。
最近几年，我的工作内容始终围绕着客户 Kubernetes 集群的建设。如何为客户的 Kubernetes 集群选择一款稳定可靠、性能表现优异的存储解决方案，这样的问题一直困扰着我。
两个节点可以采用简单的一主一从模式，或者双主模式，并且放置于同一个VLAN中，在master节点发生故障后，利用keepalived/heartbeat的高可用机制实现快速切换到slave节点；
关于对高可用的分级在这里我们不做详细的讨论，这里只讨论常用高可用方案的优缺点以及高可用方案的选型。
TDSQL-C再创佳绩 9月16日，Distributed Cloud｜2021全球分布式云大会在上海召开，腾讯云原生数据库TDSQL-C荣获“云原生卓越技术提供商”奖项，TDSQL-C 是腾讯自研的云原生分布式数据库（原CynosDB）, 基于共享存储，实现了强大的扩展能力和超百万级QPS的高吞吐性能，深度定制的数据库内核TXSQL是支撑关键业务平稳运行的基石。 （云原生卓越技术提供商奖项） TDSQL-C的总体架构是基于共享存储，存储和计算分离的架构。 （传统的MySQL主备架构和TDSQL
选择合适的控制器 k8s 的核心之一控制器（deployment（适合无状态的控制器）、StatefulSet（适合有状态的控制器）） deployment的特性： deployment创建的Pod是无状态的，当挂在Volume之后，如果该Pod挂了，由于是无状态的，Pod挂了的时候与之前的Volume的关系就已经断开了，新起来的Pod无法找到之前的Pod。但是对于用户而言，他们对底层的Pod挂了没有感知，但是当Pod挂了之后就无法再使用之前挂载的磁盘了。 备：如果deployment创建的pod挂载volume时，如果后端使用nfs或者ceph，重启pod数据也不会丢失的 简单理解：deployment的pod是无状态的，Pod挂了之后无法使用之前挂载的磁盘，ip也会丢失。
Milvus 作为一款针对海量特征向量的相似度搜索引擎，在单台服务器上就可以处理十亿级数据规模。而对于百亿或者千亿级数据，则需要具有水平扩展能力的 Milvus 集群来满足对海量向量数据的高性能检索需求。
这里的实验环境还是使用我们上一节的 http://www.linuxidc.com/Linux/2014-03/98673.htm 首先停止节点资源，然后删除
关于对高可用的分级我们暂不做详细的讨论，这里只讨论常用高可用方案的优缺点以及选型。
关于Oracle和MySQL的高可用方案，其实一直想要总结了，就会分为几个系列来简单说说。通过这样的对比，会对两种数据库架构设计上的细节差异有一个基本的认识。Oracle有一套很成熟的解决方案。用我在
1. 底层信息层，实现方式： heartbeat corosync cman 2. 资源管理层，实现方式： heartbeat-V1：haresource heartbeat-V2：crm heartbeat-V3: pacemaker RHCS：rgmanager 注：资源管理器pacemaker，可与所有底层通信的实现方式结合使用。 3. 资源代理层，实现方式： heartbeat-v1 LSB OCF STONITH
我们在考虑MySQL数据库的高可用的架构时，如果数据库发生了宕机或者意外中断等故障，能尽快恢复数据库的可用性，尽可能的减少停机时间，保证业务不会因为数据库的故障而中断。与此同时，用作备份、只读副本等功能的非主节点的数据应该和主节点的数据实时或者最终保持一致。当业务发生数据库切换时，切换前后的数据库内容应当一致，不会因为数据缺失或者数据不一致而影响业务。这些都是MySQL高可用方案的基本标准。
Elasticsearch 的数据备份是通过快照机制实现的。为了完成集群的快照，需要依赖一个共享存储系统，即所有节点需要挂载到共享存储的同一个目录，并且每个节点对此目录需有读写权限，最初我们使用 NAS（即 NFS）来实现备份，这个方案也已经稳定运行多年。
双机热备指基于高可用系统中的两台服务器的热备（或高可用），因两机高可用在国内使用较多，故得名双机热备。双机高可用按工作中的切换方式分为：主-备方式（Active-Standby方式）和双主机方式（Active-Active方式），主-备方式指的是一台服务器处于某种业务的激活状态（即Active状态），另一台服务器处于该业务的备用状态（即Standby状态)。而双主机方式即指两种不同业务分别在两台服务器上互为主备状态（即Active-Standby和Standby-Active状态）。
郜德光，携程技术保障中心高级数据库经理，负责数据库相关的运维工作，参与了SQL Server和MySQL的高可用以及数据库容灾建设。喜欢钻研技术，对数据相关的技术一直保持着浓厚的兴趣。
Kubernetes（简称K8S） 是Google开源的分布式的容器管理平台，方便我们在服务器集群中管理我们容器化应用。
云原生Clickhouse 优势概述 以Clickhouse为基础，借鉴Snowflake等系统的设计思路，打造一款高性能的云原生OLAP系统，为用户提供多场景下的一站式的数据分析平台。 简单、易维护：集群管理、统一共享分布式调度服务 高可用、可扩展：支持500万以上的Table 低成本：存储成本至少降低了50% 兼容开源，复用超高性能：兼容协议、语法、数据库存储格式 Clickhouse是一款性能十分强悍的OLAP引擎，凭借优秀的性能在用户行为分析、ABTest、在线报表等多个领域大放异彩，但是目前C
随着容器技术在生产环境中越来越多被使用，实际用户应用正在从无状态应用程序扩展到需要持久化存储支持的有状态应用程序。IT技术专业人员需要知道如何选择适合在容器中运行有状态应用程序的存储。我们深度解读Gartner报告，就存储类型及应用类型两个维度来帮技术专业人员分析容器存储的选择。
A上同步到B,B上写,就会报duplicate,这还比较好,至少两边数据还是一致的
在这些可选项中，最常见的就是基于主从复制的方案，其次是基于Galera的方案，我们重点说说这两种方案。其余几种方案在生产上用的并不多，我们只简单说下。
ActiveMQ是最常用、特性最丰富的消息中间件，通常用于消息异步通信、削峰解耦等多种场景，是JMS规范的实现者之一。功能丰富到什么程度呢？支持大部分消息协议，而且支持XA。
第一代的“存算一体”数据库是80年代的IBM大机，提供计算、数据库、存储、中间件，解决了核心交易场景对性能和可靠性的诉求，但他的缺点同样明显，贵！高昂的采购费用、封闭的硬件生态和高昂的售后维保价格，大机的垄断，即使是银行这类不差钱的企业也感到肉疼。大机有限的存储扩展能力，也限制了数据库的容量。
日前，Distributed Cloud|2021全球分布式云大会·上海站隆重召开。腾讯云凭借其信息技术系统的安全可控性和前沿技术的创新性，在一众企业中脱颖而出，荣获“分布式数据库创新技术奖”。这是继腾讯云数据库TDSQL获第四届中国保险大数据分析与人工智能创新国际峰会年度“保险创新者大奖”之后再次获评。 在云原生专题论坛上，腾讯云数据库产品专家梁文灿先生就腾讯云企业级分布式数据库TDSQL生态发展战略、落地应用案例做出了详细介绍。同时腾讯云数据库专家工程师张远先生对云原生数据库TDSQL-C的内核关键技
ORACLE数据库既能跑OLTP业务，也能跑OLAP业务，能力是商业数据库中数一数二的。支持IBM小机和x86 PC服务器，支持多种OS。同时有多种数据库架构方案供选择，成本收益风险也各不相同。
在数据量持续爆增、数据日益多样化的今天，传统数据库的迭代速度已经追不上数据的增速，且企业对数据库计算和存储能力的要求越来越高。面对当前的挑战和机遇，国产数据库厂商的研发创新速度不断加快，可以说云计算时代的到来，扭转了国外商业数据库一家独大的局面。 目前，国产数据库领域正处于百花齐放的状态，已经有越来越多的行业巨头参与到了数据库的建设中，腾讯云便是其中之一。为了更深入地了解腾讯云数据库的发展历程，从而进一步透视国产数据库的发展方向，InfoQ 和腾讯云数据库专家工程师窦贤明就云数据库的发展、前景与挑战进行
李飞飞，现任阿里巴巴集团副总裁、高级研究员，阿里云智能数据库事业部总负责人。加入阿里巴巴之前为美国犹他大学计算机系终身教授。研究成果多次获得了IEEE ICDE、ACM SIGMOD最佳论文奖等重要学术奖项。
集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源，这些单个的计算机系统就是集群的节点（node）。集群提供了以下关键的特性。
RHCS提供的三个核心功能 高可用集群是RHCS的核心功能。当应用程序出现故障，或者系统硬件、网络出现故障时，应用可以通过RHCS提供的高可用性服务管理组件自动、快速从一个节点切换到另一个节点，节点故障转移功能对客户端来说是透明的，从而保证应用持续、不间断的对外提供服务，这就是RHCS高可用集群实现的功能。 RHCS通过LVS（LinuxVirtualServer）来提供负载均衡集群，而LVS是一个开源的、功能强大的基于IP的负载均衡技术，LVS由负载调度器和服务访问节点组成，通过LVS的负载调度功
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
在实践之前，必须先学习 Kubernetes 的几个重要概念，它们是组成 Kubernetes 集群的基石。
之前讲过一篇文章 一步步教你Linux7安装Oracle RAC（11GR2版本） 教大家如何安装 Oracle RAC。
摘要：MySQL在充分利用多核计算资源方面比较欠缺，无法同时满足在线业务和分析型业务的客户需求，而单独部署一套专用的分析型数据库意味着额外的成本和复杂的数据链路。本次主题将介绍腾讯云数据库为满足此类场景而在HTAP for MySQL产品方面进行的尝试。
6月20-25日，数据库国际顶会2021 ACM SIGMOD在西安举行。本届大会上，腾讯云数据库技术总监邱敏带来了主题为“腾讯云数据库技术演变之路”的演讲。 演讲视频 以下为演讲内容的文字实录： 数据库是三大基础软件之一。近年来，腾讯也在不断加强各类数据库产品的研发投入。企业级分布式数据库TDSQL是腾讯云数据库的代表性产品，同时具备OLTP、OLAP，以及混合OLTP和OLAP的HTAP能力。它包括以下几个系列的产品： 企业级MySQL即腾讯云数据库RDS系统(CDB)，相对原生MySQL进行
从传统关系型数据库到云数据库，数据库在不断演进。与此同时，它也发挥着越来越重要的作用。从云计算、新媒体、音视频、云游戏到移动 App，几乎各行各业都离不开数据库。一方面，数据库作为 IT 基础设施的关键一环，对企业业务的发展起着支撑作用；另一方面，数字化在经济社会中不断深入，数据成为核心要素，围绕数据的生产、存储和消费均依赖数据库。
我常用ISCSI配置共享存储的软件：Openfiler 和 StarWind，本文主要讲解的是 StarWind 软件。
在一个生产系统中，通常都需要用高可用方案来保证系统的不间断运行。PostgreSQL 本身不支持任何多主群集解决方案，例如MySQL或Oracle。尽管如此，仍有许多商业和社区产品提供此实现，以及其他产品，例如PostgreSQL的复制或负载平衡。
共享内存是System V版本的最后一个进程间通信方式。共享内存，顾名思义就是允许两个不相关的进程访问同一个逻辑内存，共享内存是两个正在运行的进程之间共享和传递数据的一种非常有效的方式。不同进程之间共享的内存通常为同一段物理内存。进程可以将同一段物理内存连接到他们自己的地址空间中，所有的进程都可以访问共享内存中的地址。如果某个进程向共享内存写入数据，所做的改动将立即影响到可以访问同一段共享内存的任何其他进程。
A/B测试直接是使用zuul的动态网关的功能。这次关于K8S的演示只是如何通过Volume挂载的方式将动态脚本挂载进去。
vSphere 基础物理架构中存储是一个非常关键的部分，没有好的存储，虚拟化也就没有存在的价值，并且它能够决定其系统性能的高低和如vMotion等高级功能能否实现。所以本次重点介绍vSphere中的存
从数据库架构设计的角度，主要有三种，Shared Everything、Shared Disk以及Shared Nothing。
谈到虚拟化，在云计算中有计算、存储、网络、安全四大虚拟化，而在存储虚拟中一般提得比计算虚拟化少。今天我们就来谈谈在公有云、私有云中的存储虚拟化是怎么做的。
企事业机构的信息化建设已经在随着社会建设的不断推进而改进和创新。众企事业机构的决策层也愈发重视企事业机构的信息化，不同程度的运营和发展着自身的业务信息系统。但是日趋普遍的业务信息系统在为企事业机构带来利益的同时，也存在着一个不容忽视的隐患——越来越多的业务依赖于业务信息系统。如果运行着关键业务信息系统的服务器发生宕机或是因为不可控的原因而停止，从而导致整个企事业机构的信息运营系统瘫痪，将会给企事业机构带来巨大的经济损失，而由于企事业机构的业务不能正常运行也会影响企事业机构的信誉，导致客户对企事业机构失去信任，从而带来致命的危害。
高可用集群，英文原文为High Availability Cluster，简称HACluster，简单的说，集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统 就是集群的节点（node）。 高可用集群的出现是为了使集群的整体服务尽可能可用，从而减少由计算机硬件和软件易错性所带来的损失。如果某个节点失效，它的备援节点将在几秒钟的时间内接管它的职责。因此，对于用户而言，集群永远不会停机。 高可用集群软件的主要作用就是实现故障检查和业务切换的自动化。只有两个节点的高可用集群又称为双机热备，即使用两台服务器互相备份。当一台服务器出现故障时，可由另一台服务器承担服务任务，从而在不需要人工干预的 情况下，自动保证系统能持续对外提供服务。双机热备只是高可用集群的一种，高可用集群系统更可以支持两个以上的节点，提供比双机热备更多、更高级的功能，更能满足用户不断出现的需求变化。
介绍 它是一套数据缓存系统或软件 用于动态应用系统中缓存数据库的数据，减少数据库的访问压力，达到提升性能的效果，实际应用环境中多用于数据库的cache的应用。它是通过预分配指定的内存空间来存储数据 定义 它是一个开源的、高性能的，具有分布式内存对象的缓存系统，它一般用来存储经常读取的对象或数据，如同web服务器会将一些内容缓存到客户端本地一样 mysql已经有cache了，为啥还要在它前面加一层memcached？ memcached是一个key/value系统，系统相对于MySQL简单很多，虽然MySQL
轻量对象存储 Lighthouse-COS 是腾讯云专为中小企业开发者打造的轻量级数据存储服务，适用于云端网站、小程序、课堂演示、云盘/图床等场景下的数据存储和处理任务。针对图像、音视频等对象类型数据进行可视化一键管理。相比传统的对象存储服务更加开箱即用，提供专属打包式套餐，为您提供高性价比、极简但不减料的轻量存储体验。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
