A云Polardb-x 1.0现已全面升级为Polardb-x 2.0，但Polardb-X 1.0有其自有特色，仍然有很多企业在使用Polardb-X 1.0方案。那么，当这些企业想将业务系统迁移至腾讯云时，该如何进行数据库选型？怎么样进行数据同步？其中又会涉及到哪些问题呢？
这两年一直在做MySQL迁移到PolarDB for MySQL的问题，基本上是迁移一个项目反馈都是好的，优秀的，没有马失前蹄，终于在昨天掉进了陷马坑，MySQL 迁移到 POLARDB FOR MYSQL 后报表任务无法运行，业务强制回滚了。
因为系统数据量持续性增大，腾讯云的MySQL已经达到瓶颈，无法进行升级操作，如果自己搭建一个分库分表系统，速度和可靠性上面都会很差，综合各方面考虑，最后决定采用阿里云的PolarDB-X分布式数据库。
MySQL在达到一定数据量（我的经验是3T、单表1亿）时，复杂查询会有明显的延迟。继续分库分表，会严重增加业务复杂性，尤其对很多非互联网产品来说，急需一个分布式存储。
，最近问 POLARDB 的同学同学是越来越多，准备开一个群，专门和大家一起学习 POLARDB for MYSQL 的数据库相关知识和PG ,MYSQL等数据库，分享相关的经验，和大家相互学习。
MySQL 一直是互联网数据内核的主宰，但是在经历从互联网到企业级的转变中，却是困难重重。然而在 2019年，越来越多的企业级客户开始在业务核心中使用 MySQL 数据库，这是一个标志性的转变，代表 MySQL 打开了更广泛的企业市场，而MySQL的技术变革也正在以更快的步伐去满足更广泛的用户需求。
PolarDB 是阿里云自主研发的新一代关系型云原生数据库，它基于分布式存储和计算技术，能够提供高性能、高可用和强一致性的数据存储和管理服务。相比于传统的关系型数据库，PolarDB 采用了多副本存储、多副本数据同步、数据分片等技术，能够支持海量数据存储和处理，并且具有更高的可扩展性和可用性。
DTS 作为数据交互引擎，以其高效的实时数据流处理能力和广泛的数据源兼容性，为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。云数据库 SelectDB 通过与 DTS 联合，为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务，一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库，迁移或同步至云数据库 SelectDB 的实例中，帮助企业在短时间内完成数据迁移或同步，并即时获得深度洞察。
Oracle能在所有主流平台上运行（包括Windows），完全支持所有的工业标准，采用完全开放策略，可以使客户选择最适合的解决方案，对开发商全力支持。
网上对这些数据库介绍有些误导，流传各种说法，比如:流传OB基于MySQL、GaussDB 200/300 和openGauss有啥区别，没办法谁让当前国产数据库太多...
周日那天冯老师，云斗士又针对云资费贵的问题写了文章进行了DISS，我对这个事情是赞同的，只有不同的声音，才能让平民用上更便宜的资费，必须有人站出来说说这些事情。
前几年，IT业界出现过轰轰烈烈的“去IOE”行动，也提出过自主可控之类的口号。但是甫一尝试大家发现，数据库作为企业核心产品，很难实现在短时间内完全的替代，随后这一行动也慢慢沉寂下去。时至今日，当年风口浪尖的三家公司其中的两家或已转型或是被人收购，但以O为代表的数据库依然是许多客户的核心业务。
用户在使用分布式数据库时，最想要的是既能将计算压力均摊到不同的计算节点(CN)，又能将数据尽量散列在不同的存储节点(DN)，让系统的存储压力均摊到不同的DN。对于将计算压力均摊到不同的CN节点，业界的方案一般比较统一，通过负载均衡调度，将业务的请求均匀地调度到不同的CN节点；对于如何将数据打散到DN节点，不同的数据库厂商有不同策略，主要是两种流派：按拆分键Hash分区和按拆分键Range分区，DN节点和分片之间的对应关系是由数据库存储调度器来处理的，一般只要数据能均匀打散到不同的分区，那么DN节点之间的数据基本就是均匀的。如下图所示，左边是表A按照列PK做Hash分区的方式创建4个分区，右边是表A按照列PK的值做Range分区的方式也创建4个分区：
时序数据库厂商「格睿云Greptime」已于近期完成天使轮融资。据介绍，本轮融资金额在数百万美金级别，由耀途资本领投，九合创投跟投。Greptime成立于2022年4月，是一家时序数据库厂商。公司CEO 庄晓丹曾在蚂蚁集团带领智能监控团队自研超大规模时序数据平台并实践 AIOps 智能运维，CTO 孙宁及技术 VP 冯家纯分别来自滴滴与蚂蚁集团。
为方便阅读、重点呈现，本文对各板块内容进行了精简，需阅读完整版可点击文末【阅读原文】或登录云盘下载：https://pan.baidu.com/s/1h8plZz-amxxOMMWTL2eicQ（提取码：dwqg）
作者 | 刘伟光 策划 | 张俊宝 在国家层面提出加快建设科技强国，实现高水平科技自立自强的大背景之下，数字技术的自主研发与创新应用愈发重要。然而，由于金融机构对业务连续性和数据准确性的严苛要求，传统头部金融机构始终没能有一家完成国产数据库全面迁移。 近日，阿里巴巴集团副总裁、阿里云智能新金融 & 互联网事业部总经理刘伟光与 InfoQ 分享，他们深度合作的一家某超大型保险（集团）公司，深入推进数字化转型，紧随先锋技术发展趋势，前瞻性布局启动 IT 架构分布式改造转型，并于 21 年 9 月圆满实
卡思数据是国内领先的视频全网数据开放平台，依托领先的数据挖掘与分析能力，为视频内容创作者在节目创作和用户运营方面提供数据支持，为广告主的广告投放提供数据参考和效果监测，为内容投资提供全面客观的价值评估。
阿里云RDS FOR MySQL（MySQL5.7版本）数据库业务表每月新增数据量超过千万,随着数据量持续增加,我们业务出现大表慢查询,在业务高峰期主业务表的慢查询需要几十秒严重影响业务
最近数据库行业还是发生一些事情，例如：NebulaGraph获得获得数千万美元的A轮融资，Oracle将在AWS支持MySQL HeatWave服务，VLDB 2022在悉尼举行，来自中国多篇成果被接收，等等，查看原文
2020年11月24日，国际知名行业研究机构Gatner公布2020年全球云数据库魔力象限评估结果，阿里云首次挺进全球云数据库第一阵营--领导者（LEADERS）象限。Gatner分析师评价道：阿里云产品上具备强大的创新能力，其数据库PolarDB已全面应用于零售，电信，物流，金融等多个行业。在云原生关系型数据库领域PolarDB的全球部署能力，分析师认为达到了国际领先水平。
李飞飞，现任阿里巴巴集团副总裁、高级研究员，阿里云智能数据库事业部总负责人。加入阿里巴巴之前为美国犹他大学计算机系终身教授。研究成果多次获得了IEEE ICDE、ACM SIGMOD最佳论文奖等重要学术奖项。
最近压测了POLARDB FOR MYSQL ，得到了一些压力测试的结果，POLARDB 作为目前云原生数据库的 NO.1 （国内），的确是值得学习，一些数据库的设计理念，以及设计的路径，同时针对应用程序如果使用POLARDB ，如何进行设计，规避POLARDB 在设计上的一些“软肋”。 根据公司的需要，写了一个PPT，这里做一个简单的展示，希望有同行者，或者对POLARDB 使用的，或敢兴趣的同学，一起学习和讨论POLARDB。
编者: 文中提及的报告,关注 “数据和云” 回复：下载。可以找到链接。 本文源自墨天轮发布的《2022年4月中国数据库行业分析报告》，报告分析了一个阶段数据库行业的大事件，以及行业变化。 关键结论： 墨天轮数据库流行度排行榜：共有205个数据库参与排行，TiDB 四月得分上涨37.31，以总分616.84桂冠；openGauss 4月得分上涨6.1%，总分567.42，夺得榜眼。OceanBase 本月分数543.22，位居榜单第三。TDengine 位列时序数据库榜单第一，TGDB 获得图形数据库第一
PolarDB Serverless脱胎于 PolarDB 团队发表在SIGMOD 2021的论文，是选取其中成熟的技术最终产品化的结果。我们借助两大核心技术，高性能全局一致性SCC和热备无感秒切，无论在跨机扩展还是跨机切换，都达到了业界领先的能力。PolarDB MySQL Serverless于去年底正式上线，目前已经有1000+用户开始上手使用。本文期望从实践角度，演示如何测试PolarDB Serverless的弹性能力。
说到这个问题的话，那么从PolarDB入手来说，作为开发者关注的数据库技术与创新基本就在里面了。 PolarDB MySQL版是阿里巴巴自研的云原生HTAP数据库。PolarDB MySQL版100%兼容原生MySQL的多个版本，包括MySQL 5.6、MySQL 5.7和MySQL 8.0。PolarDB MySQL版的企业版基于云原生架构、计算存储分离、软硬件一体化设计，为用户提供具备超高弹性和性能、高可用和高可靠保障、高性价比的数据库服务。可以说关于数据库技术和创新，云原生数据库PolarDB 体现的很全面了，下面看一下云原生数据库PolarDB的产品架构图
我也是最近刚想明白这件事情的（参见昨天的SQL SERVER 我没有消失，SQL SERVER下一个版本是2025 (功能领先大多数数据库）），最近在看一些国外的IT 方面的信息，让我发现一个十分有意思的事情，大部分大型数据库产品和数据库企业都在构建成熟的云数据库产品，线下的数据库产品逐渐成为陪跑或云上数据库的扩展方案而已。
作者：熊中哲，现任才云科技工程VP，负责产品和研发工作。曾就职于阿里巴巴、沃趣科技、美团。超过12年数据库领域的工作经历，目前对云原生，机器学习和异构计算也很感兴趣。
POLARDB 是一个具有国际性质的数据库产品，虽是一个“国产数据库” ，可最专业的资料还要看 E 文。以下为翻译
根据阿里云数据库公众号的消息，4月17日，第十五届中国电子信息技术年会上正式颁发2020年中国电子学会科学技术奖，阿里云自研的“云原生分布式关系型数据库PolarDB”项目获得科技进步一等奖。这也是继飞天云操作系统之后，阿里云第二次自研技术获此殊荣。
2021年度云原生数据库 PolarDB 产品介绍： PolarDB是阿里云自主研发的下一代关系型分布式云原生数据库，目前兼容三种数据库引擎：MySQL、PostgreSQL、高度兼容Oracle语法。计算能力最高可扩展至1000核以上，存储容量最高可达 100T。同时具有开源数据库简单、可扩展、高速迭代的优势，适合各个行业公司的创新业务使用。 获奖理由： 2021年3月PolarDB在墨天轮国产数据库流行度云原生数据库排行榜排名跃居 TOP 1。PolarDB直面云原生，是全球范围内业界首个实现了存储、
这题目让我想起非诚勿扰电影里面的台词，有意思吗？有意思呀！PostgreSQL 有意思，PolarDB for PostgreSQL 有意思。
最近的任何人之间的问候语，与时俱进，见面一般第一句是，你阳了吗？然后就很容易打开话题了，至于阳不阳，这个问题，其实我是这样看的，你先在没阳，不证明你明天不阳，你阳过了，也要继续包含自己，持续增加自己的免疫力，锻炼身体，从现在开始爱护自己。有的时候问题的两方面看，从疾病中学到点什么，也不枉这3年，大家所付出的。努力的改变，欣然的接受，坦然的面对，然后在努力的改变，让自己持续的处于一个自己满意的状态。写这篇的时候，我已经感觉不大好了，可能已经阳了，这篇也许是最近能更新的最后一篇了，祝我好运吧。
先说说这个问题，这个问题在POLARDB 和 MYSQL 都存在，所以这不是POLARDB 代码的问题，这是存在于 MYSQL 8 的问题， 而由于POLARDB 使用了 MYSQL 的语句处理和解析等部分，导致的跟随性问题。
不做铺垫，因为公司在进行数据库转型，ORACLE to MYSQL 基于云上的MYSQL 在使用中主要分为两派 1 传统型的RDS ，也就是与我们自己安装的数据库有差别，但差别不大， 2 根据云上的硬件环境，最大最充分的修改数据库的内部结构，让数据库更能使用到我们的硬件环境，去适配他。
Tapdata Cloud 是国内首家异构数据实时同步云平台，目前支持 Oracle、MySQL、PG、SQL Server、MongoDB、ES 、达梦、Kafka、GP、MQ、ClickHouse、Hazelcast Cloud、ADB MySQL、ADB PostgreSQL、KunDB、TiDB、MariaDB、Aliyun MariaDB、Aliyun MongoDB、Aliyun RDS for SQLServer、Aliyun RDS for PG、Aliyun RDS for MySQL、TencentDB for MySQL、TencentDB for MariaDB、TencentDB for PG、TencentDB for SQLServer、TencentDB MongoDB、Vika、Apache Doris、PolarDB MySQL、轻流、PolarDB PostgreSQL、Amazon RDS for MySQL 之间的数据同步，并对用户永久免费。
学习POLARDB 已经有3-4个月的时间了，当然大部分还是在理论方面，实际上POLARDB 在实际的操作中，有一部分是我还没有深入，另一部分是POLARDB 的 SERIVCE guy 的服务方式有些太主观，当然有客观的原因，但是作为一个数据库，想拥有FANS ，各种在内部进行展示的系统性能或一些小心思的开关，还是会吸引到 死忠粉的，建议不要冷冰冰的说，这些都是内部XX， 或者说你看 monitor web page 来打发一些想“进步” 的同学，终究我们也是看 MYSQL 的文档，并在里面找 有意思东西的一群人。另外一些服务的同学，你们这样做，真心是在浪费 技术同学的努力创造POLARDB 的好形象。
使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。
3 概述 在本节中，我们首先概述PolarDB-IMCI的体系结构，接着总结驱动前面设计目标的设计理念，并简要描述用户界面。 3.1 PolarDB-IMCI的体系结构 图2显示了PolarDB-IMCI的体系结构，遵循将计算和存储架构分离的关键设计原则。存储层是一个具有高可用性和可靠性的用户空间分布式文件系统PolarFS [8]。计算层包含多个计算节点，包括用于读写请求的主节点（RW节点）、用于只读请求的多个节点（RO节点）以及多个无状态代理节点用于负载均衡。有了这些，PolarDB-IMCI可以提供高资源弹性性（§7）。此外，存储和计算层中的所有节点都通过高速RDMA网络连接以实现数据访问的低延迟。 为加快分析查询速度，PolarDB-IMCI支持在RO节点的行存储上建立内存列索引（§4）。列索引按插入顺序存储数据，并执行位于原位置之外的写操作以实现高效更新。插入顺序意味着列索引中的行可以通过其行ID（RID）而不是主键（PK）快速定位。为支持基于PK的点查找，PolarDB-IMCI实现了一个RID定位器（即两层LSM树）用于PK-RID映射。 PolarDB-IMCI使用一个异步复制框架（§5）进行RO和RW之间的同步。即，RO节点的更新不包含在RW的事务提交路径中，以避免对RW节点的影响。为增强RO节点上的数据新鲜度，PolarDB-IMCI在日志应用方面使用了两个优化，预提交式日志传送和无冲突并行日志重播算法。RO节点通过行存储的REDO日志进行同步，这比其他稻草人方法（例如使用Binlog）对OLTP造成的干扰要小很多。需要注意的是，将物理日志应用到列索引中并不是微不足道的，因为行存储和列索引的数据格式是异构的。 每个RO节点中都使用两个相互共生的执行引擎（§6）：PolarDB的常规基于行的执行引擎来处理OLTP查询，以及一个新的基于列的批处理模式执行引擎用于高效运行分析查询。批处理模式执行引擎借鉴了列式数据库处理分析查询的技术，包括管道执行模型、并行运算符和矢量化表达式评估框架。常规基于行的执行引擎通过增强优化可进行列引擎不兼容或点查询。PolarDB-IMCI的优化器自动为两个执行引擎生成和协调计划，此过程对使用者透明。 3.2 设计理念 我们以下面突出PolarDB-IMCI的设计理念，这也适用于其他云本地HTAP数据库。 存储计算分离。同时作为云本地数据库的关键设计原则，存储计算分离架构在没有数据移动的情况下实现了适应性计算资源配置，这已经成为主流架构的替代方案。PolarDB-IMCI采取此决策以自然地达成我们的设计目标G＃5（高资源弹性）。 单个RW节点和多个RO节点。实践中，单写架构已经通过[52] 确认拥有卓越的写性能并显着降低系统复杂性。我们观察到单个RW节点足以为95%的客户提供服务。此外，所有RO节点都具有与RW节点同步的一致数据视图。大型OLAP查询被路由到RO节点上以实现有效的资源隔离，RO节点可以快速扩展以处理激增的OLAP查询，这符合设计目标G＃3（对OLTP的最小干扰）和G＃5（资源弹性）。 RO节点内的混合执行和存储引擎。从OLAP社区的经验中得出，列式数据布局和矢量化的批处理执行对于OLAP查询来说是显著的优化。然而，对我们而言，直接使用现有的列式系统（例如ClickHouse）作为RO节点是不明智的决定。有两个原因支持这个论点。首先，在创建表方面，实现RW节点和RO节点之间的全兼容是耗时的。在云服务环境中，即使存在微小的不兼容性，也会在巨大的客户量下被显著放大并压垮开发人员。其次，纯基于列的RO节点对于被归类为OLTP工作量的点查找查询仍然效率低下。因此，我们开始设计一个扩展PolarDB原始执行引擎的新基于列的执行引擎，以满足目标G＃1（透明度）。列式执行引擎的设计旨在满足G＃2（先进的OLAP性能）。而基于行的执行引擎处理不兼容和点查询，前者无法处理。RO节点具有基于行和基于列的执行和存储引擎。 双格式RO节点通过物理REDO日志进行同步。在共享存储架构上，新RO节点可以快速启动以处理激增的只读查询，以满足设计目标G＃5，并可以保持数据新鲜度（即G＃4）通过不断应用RW节点的REDO日志。然而，将异构存储与原始物理日志（即REDO日志）同步是具有挑战性的，因为日志与底层数据结构（例如页面）密切相关。因此，稻草人方法是使RW节点记录用于列存储的附加逻辑日志（例如Binlog）。缺点是，当提交事务时触发额外的fsyncs，从而对OLTP造成非常大的性能干扰。因此，我们专门设计了一种新的同步方法，通过重用REDO并使RO节点上的逻辑操作由物理日志组成。之所以可行是因为PolarDB-IMCI在RO节点上维护基于行的缓冲池和列索引。逻辑操作可以通过在行缓冲池上的应用进程中获得。我们的评估显示，重用REDO日志的开销明显低于使用Binlog。
随着业务发展越来越快，数据量越来越多，用户也越来越多，业务出现故障的几率也越来越大，而可用性是衡量一个系统的关键指标，application 由于是无状态的，可用性很好保证，当一个应用挂掉，直接切到另一个即可，最关键的是数据库的高可用，则是最复杂的。
最近接触的一些项目大搞国产化，著名的关系型数据库厂商都在美国，有Oracle的Oracle和MySQL数据库、IBM的DB2、微软的SQL Server等。今天细说一下国内的数据库厂商。
需要修改 TestODBCSample.c 中 connect 函数中的 user参数的值，使用本文开头创建的数据库账号用户名。
从 2009 年到 2021 年，从千万交易额到千亿交易额，双 11 已经开展了 12 年。如今，每年的双 11 以及一个月后的双 12，已经成为真正意义上的全民购物狂欢节。刚刚过去的 2021 年双 11，就有超过 8 亿消费者参与。
墨墨导读：2020数据技术嘉年华于11月21日落下帷幕，大会历时两天，来自全国各地的数据领域学术精英、领袖人物、技术专家、从业者和技术爱好者相聚北京，见证了个人的快速成长、技术的迭代进步、行业的蓬勃发展、生态的融合共赢，以及市场的风云变迁。
关系数据库技术，作为计算机技术的基石，兴起于上世纪的80年代。最初的两个系统是IBM Almaden研究院的System R和加州大学伯克利分校的Ingres。 在商业领域，经过一系列的厮杀，在淘汰掉包括Informix和SyBase这些强劲对手以后，Oracle，IBM和微软最终成为了商业数据库领域的三驾马车。 其中Oracle数据库更是一骑绝尘，在相当长一段时间内，Oracle数据库被广泛应用到了包括银行等在内的各种领域，在商业数据库领域是无敌的代名词。 进入21世纪以后，事情逐渐发生了变化。一方面，以
第四部分将深入介绍列索引存储，这是PolarDB-IMCI处理分析查询的关键部分。PolarDB-IMCI支持高度调优的面向事务处理的云存储的基于行的存储引擎[14, 28]。然而，基于行的数据格式因其无法有效地访问分析查询而闻名。受领先的工业级数据库（例如Oracle [30]、SQL Server [32]）的启发，PolarDB-IMCI通过内存中的列索引实现了双重数据格式，以增强OLAP功能。
本文作者系Scott（中文名陈晓辉），现任大连华信资深分析师 ，ORACLE数据库专家，曾就职于甲骨文中国。个人主页：segmentfault.com/u/db_perf ，经其本人授权发布。
这篇文章是我一直想写的一篇，因为“计算和存储分离”最近几年在大家的视野中出现得越来越多，但其实很多对于其到底代表着什么也是模糊不清，这里我查阅了很多的资料再结合平时自己的理解，聊聊到底什么是“计算和存储分离”
Tapdata Cloud 是国内首家异构数据实时同步云平台，目前支持 Oracle、MySQL、PG、SQL Server、MongoDB、ES 、达梦、Kafka、GP、MQ、ClickHouse、Hazelcast Cloud、ADB MySQL、ADB PostgreSQL、KunDB、TiDB、MariaDB、Aliyun MariaDB、Aliyun MongoDB、Aliyun RDS for SQLServer、Aliyun RDS for PG、Aliyun RDS for MySQL、TencentDB for MySQL、TencentDB for MariaDB、TencentDB for PG、TencentDB for SQLServer、TencentDB MongoDB、Vika、Apache Doris、PolarDB MySQL、轻流之间的数据同步，并对用户永久免费。
最近在用 Database of Databases 去查询TiDB 、PolarDB、SequoiaDB、OceanBase的相关资料并做了一些简单的对比。比如像下面那个表格一样，可以对这四个数据库的基本信息进行对比。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
