数据库作为数据存储和管理的核心工具,其技术演进一直是业界关注的焦点。近年来,随着大数据、云计算、人工智能等技术的不断成熟,数据库领域也迎来了前所未有的变革。HTAP 作为一种新兴的数据库技术,正逐渐成为推动企业数字化转型的重要力量。
2022 年,我们一起穿越了许多荆棘时刻,面对着前所未有的不确定性。在这些挑战面前,我们发现技术和开发者扮演了重要角色。 技术为我们提供了穿越周期的桥梁,开发者帮助我们更好地应对挑战,解决问题并赋予这个世界更多创造力 。 PingCAP 也在过去一年迎来了新的进化,岁末年初,我们想邀请你共同回顾属于 PingCAP 用户和开发者的 2022 年度记忆。
在各种因素的推动下,分布式数据库已经成为一种技术潮流,甚至是新基建很重要的一部分,该类型数据库也在众多行业进行了广泛落地,供需两旺。分布式数据库的架构设计思想也很值得广大开发者学习。本文,InfoQ 希望呈现有关分布式数据库的架构设计优化及实践相关内容。
OPAP系统构建了一个实时查询的系统可以使用者立马能够查询到实时数据。举个简单的例子,当用户参加一项活动时,产品经理或者是运营人员希望能够马上获得用户的参与效果,并且快速的探索用户的行为特征,从而立马改进活动以获得更好的效果。正所谓:越来接近实时的数据,越有价值。OPAP系统的意义便在于此。
数据是企业的核心资产,数据库作为数据的载体,承担着至关重要的角色。它的性能、稳定性、可靠性、容灾以及安全成为企业应用的首要考量要素。数据库从技术上是如何实现以及实际中是如何服务于各个行业的呢?我们邀请到了数据库领域的各位大咖,为您详解目前主流数据库的技术,以及在各行业的应用实践。 活动时间 8月24日 周六 13:00-18:00 活动地点 广东省深圳市南山区高新园飞亚达科技大厦-5L 报名二维码 议题介绍 PostgreSQL各版本功能演进 及未来版本特性展望 演讲嘉宾:张文升 -《Post
数据是企业的核心资产,数据库作为数据的载体,承担着至关重要的角色。它的性能、稳定性、可靠性、容灾以及安全成为企业应用的首要考量要素。数据库从技术上是如何实现以及实际中是如何服务于各个行业的呢?我们邀请到了数据库领域的各位大咖,为您详解目前主流数据库的技术,以及在各行业的应用实践。 活动时间 8月24日 周六 13:00-18:00 活动地点 广东省深圳市南山区高新园飞亚达科技大厦-5L 报名二维码 议题介绍 PostgreSQL各版本功能演进及未来版本特性展望 演讲嘉宾:张文升 -《P
开源生态正在经历前所未有的繁荣。 今年 3 月,“开源”首次被明确列入国民经济和社会发展五年规划纲要。纲要提到,加快布局量子计算、量子通信、神经芯片、DNA 存储等前沿技术,加强信息科学与生命科学、材料等基础学科的交叉创新,支持数字技术开源社区等创新联合体发展,完善开源知识产权和法律体系,鼓励企业开放软件源代码、硬件设计和应用服务。 对开源社区的支持,对完善开源底层基础设施的规划以及对企业开源的鼓励,为开源生态的长远发展和繁荣注入一剂强心针。二季度以来,开源领域也发生了一些大事,如阿里云开放关系型数据库
作者 | 吴炳锡 中国数据库行业随着 2021 年 7 月 PingCAP 完成 3.4 亿美元融资,估值达到 30 亿美金,把中国数据库行业引爆了。2022 年 12 月 23 日达梦数据库 IPO 顺利过会,如果上市成功预计估值在 500 亿人民币,不出意外的话,这将是科创板最大的 IPO 之一。 那么你知道中国的数据公司有多少吗?据不完全的统计已经超过 300 多家,那 2023 年数据库市场又会是什么变化呢?我这里抛出来 5 个问题借本文与大家讨论一下。 Q1. 中国和海外数据库的差距还有多远?
12 月 21 日,在第十一届中国数据库技术大会(DTCC)2020 数据风云奖评选活动中,PingCAP-TiDB 荣获 2020 年度最佳创新产品奖。同时,PingCAP 数据库内核研发工程师韦万受邀在数据库内核专场进行了《使用 TiDB 列存引擎进行实时数据分析》的主题演讲。
2022年是魔幻年,2.24号,在外面爬雪山团建,谈着刚刚打响的俄乌战争。4月招聘一位上海员工,但因为疫情管控只能远程报到,杭州亚运会也被迫推迟,随后几个月大家都笼罩在阴影中,唯有世界杯带来了快乐,但原计划12.18号一起看决赛,没想到公司瞬间阳了一半,看球活动也被迫取消。好在疫情快速消停,和家人度过一个大团圆春节。
本文根据王义成在【第十三届中国数据库技术大会(DTCC2022)】线上演讲内容整理而成。
推广大使应在腾讯云推广许可范围内,使用正当的手段方式进行推广,不应进行任何欺骗或虚假性质的推广行为,包括但不限于:
数据库领域同样如此。过去五十余年,数据库经历OLTP和OLAP两种需求漫长的融合-分离-再融合的过程。究其原因,数据库的发展始终与用户场景需求变迁紧密相关。如今,随着云计算和大数据的兴起,业务场景正在经历前所未有的变革,数据库领域也掀起了一股HTAP浪潮。
本项目由PingCAP投递并参与“数据猿年度金猿策划活动——2022大数据产业创新技术突破榜单及奖项”评选。
All in 云+时代,数据库的高可用性、按需付费、按需扩展等属性解放了大批开发者。腾讯发布的自研数据库CynosDB作为国内首款同时兼容MySQL和PG的云原生数据库在业内引发热议,还不够了解TA?那么本期分享你一定不能错过!
OLTP 和 OLAP 技术栈曾因大数据系统规模问题分道扬镳。但是随数字化技术落地到千行百业,复杂的业务场景产生海量数据,即使是相对成熟的 OLTP 产品也无法满足业务对于实时分析的需求,于是 OLAP 技术快速发展,至 Gartner 正式提出了 HTAP 这一概念,到如今呈现出 HTAP 理念大火的局面。 虽然 HTAP 概念已经普及很长时间,但是业内对于 HTAP 的理解不同,国内几款代表性的 HTAP 数据库技术路线也不尽相同。开发者应该如何理解 HTAP?什么才是开发者友好的 HTAP?想要了解什
这边厢PingCAP刚刚发布面向企业级核心场景、具备完整 HTAP 能力的分布式数据库TiDB 5.0 版本;那边厢OceanBase也紧跟着推出3.0版本,主攻方向亦是HTAP分布式数据库,在GitHub Oceanbase标注自己为“ The leading Scalable HTAP Database” , 并且又玩了一把TPC-H打榜第一的套路(后续:其成绩很快被超过)。
2022年6月,腾讯云数据库TDSQL PG版 Oracle兼容能力以及TDSQL-A两大引擎全新升级,Oracle兼容性和海量数据查询分析能力再上新台阶。 升级后的TDSQL PG版 Oracle兼容能力将进一步降低用户迁移改造成本,全面支持存储过程、Package管理等高级特性,同时支持分布式和集中式两种架构,用户可以根据业务需要从集中式无缝升级至分布式。 海量数据分析能力也迎来了全面升级,TDSQL分布式分析型引擎TDSQL-A自研列存储引入延迟读取、过滤下推、自适应行列转换等能力,支持更加丰富的使
在访问量和数据量急剧膨胀的今天,关系型数据库已经难以支撑庞大复杂的系统规模。在此背景下,备受关注的数据库新理念 HTAP,会是一条“正确”的路吗?在刚过去的 QCon 全球软件开发大会上,PingCAP 实时分析产品负责人马晓宇发表了《TiDB HTAP 的架构演进及实践》的主题演讲,它从 HTAP 的历史入手,详述了 HTAP 的技术挑战以及 TiDB 的应对方案。本文为其演讲整理文,enjoy~ 大家好,今天为大家分享以下几方面内容。首先是分享 HTAP 的历史,其次是 TP 和 AP 之间存储和计算的
大数据浪潮奔涌而至,企业对更高效地释放数据价值、降低数据使用成本的需求急剧上升,越来越多场景要应对不断增长的实时事务处理和分析的需求。其中,HTAP 凭借着可以承载高并发事务实时处理,以及大规模数据实时业务决策的能力,在企业级市场中受到广泛关注。 与此同时,押注 HTAP 方向的数据库也在增多。作为需要将 TP 和 AP 进行高度交融, 而非简略相加的产物,HTAP 面对的技术挑战也可以预见。那么,HTAP 数据库需要具备哪些能力?如何兼容 TP 与 AP 能力打造极致性能?如何高效管理 TP 和 AP 负
1 差点崩溃 多年前,我在一家第三方支付公司做研发副总,那个时候公司刚好要上线第四代收单平台,我的工作就是推动新平台上线。 第一代收单平台数据库用的是 Oracle,随着公司交易量的持续猛增,Oracle 已经很难支撑了。 到了新平台全面采用微服务架构,从架构上最大化的减轻数据库的压力,主力数据库也从 Oracle 切换到了 Mysql。 当时公司每天的交易额在上百亿,日订单量也在百万级,虽然使用了分库分表,但后期数据库压力仍然巨大。 为减轻数据库压力,频繁水平切数据、扩容,数据库工程师都快崩溃了。 那个
记得有一天林林问我们,北京是不是得办一场沙龙了,我说好,然后我们合计沙龙主题,我初步定了“数据架构和数据优化”,大家说好,然后沙龙的雏形就定了,我们很快挑选主题方向,开始邀约嘉宾,韩老师说好,整个过程很快就敲定了,然后场地,公司说好,接下来报名,筹备,公司支持,一切都在有条不紊的支持中。。。这就是这次沙龙的一个过程。
TBase是腾讯云国产企业级分布式HTAP数据库,可完美适用于拥有海量数据、高并发、高HTAP,以及分布式事务能力的应用场景。为构建开发者生态,与开发者共同进步,TBase已于2019年11月正式开源,截止目前,TBase在GitHub上的Star数已超过800个,Fork数近200。
PingCAP DevCon 是 PingCAP 一年一度的技术盛会,致力于探讨前沿科技与数字化趋势的融合,被誉为观测开源产业、数据库前瞻趋势的风向标。**7 月 24 日,以 "开放、连接、预见" 为主题的 PingCAP DevCon 2021 在京举行,为线上线下数万观众带来一场技术盛宴。PingCAP 创始人兼 CEO 刘奇,在大会上介绍了 PingCAP 在开源、企业级、国际化、未来发展方向的思考。**以下是演讲实录,字数 10366 ,需要 55 分钟阅读。
LogiKM(改名KnowStreaming) 是滴滴开源的Kafka运维管控平台, 有兴趣一起参与参与开发的同学,但是怕自己能力不够的同学,可以联系我,当你导师带你参与开源! 。
最近行业里面有趣的事情比较多,Trino Summit 2022刚开完,有很多有趣的东西。亚马逊re:Invent也在如火如荼召开,视频看得我眼睛发炎,又痒又疼的。
编者: 本系列分析行业动态,关注“数据和云( OraNews )”回复:下载。可以找到文档链接。 公告:云和恩墨大讲堂 + openGauss 成都站,将于2022-08-25 举行,欢迎成都朋友关注。 ---- 近日,墨天轮社区发布了《2022年8月中国数据库行业分析报告-融会贯通,并行不悖》,该报告对中国数据库市场的发展进行了分析。以下从报告中摘录部分描述作为分享。 1. 数据库流行度排行 TiDB、openGauss、达梦 位列三甲 报告首先发布了8月中国数据库流行度排行,在榜单中,TiDB 以59
随着数字经济的快速发展,数据已成为重要生产要素,挖掘数据价值成为了用户的普遍需求。HTAP(混合事务和分析处理)是近年来提出的一种新型的数据库架构,旨在打破事务处理和分析之间界限, 在一份数据上保证事务处理的同时支持实时分析,并且可以灵活配置两种负载的资源占比,使得在线交易和分析互不影响,并可以分别实现线性扩展,一站式地解决企业级应用的各种需求,从而大幅度降低成本,同时提高了企业决策的效率。当前,HTAP 已成为数据库发展的前沿领域。
HTAP是什么HTAP(Hybrid Transaction and Analytical Processing)数据库,也称混合型关系数据库,是能同时提供OLTP和OLAP的混合关系型数据库。在互联网浪潮出现之前,企业的数据量普遍不大,特别是核心的业务数据,通常一个单机的数据库就可以保存。那时候的存储并不需要复杂的架构,所有的线上请求OLTP和后台分析OLAP都跑在同一个数据库实例上。随着互联网的发展,企业的业务数据量不断增多,单机数据库的容量限制制约了其在海量数据场景下的使用。
WOT(World of Tech)全球技术创新大会是由51CTO开创的综合性高端技术会议品牌,致力于展现国内外技术领域热点趋势、搭建全球技术人的深度分享交流平台、推动先进技术的场景落地与行业融合。自2012年首次举办以来,WOT已在十年间通过十八场高质量技术盛会的输出,累计影响了数千家科技企业与数万名一线技术人员。
最近,在数据库行业对HTAP(混合事务/分析处理,Hybrid Transactional/Analytical Processing)这个概念宣传的非常火爆,也衍生出 Real-Time HTAP的说法,主要是因为随着IT行业的发展,很多用户的复杂业务已不再是单纯的OLTP或者OLAP场景,而是二者皆有的混合场景。很多数据库厂商为了响应这样的需求,同时也为了更好的宣传旗下数据库的适用性足够广泛,就纷纷打出可同时支持OLTP和OLAP的混合负载,即支持HTAP的宣传语。 当我们在网络上去搜索“HTAP”关键字,相关信息很多会提到分布式/集中式架构、传统数据库/新型数据库等等概念,本文就从这些相关概念来切入,抛砖引玉,试着理清面临如今众多的数据库,对于有HTAP需求的用户,究竟该如何理性的选择。
“HTAP”作为数据库领域的当红炸子鸡,其热捧度逐年递增。特别是在随着国产化数据库浪潮逐渐替代原有数据库架构的进程中,业务系统中各类的复杂数据查询与在线交易交织的场景需求日益增多,使得业务对数据库HTAP的能力要求逐渐严格起来。
迁移,是过去三年国内数据库行业最热的关键词之一。在 AI 与云计算过去十年的持续爆发之下,如何更好地存储和使用数据,既是每个中国互联网从业者绕不开的话题,也是中国传统行业数字化转型的核心议题。本土互联网巨头为什么会在 2000 年到 2010 年飞速成长之际,打下数据库业务的基础?2020 年之后,国产数据库的迁移浪潮又是如何逐渐成型,百花齐放? 本期节目,见证行业崛起的资深嘉宾王义成与 Diane 深度对谈,看清迁移浪潮之下,国产数据库从业者走过的每一步路。对于嘉宾所提到的《腾讯云工具指南》感兴趣的小伙
全球经济数字化转型是大势所趋。加快数字经济发展,推动数字化变革已经成为未来十年经济发展的重要推动力。数字化增长带来新机遇,DTC(Direct To Customer)的模式在众多企业成为获取与服务最终客户的新趋势,但据分析机构报告显示,在全球数字化转型中,大数据项目只有 30-40% 的成功率,通过简化基础的数据平台赋能数字化转型成为一个关键话题。
2021年10月18日~20日,由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第12届中国数据库技术大会(DTCC2021)将在北京国际会议中心隆重召开。 本次大会以“数造未来”为主题,重点围绕数据架构、人工智能与大数据应用、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,汇聚超百位行业专家,为广大数据领域从业人士共同打造一场年度技术盛会交流平台。 作为全球领先的云计算、数据库产品服务商,腾讯云数据库集结多位顶级技术大咖亮相本次大会,围绕当前比较热门的数据库技术主题,共同探讨
昨天发了一篇文章讨论的是关系型数据库的变化数据如何同步到数据仓库层面,类似于 MySQL 的 binlog 日志同步到数据仓库进行 OLAP 分析。OLTP环境下的数据库数据同步到OLAP环境下的数据仓库,解决方案逃不过三种类型:
点击上方蓝字关注每天学习数据库 All in 云+时代,数据库的高可用性、按需付费、按需扩展等属性解放了大批开发者。腾讯发布的自研数据库CynosDB作为国内首款同时兼容MySQL和PG的云原生数据库在业内引发热议,还不够了解TA?那么本期分享你一定不能错过! 本期云+社区技术沙龙将全方位解读CynosDB,揭秘技术内幕,解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现、可计算智能存储和分布式存储。 长按识别下方长图二维码,即可报名到现场与鹅厂技术大牛零距离交流!来不了现场的朋友,可以预
8 月 31 日 - 9 月 4 日,第 46 届 VLDB 会议以线上直播的方式举行(原定于日本东京召开),PingCAP 团队的论文《TiDB: A Raft-based HTAP Database 》入选 VLDB 2020 ,成为业界第一篇 Real-time HTAP 分布式数据库工业实现的论文。PingCAP 联合创始人、CTO 黄东旭获邀在会上进行演讲,分享关于论文的深度解读及在线答疑。
11 月 17 日,金山办公登陆科创版,圆了小米集团创始人、金山软件董事长雷军和金山所有员工的“英雄梦”。算下来,从 1999 年以金山办公为业务主体准备上市算起到今天,雷军足足等了 20 年。
在 2022 年中,HTAP、Serverless、云原生、智能化成为全球数据技术的热门趋势。在刚刚结束的 PingCAP DevCon 2022 上,PingCAP 联合创始人兼 CTO 黄东旭、中国信息通信研究院云计算与大数据研究所副所长魏凯、云和恩墨创始人& CTO 盖国强、联易融副总裁沈旸、云启资本合伙人陈昱等嘉宾,与主持人 PingCAP 副总裁刘松进行了圆桌讨论。分别从产业、资本、技术、媒体等视角出发,共同探讨了 2023 年最值得开发者和企业用户关注的技术趋势,开源、云架构、平台化成为他们对中国数据库的三大共识。未来,技术无感化将成为基础软件的终极目标,让应用开发者提升开发幸福指数。
疫情以来,餐饮行业总体的损失不可谓不沉重,但最先从打击中恢复的却是门店数量最多、经营最复杂的各大快餐巨头,或者更具体的说,是那些在 DTC 有着更多投入和积累的快餐企业。以去年双十一为例,多家快餐顶流仅用不到 12 小时就突破了去年双十一全天的销售额,业务涨势喜人。
场主认为:Flink=风口趋势所在!而技术人就是追风的人,stay hungry,stay young!
之前介绍了数据库的两种最常见的存储模型:NSM 和 DSM (列式存储的起源:DSM),今天介绍这两种存储模型和 HTAP 的联系。
近日,TiDB Cloud 正式上线 Google Cloud Marketplace,现在,Google Cloud 全球用户能够通过 Google Cloud Marketplace 搜索、发现和订阅 TiDB Cloud 服务,将为全球用户带来全新的一栈式实时 HTAP 数据库体验。
本文由 PingCAP 联合创始人兼 CTO 黄东旭撰写,基于亲身经历的数据库行业,深度总结过去一年数据库发展的重要趋势,以及展望 2023 年数据库新方向,希望对更多的行业从业者有所启发。
领取专属 10元无门槛券
手把手带您无忧上云