而随着互联网在线业务的蓬勃发展,数据库面临着数据量大、高并发和超高峰值等诸多挑战。分布式数据库已成为业界普遍采用的有效解决方案。
作者 CDA 数据分析师 前言 2017年7月29日,由CDA数据分析师主办,以“跨界互联 数据未来”为主题的CDAS 2017第四届中国数据分析师行业峰会在北京中国大饭店隆重举行。 7月29日当天,除了引人眼球的主会场以外,当天同步开放11个分论坛,我们将逐一推送每个分论坛的盛况,以及演讲嘉宾速记稿整理,给每一个CDA成员奉上干货。 CDAS 2017中国数据分析师行业峰会的下午数据库与技术实战分论坛中,来自去哪儿、润乾科技、宜信等七位专家与教授,分享了数据库与技术实战自己的心得体会。 大会
为什么程序员都需要学算法? 程序员对算法通常怀有复杂情感,算法很重要是共识,但是否每个程序员都必须学算法是主要的分歧点。很多人觉得像人工智能、数据搜索与挖掘这样高薪的工作才用得上算法,觉得算法深不可测。 在面试中,算法题目是必须的,通过算法能够看出一个程序员的编程思维,考察对复杂问题的设计与分析能力,对问题的严谨性都能够体现出来。 一个算法的好坏,直接影响一个方法调用的性能,进而影响软件的整体性能。 算法是每一个技术人员都必须具备的基础能力之一。 算法比起其他编程语言的学习,对理解能力要求更高,学习起来也
公司技术分为浓重,在众多的兴趣小组里面有一个分布式数据库的小组,本周五需要进分享,是在是惭愧,作为这个小组的 specialist, 啥都没有做,所以赶紧弄弄,要不说啥。
本文讲述了 HDFS Router-based Federation 的架构和特性。
写这篇文字的时候,其实心里是扭曲的,其实在想要不要写,要不要写,要不要写,半夜3点起来写,也是有病。
DTCC 2022,与近日落地,作为年度的数据库领域大会,有很多来自厂商、客户及行业内的专家带来了对数据库的最新解读。作为一名资深从业者,也持续关注大会13年。今年受到疫情影响,将形式改为线上,我也与近日拿到分享材料,抽空学习下。本文从上百位老师分享中摘出印象较深的,特分享给各位。会议材料可从https://z.itpub.net/stack/detail/10027下载。
作者简介:李海翔,网名“那海蓝蓝”,腾讯金融云数据库技术专家。中国人民大学信息学院工程硕士企业导师。著有《数据库事务处理的艺术:事务管理和并发访问控制》、《数据库查询优化器的艺术:原理解析与SQL性能优化》,广受好评。
OceanBase 是蚂蚁集团开发的分布式关系型数据库管理系统,它集成了高性能、高可用性与强一致性等优点,完美契合了大规模业务系统的数据库需求。本教程详细阐述了 OceanBase 的安装和配置流程,包括分布式架构设计、事务一致性、分片机制与多副本高可用性。通过本教程,你将掌握如何在本地或服务器上高效部署 OceanBase,并以多样化的案例逐步理解 OceanBase 的功能与潜力。
我们常用的存储系统种类非常多,有单机的也有分布式的,有的是数据库,有的是文件系统,还有介于二者之间的。无论是哪种存储系统(比如,MySQL、Redis、Elasticsearch,等等),它们都具有如下三个特点。
比較少參加这类大型的会议,进到会场的第一眼,发现会议室已经所有坐满,后来主办方发现站的人太多了。找来了一些小板凳,我高速找到一个小板凳坐下。坐下開始认真听。很开心地听到广告时间结束,和我计划的时间完美一致。
过去几年,各大厂宕机事件屡见不鲜。Google 曾因为容量调度系统而宕机四十五分钟;微软曾因为流量尖刺问题,宕机两个半小时;亚马逊也曾因为 Kinesis 数据迁移服务,导致美东区域宕机五小时等。当单点的基础服务出现问题之后,与其依赖的服务也将会发生连锁反应,从而导致宕机事件的出现。 架构稳定性与高可用,一直是技术人所关心的事情。架构不稳定,所带来的问题可大可小,但常见故障一般是由基本的问题引发的,诸如服务器资源不足、稳定性意识薄弱、运行环境出错等等。 那解决了这些问题,架构不会出故障了吗?答案并不是。业务
回顾数据库领域数十年的发展历程,每一次技术革新浪潮的开端,都源自于从业人员在行业技术前沿一次又一次的探索。 在当前,随着新一轮技术浪潮的兴起,以计算机、通信、互联网等为技术支撑的信息时代,正逐步过渡到以人工智能、云计算、大数据、物联网为关键技术引领的智能新时代。智能化、湖仓一体化、超融合化等发展趋势,被越来越多地落地实践。 比如,为应对海量复杂场景数据服务在性能、成本、服务等方面的需求,数据库正呈现出底层多模多引擎的融合、开发者接口的融合、软硬一体交付以及全链路生态的融合的趋势。腾讯云将原有的TDSQL
历经一年时间,Gdevops全球敏捷运维峰会再次从成都、上海、北京成功巡回至广州,即将于11月30日举办2018年度收官盛会!
从很早以前,我维护的一个应用在做数据源主备切换时,经常出现切换后获取连接超时。前些时候,我对这个问题做了深入的分析,并得到一些结论,在这里分享给大家。
整理 | 田玮靖 出品 | CSDN(ID:CSDNnews) 当前,新一轮科技革命使得数据规模爆炸性增长、数据类型愈发丰富、数据应用快速深化,同时,云数据库、HTAP数据库、AI向量数据库等物种的出现,为数据库领域带来了新的技术难题和业务痛点。如:分布式中的一致性,那么多数据一致性模型,到底有什么不一样?如何保障数据安全与业务稳定发展?云数据库有哪些关键技术,怎么实现?“多云共存”,怎么进行数据库管控? 以上问题有你正在关注、疑惑的地方吗?不妨看看国内大厂都是如何解决诸多难题的吧。 10月23-24日,第
为什么我们要做这件事情?事情的起因是随着 TiDB 项目逐渐发展,代码日渐复杂,我们发现新入职的同学越来越难上手修改代码。我们萌生了做内部培训的想法,通过录制视频、写教程的方式,加快新同事融入的速度,做了几次之后,我们发现效果不错,除了新同学有不少收获之外,老同志们也了解了之前自己并不熟悉的模块,大家都有收获。我们想到开源社区面临同样的问题,也可以通过这项工作收益,所以萌生了把这个活动做细做大的想法,于是有了这项活动。
当下是分布式数据库发展的最佳时机。 中国移动互联网的快速发展,为新一代分布式架构技术体系提供了方向指引与最佳场景训练场,推动云计算时代分布式基础技术的诞生、演进。而国内自主研发的分布式技术的逐步发展,更是成就了一个个海量业务场景。 场景推动技术发展,技术也在支持、创造场景。历史告诉我们,每当新技术出现新的曙光,新商业已经蓄势待发。近年来,分布式数据库成为各大银行企业机构进行系统架构分布式转型的重要抓手。事实上,分布式数据库作为云计算时代的明珠,一次又一次撬动行业的变革:银行可以搭建全线上化的分布式互联网
作为一个程序员,不了解数据库怎么能行,那么数据库到底是个啥呢,作为一个Java工程师,平时和数据库打交道着实不少,所谓的CRUD其实就是对数据库进行增删改查的操作。
分布式数据库,无疑是近些年来数据库领域的重大技术进步。越来越多的用户考虑将传统集中式或单机数据库,迁移到分布式数据库。然而,正如同其他新技术一样,使用分布式数据库同样面临一定的使用门槛。如何平滑地迁移到这一新架构,享受新架构带来的优势的同时,还需规避潜在的劣势。尽管很多分布式数据库产品,正努力降低使用门槛,让用户近似传统数据库的体验去使用它,但这一过程仍面临诸多问题。此外,要想更好地使用分布式数据库,是需要其实现细节有着更多的了解。本文,尝试从研发角度谈谈,如何上手分布式数据库,针对常见的如何做表分片、如何选择分片键等问题加以描述。为了降低过程难度,结合之前在项目实施中的一点经验,自己也尝试编写工具来方便迁移分析。
概念模式(Conceptual Schema):概念模式也被称为信息模式或逻辑模式,它描述了数据库的整体结构,但不涉及具体的物理存储细节。它主要关注数据的组织、关系以及数据的完整性约束。概念模式通常由数据库管理员(DBA)或高级数据库设计师来设计和维护。
宝马和奥迪已经官宣,不在研发燃油发动机,全面转向电动汽车,而国内的电动汽车新势力的各种汽车在大街小巷上比比皆是。数据库行业如果把单体数据库比作是燃油发动机的汽车,那么分布式数据库就是电动汽车。
导语:读书是一生的功课,技术人通过读书实现自我提升,学习优秀技术沉淀。TEG读书会本期特邀腾讯金融云专家工程师李海翔、TEG计费平台部专家工程师雷海林、MySQL数据库专家姜承尧,为大家带来数据库方向好书推荐。来看看技术大牛在读什么,国庆遇见好书,愿本期书单助您更专业。 李海翔,腾讯金融云专家工程师,从事分布式数据库TDSQL研发工作。出版著作:《数据库查询优化器的艺术 原理解析与SQL性能优化》、《数据库事务处理的艺术 事务管理与并发控制》,广受好评。中国人民大学信息学院工程硕士企业导师。 理论类
日前,TDSQL新敏态引擎正式发布,高度适配金融敏态业务。 该引擎完美解决对于敏态业务发展过程中业务形态、业务量的不可预知性,实现了EB级存储的Online DDL,能够大幅提升表结构变更过程中的数据库吞吐量,从而有效应对业务的变化。同时,腾讯独有的数据形态自动感知特性,可以使得数据能够根据业务负载情况自动迁移,打散热点,降低分布式事务比例,获得极致的扩展性和性能。 作为腾讯面向企业级应用场景的分布式数据库产品,目前TDSQL已在众多金融、政务、电商、社交等客户应用案例中奠定了金融级高可用、强一致、高性能
2021年7月15日至20日,由腾讯云联合电子科技大学共同研发的《企业级分布式数据库TDSQL入门实战》课程,圆满地完成了课程教学。为期4天的课程学习中,来自电子科技大学近百位大学生通过理论学习和实操训练,对企业级分布式数据库TDSQL有了深入的了解。 《企业级分布式数据库TDSQL入门实战》课程现场 《企业级分布式数据库TDSQL入门实战》课程由腾讯云高级培训讲师胡一鹤老师通过线上直播的教学方式进行。本课程围绕数据库的发展趋势和未来新技术的走向展开,通过理论教学与实践应用结合的模式让同学们更深入地
上期我们给大家带来分布式数据管理如何完成数据存储,数据同步,数据跨端访问,并保证整个过程中跨设备数据安全的解读。
Oracle 12C正式发布前,我曾经参加过一个中国企业用户与Oracle研发副总裁的圆桌会议,主要是提出国内企业级用户对Oracle数据库的一些需求,供Oracle下一个版本增加功能时参考。当时会上提出的很多需求后来在19c/20c里都看到了响应,不过这些还不是让我印象最深的,印象最深的是针对Oracle 12C SHARDING功能的讨论。
这位大佬有这样一句原话, 从这句话可以看出这位大佬对国产数据库产品以及产品定位的考量.
1.1 高并发,大流量 1.2 海量数据 存储及管理海量数据,需要大量服务器 1.3 高可用: 7 * 24 小时服务 1.4 用户分布广泛,网络环境复杂 1.5 安全环境恶劣 大型网站几乎每天都被黑客攻击 1.6 需求快速变更,发布频繁 1.7 渐进式发展
近些年来,国产数据库成为较热门的话题。有越来越多的公司考虑采用国产数据库产品。近期在与twt社区的互动中,发现有大量相关的讨论,关注度也较高。特将自己回答的部分问题摘录如下,也算是对若干热点问题的个人观点。
分布式数据库系统是在集中式数据库系统的基础上发展起来的,理解起来也很简单,就是将整体的数据库分开,分布到
而数据库作为软件系统的核心组成部分,尤其是面对当下很多基于微服务、容器化的服务层可以无限弹性扩展的云原生时代,了解不同数据库的基本原理和适用场景,对很多技术人来说避免瓶颈、解决瓶颈,从一开始就能选择好适合自己业务场景的数据库,都是很有帮助的。
11月16日,腾讯云正式对外宣布,旗下国产金融级分布式数据库TDSQL已经在印尼Bank Neo Commerce银行新核心系统完成搭建并正式投入使用推动后者实现分布式数字化转型。这不仅意味着腾讯云自研数据库TDSQL在国内金融级市场应用走在前列,同时,凭借在云计算、互联网等领域的核心技术优势,在国际数据库领域具备强有力的竞争优势。 Bank Neo Commerce银行(以下简称BNC)是一家成立于1988年的印尼银行,于2019年初获得Akulaku投资,并通过金融科技的手段在短短半年内获得超过50万
tidb这个技术名词很多同学或多或少都曾经耳闻过,但是很多同学觉得他是分布式数据库,自己的业务是使用mysql,基本使用不上这个技术,可能不会去了解他。最近业务上有个需求使用到了tidb,于是学习了一下基本原理,会发现这些原理其实不仅仅局限于分布式数据库这一块,很多技术都是通用的,所以在这里写一下分享一下学习tidb的一些心得。
拜占庭容错(Byzantine Fault Tolerance,BFT)是一种在分布式计算系统中实现容错的重要机制,旨在确保系统在存在恶意或故障节点的情况下仍能正常运作。本文将详细介绍拜占庭容错算法的基本原理、实现方法及其在实际应用中的重要性。
在当今信息时代,数据的存储和管理变得越来越重要。无论是云存储、数据库还是分布式文件系统,都需要高效的数据存储和检索方法。其中,LSM树(Log-Structured Merge Tree)是一种高性能的数据结构,广泛应用于各种分布式存储系统和数据库引擎中。本文将介绍LSM树的原理,并探讨其在不同使用场景中的应用。
互联网高速发展带来海量的信息化数据,也带来更多的技术挑战。各种智能终端设备(比如摄像头或车载设备等)以每天千万级的数据量上报业务数据,电商、社交等互联网行业更不必说。这样量级的数据处理,已经远不是传统关系型数据库的单库单表架构所能支撑的,如何高效存储和访问这些数据,成为一个非常现实且亟待解决的问题。
2.数据:是记录现实世界中各种信息并可以被识别的符号,他是信息的载体,是信息的具体 表现形式
分布式数据库有两大流派,NEW SQL VS POSTGRESQL -XC ,NEW SQL 的分布式主流的理论来源自 GOOGLE 的分布式数据库spanner,以及相关理论的白皮书,而令一派的分布式数据库来自于POSTGRESQL -XC, 今天我们看看到底POSTGRESQL-XC 这个流派的方式是什么,有什么特点,当下那些分布式数据库采用了POSTGRESQL -XC。
在分布式数据库系统中,用户感觉不到数据是分布的,即用户不须知道关系是否分割、有无副本、数据存于哪个站点以及事务在哪个站点上执行等。
文章介绍了分布式数据库在项目中的使用场景,以及基于腾讯云DCDB的具体实现方案,包括分表、分库、负载均衡、高可用等方面的内容。
在分布式系统中,实现一致性是一个至关重要的挑战。Paxos算法作为一种经典的分布式一致性算法,被广泛应用于各种分布式系统中,如分布式数据库、分布式文件系统和协调服务。本文将详细介绍Paxos算法的基本原理、实现方法及其在实际应用中的重要性。
在数字化浪潮的推动下,数据库技术已成为现代科技的基石。它不仅是存储数据的仓库,更是推动技术进步的引擎。我的故事,是那些在数据的海洋中探索和成长的程序员们的缩影。
数据库一年一度的重头戏来了! 2020年12月21日~12月23日,第十一届中国数据库技术大会(DTCC2020)将在北京隆重召开。大会以“架构革新 高效可控”为主题,设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。 历经十年的积累与沉淀,DTCC见证了整个行业的发展与演变。而腾讯云数据库作为国内知名的数据库厂商,也将带来8场主题演讲,分享这一年腾讯云数据库的思
透明性:是指每一个数据库分布节点对用户的应用来说都是透明的,看不出是本地还是远程。
导语 | 每一个时间段总是一个新时代,新技术层出不穷使得数据库技术焕发新生。Spanner、CockroachDB、TDSQL等分布式数据库正是这个时代的弄潮儿。本文由腾讯云数据库专家工程师 李海翔在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术,到海量数据分析技术」 的《分布式数据库的演进》演讲分享整理而成,带大家品味分布式数据库架构、前沿技术和TDSQL技术实践,感受分布式数据库的技术之美。 点击可观看精彩演讲视频 一、分布式数据库架构 我今天所分享的内容主要集中在数据库技
随着技术浪潮的涌动,国家政策的推动,区块链又慢慢的进入了我们的视野中。在 2020 年初这个时刻,不妨我们再回头看看区块链的发展,聊聊区块链中的几个技术点,为新的一年打打基础。
此次采访,希望能够将 OceanBase 具有创新性的技术演技历程展现在读者面前,让开发者和业内人士更加深入了解与 OceanBase 数据库有关的一切。
领取专属 10元无门槛券
手把手带您无忧上云