首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >数据库事务管理与并发控制机制

数据库事务管理与并发控制机制

原创
作者头像
mariolu
发布于 2024-07-12 01:15:23
发布于 2024-07-12 01:15:23
23900
代码可运行
举报
运行总次数:0
代码可运行

一、什么是事务

事务上一系列SQL语句组成,用来保证要么一组全部完成,或者都不完成。事务执行中也支持回滚,保证操作中的任何数据修改都不会提交。事务里的操作其实是会立即在数据发生修改的,只是修改的数据不会被其他客户端的查询看见,因为用到了锁机制。

事务通常以BEGIN TRANSCATION开始,事务通常可以包含修改性的语句:insert、update、delete、merge(也就是select for update)。然后最终要么COMMIT或者ROLLBACK。除了显示表达commit或者roolback,还有隐形发生的roolback或者commit。比如

  • 隐性的roolback:网络断开连接。
  • 隐形的commit:关闭会话
  • 隐形的commit:开始一个DDL命令create

通常来说insert/update/delete/merge都包含子查询select语句。查询语句在事务内部看到是当前事务insert/update/delete/merge的最新数据,而在事务外面看不到这些数据更新,除非当前事务被commit之后。

1.1 事务解决问题

事务最经常解决的是不同客户端的数据竞争问题。还可以用来,

  • 要执行某个操作非常小心,然后你写个事务,等待提交前检查一遍确认ok后才正式commit
  • 打包所有语句成一次性atomic级别的数据更新。不会有人看到中间状态的脏数据
  • 组合语句,变成要么提交,要么不提交,比如说

SELECT columns FROM LiveTable

<Do calculations - 可以是SQL或者呼叫其他应用>

BEGIN TRAN

INSERT data INTO DataWarehous

UPDATE LiveTable SET ETLDone = 1 WHERE it was inserted into DW

COMMIT

二、并发控制机制

不同的事务隔离机制提供了不同一致性等级。我们以云上存储系统为例。云存储在多个机器提供了冗余数据以面对不可预知的故障。数据在多台机器之间并不总是保持完全一致。因此数据从不同服务器读到的可能是不同版本的数据。

云产商比如微软Azure提供的是强一致性服务。强一致性服务确保所有客户端总是看到最后一次提交的数据。强一致性还比如经常用于数据中心之间的同步。这些数据中心常常分不在不同地理位置不同大洲的机房。

也有很多云存储系统比如Amazon S3设计为弱一致性的服务。这样设计的理由是强一致性是成本代价很大。通过对一致性的妥协来换取可用性和更好的性能。这种系统里,客户端可能读到的是过时的数据,不一定是最新版本的数据。读取过期数据会发现在还来不及同步其他数据中心的数据之前。这种系统也称为最终一致性。

当然还有些厂商提供了不同的级别来给用户选择,比如Amazon DynamoDB同时提供了强一致性和最终一致性。

还有些厂商提供了一种介于强一致性和最终一致性的方案。比如说读取到不过期5分钟的数据提交。

折衷一致性的背后原理就是CAP准则。CAP理论就是系统必须容忍网络分区的存在,用户必须在Consistency和Availablablity的之间选择。

我们来看一下一般数据库怎么做到事务隔离。

一、事务的隔离级别

1.1 隔离级别对应的读到的状态可能性

事务隔离级别有四种,以下图为例,四种隔离级别的读数据状态会是不一样的:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
事务 A:  |---0---|---1---|---2---|---3---|---4---|
事务 B:                          |---5---|---6---|---7---|---8---|
查询操作:|读事务开始 <--- 不同的隔离级别在不同的时间点读到不同的状态-->|
  • READ UNCOMMITABLE: 这种读到状态可能是最多的0-8都有可能
  • READ COMMITTABLE : 这种读到0、4、8
  • REPEATEDABLE READ:这种读到0
  • SERAIABLE:查询操作不可访问,并且事务B的操作会被阻塞。效果如下图
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
事务 A: |---0---|---1---|---2---|---3---|---4---|
事务 B:                                         |---5---|---6---|---7---|---8---|
查询操作: 无论是读事务或者写事务 都会得到排他锁,如果是对同一记录操作,事务A一旦先开始,事务B就不能操作,或者查询也不能操作。

1.2 从锁机制看事务隔离级别

  • READ UNCOMMITABLE: 无任何事务控制,无加任何读锁,写锁
  • READ COMMITABLE,写时候加了排他锁,读了时候使用记录粒度的读锁(共享锁,这个共享锁 不锁事务,锁记录)。事务A查询的时候 读到的是就记录,事务B做了提交,事务A再次查询(也就是不可重复读)。这两次会得到不一样的结果。如果在一个事务里,这个事务里做了两次同样的记录数量查询。两次查询的结果不一样(幻读)。
  • REPEATEDLE READ,可重复读,和READ COMMITABLE不同的时,读锁(共享锁)锁的是整个事务执行的过程。所以在整个事务的执行过程中,任何其他事务尝试更新完这条记录的结果,这个读事务都是用MVCC提交前的版本)。和READ COMMITABLE区别的是,读记录锁的是记录还是事务过程。两者锁的时间不一样。
  • SERAIABLE:RANGE KEY,查询满足这个range范围的这些个数的记录都被锁住。
1.2.1 不可重复读和幻读的区别

不可重复读的重点是修改:

同样的条件 ,   你读取过的数据 ,   再次读取出来发现值不一样了

幻读的重点在于新增或者删除(导致记录数变化)

同样的条件 ,   第 1 次和第 2 次读出来的记录数(强调的是记录数,而不是记录本身,因为读锁的锁粒度是记录自身,而不是整张表)不一样。

1.3 不同隔离级别的错误读取

通过在写的时候加锁,可以解决脏读。

通过在读的时候加锁(或者MVCC提供旧的提交版本),可以解决不可重复读。

通过串行化,可以解决幻读。

隔离级别

脏读

不可重复读

幻读

READ UNCOMMITABLE

1

1

1

READ COMMITABLE

0

1

1

REPEATABLE READ

0

0

1

SERIAL

0

0

0

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
你还在 Docker 中跑 MySQL?恭喜你,好下岗了!
目前,容器和 Docker 依旧是技术领域最热门的词语,无状态的服务容器化已经是大势所趋,同时也带来了一个热点问题被大家所争论不以:数据库 MySQL 是否需要容器化?
用户8639654
2021/08/24
5800
为什么不建议把数据库部署在docker容器内?
近2年Docker非常的火热,各位开发者恨不得把所有的应用、软件都部署在Docker容器中,但是您确定也要把数据库也部署的容器中吗?
IT大咖说
2020/05/06
6.1K0
临时工说:降本增笑,开猿down机,什么是无脑数据库上docker K8s与潜在风险
最近滴滴的故障的问题,相信各大群都有分析,故障点一致指向了K8S ,Docker。 实际上对于Docker本身数据库工程师并不是很熟悉,基于数据库的本身的重要性和承载的业务量等区别,不少大型的应用是不会使用docker 来承载数据库应用的。
AustinDatabases
2023/12/05
3520
临时工说:降本增笑,开猿down机,什么是无脑数据库上docker K8s与潜在风险
招商银行 | 基于 K8S+DOCKER 构筑容器数据库平台建设及应用实践
招行ACS私有云上线投产后, MySQL作为云上主要服务的RDS数据库服务,规模急剧增长且部分承载着分行核心业务,对业务连续性要求也越来越高,因此迫切需要建立并完善云MySQL支持服务体系和提升MySQL服务能力。
爱可生开源社区
2021/09/08
2.2K0
招商银行 | 基于 K8S+DOCKER 构筑容器数据库平台建设及应用实践
数据库部署在Docker中,Are You Crazy ?
最近在兼职做 IT 咨询期间遇到过许许多多问题,其中咨询较多的问题之一就是在 Docker 容器中部署数据库。每每接到这个咨询我就想说一句:Are you crazy? Docker 在这几年可以说是
喵叔
2021/01/17
1.2K0
数据库部署在Docker中,Are You Crazy ?
【赵渝强老师】数据库不适合Docker容器化部署的原因
在Docker的容器中可以部署运行一个MySQL数据库,并通过数据卷将运行在容器中的MySQL数据库的数据进行持久化。如果这时候运行MySQL的容器被销毁了,数据也将会发生丢失。因此在Docker中部署数据库服务时,一定要考虑数据持久化的问题。但数据库并不适合Docker容器化部署。
赵渝强老师
2025/05/31
1200
【赵渝强老师】数据库不适合Docker容器化部署的原因
13. Docker实战之安装MySQL
开发中,通常会自建MySQL数据库方便个人开发测试。这里利用Docker安装MySQL 5.7。
有一只柴犬
2024/01/25
2.9K0
13. Docker实战之安装MySQL
Docker最全教程——从理论到实战(一)
容器是应用走向云端之后必然的发展趋势,因此笔者非常乐于和大家分享我们这段时间对容器的理解、心得和实践。
心莱科技雪雁
2018/12/19
5580
Docker最全教程——从理论到实战(一)
《常见几大数据库》
今天,让我们一起踏上一段有趣的旅程,探索中国几大常见数据库的世界。别担心,我会用生活中的例子,让这些看似复杂的技术变得简单易懂。
AiCharm
2024/09/17
1480
《常见几大数据库》
一些关系数据库的架构总结
ORACLE数据库既能跑OLTP业务,也能跑OLAP业务,能力是商业数据库中数一数二的。支持IBM小机和x86 PC服务器,支持多种OS。同时有多种数据库架构方案供选择,成本收益风险也各不相同。
用户1278550
2019/05/14
2K0
技术选型-语言、框架和中间件
我们公司内部后端团队主要语言是golang,web框架选项比较纠结,一个是开源社区的web框架 gin,在上云前用的框架, 另外就是一个选择就是公司内部的远程调用开发框架trpc。gin 框架的功能和有点毋需赘述,可自行上github了解。我们最终选择了trpc-go为trpc框架的golang版本。
二木
2022/04/29
1.7K0
PingCAP 开源 TiDB 自动化部署运维工具 TiDB Operator
TiDB Operator 是 TiDB 在 Kubernetes 平台上的自动化部署运维工具。目前,TiDB Operator 已正式开源(pingcap/tidb-operator)。借助 TiDB Operator,TiDB 可以无缝运行在公有云厂商提供的 Kubernetes 平台上,让 TiDB 成为真正的 Cloud-Native 数据库。
PingCAP
2018/08/23
1.5K0
对数据库要求最苛刻的金融行业,这套架构凭什么异军突起?
导语 | 在金融行业IT系统国产化的大背景下,国内金融行业开始推动IT基础设施国产化,逐渐摆脱对于传统IOE架构的依赖。微众银行自成立之初,就放弃了传统IOE架构路红,结合腾讯金融级分布式数据库TDSQL,建立了基于DCN单元化架构模式的分布式基础平台。如今这套架构承载了微众银行数亿级别的用户规模,数百套银行核心系统,和每天数亿次的金融交易。本文由微众银行数据库平台室室经理、腾讯云TVP 胡盼盼在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术,到海量数据分析技术」 的《分布式数据
腾讯云开发者
2021/05/14
1.2K0
Docker系列学习文章 - docker基本使用(四)
| 导语通过上一篇文章的学习,我们把docker安装好了,那么安装好docker后该怎么使用呢?本篇文章通过一两个例子跟大家讲述下docker的基本使用。然后,我们还会跟大家讲解下如何进入到一个容器里面。最后,我们再跟大家说说如何停止、挂起和删除一个容器。
宝哥@上云专家
2018/05/07
3.4K6
Docker系列学习文章 - docker基本使用(四)
腾讯TDSQL:带你认识真正的金融级自主可控分布式数据库
在数字化时代,作为基础软件,数据库的自主可控对于企业的数据安全、业务稳定具有重要意义。只有实现“自主可控”才能从根本上保证信息安全,尤其是涉及重大安全的政府和金融领域,对数据安全的要求进一步加强。因此,在互联网安全上升至国家战略层面的背景下,如何在底层基础数据库层面实现自主可控成为云计算厂商不断追求的目标。
腾讯云数据库 TencentDB
2019/03/26
4.5K1
腾讯TDSQL:带你认识真正的金融级自主可控分布式数据库
干货 | MySQL云原生方案在携程开发测试场景中的实践
Alex,专注于云计算领域数年,目前主要从事容器云平台的建设,推进各类基础设施服务的云原生化。
携程技术
2020/05/09
1.1K0
干货 | MySQL云原生方案在携程开发测试场景中的实践
云时代数据库的核心特点
作者简介:崔秋,PingCAP 联合创始人,重度开源爱好者,曾任职于搜狗、豌豆荚,长期从事广告系统基础组件相关的研究,现主要从事开源 NewSQL 数据库 TiDB/TiKV 相关的设计和研发工作。
PingCAP
2017/05/18
2.1K0
Kubernetes & Docker 实施中你会遇到的问题
在使用过程中会遇到过各种版本的 OS。包括 alpine, debian, ubuntu, centos, oraclelinux, redhat 等等……
netkiller old
2020/10/30
1.1K0
Kubernetes & Docker 实施中你会遇到的问题
揭秘有状态服务上 Kubernetes 的核心技术
之前在中通负责过缓存平台的建设工作,当时的缓存系统使用搜狐 TV 开源的 CacheCloud 缓存服务平台进行托管,但随着公司业务发展,随着而来的是资源隔离、集群访问权限粒度、资源不均衡、仅支持 Redis 类型的集群等问题,为了解决公司当下使用缓存的痛点,当时决定构建下一代缓存服务平台,它是基于 Kubernetes Operator 自动化部署与运维的思想,当时还写下了一篇文章:「中通缓存服务平台基于 Kubernetes Operator 的服务化实践」。
张乘辉
2021/07/14
1.1K0
带你遨游银河系的 10 种分布式数据库
关系型数据库指的是使用关系模型(二维表格模型)来组织数据的数据库,由二维表及其之间的联系所组成的一个数据组织。
悟空聊架构
2022/05/13
7940
带你遨游银河系的 10 种分布式数据库
推荐阅读
相关推荐
你还在 Docker 中跑 MySQL?恭喜你,好下岗了!
更多 >
交个朋友
加入腾讯云官网粉丝站
蹲全网底价单品 享第一手活动信息
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验