前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >redis 的持久化有哪几种方式?

redis 的持久化有哪几种方式?

作者头像
IT技术小咖
发布于 2019-11-24 10:19:12
发布于 2019-11-24 10:19:12
1.3K0
举报
文章被收录于专栏:码上修行码上修行

持久化主要是做灾难恢复、数据恢复,也可以归类到高可用的一个环节中去,比如你 redis 整个挂了,然后 redis 就不可用了,你要做的事情就是让 redis 变得可用,尽快变得可用。

重启 redis,尽快让它堆外提供服务,如果没做数据备份,这时候 redis 启动了,也不可用啊,数据都没了。

很可能说,大量的请求过来,缓存全部无法命中,在 redis 里根本找不到数据,这个时候就死定了,出现缓存雪崩问题。所有请求没有在 redis 命中,就会去 mysql 数据库这种数据源头中去找,一下子 mysql 承接高并发,然后就挂了...

如果你把 redis 持久化做好,备份和恢复方案做到企业级的程度,那么即使你的 redis 故障了,也可以通过备份数据,快速恢复,一旦恢复立即对外提供服务。

redis 持久化的两种方式

  • RDB:RDB 持久化机制,是对 redis 中的数据执行周期性的持久化。
  • AOF:AOF 机制对每条写入命令作为日志,以 append-only 的模式写入一个日志文件中,在 redis 重启的时候,可以通过回放 AOF 日志中的写入指令来重新构建整个数据集。

通过 RDB 或 AOF,都可以将 redis 内存中的数据给持久化到磁盘上面来,然后可以将这些数据备份到别的地方去,比如说阿里云等云服务。

如果 redis 挂了,服务器上的内存和磁盘上的数据都丢了,可以从云服务上拷贝回来之前的数据,放到指定的目录中,然后重新启动 redis,redis 就会自动根据持久化数据文件中的数据,去恢复内存中的数据,继续对外提供服务。

如果同时使用 RDB 和 AOF 两种持久化机制,那么在 redis 重启的时候,会使用 AOF 来重新构建数据,因为 AOF 中的数据更加完整。

RDB 优缺点
  • RDB会生成多个数据文件,每个数据文件都代表了某一个时刻中 redis 的数据,这种多个数据文件的方式,非常适合做冷备,可以将这种完整的数据文件发送到一些远程的安全存储上去,比如说 Amazon 的 S3 云服务上去,在国内可以是阿里云的 ODPS 分布式存储上,以预定好的备份策略来定期备份redis中的数据。
  • RDB 对 redis 对外提供的读写服务,影响非常小,可以让 redis 保持高性能,因为 redis 主进程只需要 fork 一个子进程,让子进程执行磁盘 IO 操作来进行 RDB 持久化即可。
  • 相对于 AOF 持久化机制来说,直接基于 RDB 数据文件来重启和恢复 redis 进程,更加快速。
  • 如果想要在 redis 故障时,尽可能少的丢失数据,那么 RDB 没有 AOF 好。一般来说,RDB 数据快照文件,都是每隔 5 分钟,或者更长时间生成一次,这个时候就得接受一旦 redis 进程宕机,那么会丢失最近 5 分钟的数据。
  • RDB 每次在 fork 子进程来执行 RDB 快照数据文件生成的时候,如果数据文件特别大,可能会导致对客户端提供的服务暂停数毫秒,或者甚至数秒。
AOF 优缺点
  • AOF 可以更好的保护数据不丢失,一般 AOF 会每隔 1 秒,通过一个后台线程执行一次fsync操作,最多丢失 1 秒钟的数据。
  • AOF 日志文件以 append-only 模式写入,所以没有任何磁盘寻址的开销,写入性能非常高,而且文件不容易破损,即使文件尾部破损,也很容易修复。
  • AOF 日志文件即使过大的时候,出现后台重写操作,也不会影响客户端的读写。因为在 rewrite log 的时候,会对其中的指导进行压缩,创建出一份需要恢复数据的最小日志出来。再创建新日志文件的时候,老的日志文件还是照常写入。当新的 merge 后的日志文件 ready 的时候,再交换新老日志文件即可。
  • AOF 日志文件的命令通过非常可读的方式进行记录,这个特性非常适合做灾难性的误删除的紧急恢复。比如某人不小心用 flushall 命令清空了所有数据,只要这个时候后台 rewrite 还没有发生,那么就可以立即拷贝 AOF 文件,将最后一条 flushall 命令给删了,然后再将该 AOF 文件放回去,就可以通过恢复机制,自动恢复所有数据。
  • 对于同一份数据来说,AOF 日志文件通常比 RDB 数据快照文件更大。
  • AOF 开启后,支持的写 QPS 会比 RDB 支持的写 QPS 低,因为 AOF 一般会配置成每秒 fsync 一次日志文件,当然,每秒一次 fsync,性能也还是很高的。(如果实时写入,那么 QPS 会大降,redis 性能会大大降低)
  • 以前 AOF 发生过 bug,就是通过 AOF 记录的日志,进行数据恢复的时候,没有恢复一模一样的数据出来。所以说,类似 AOF 这种较为复杂的基于命令日志/merge/回放的方式,比基于 RDB 每次持久化一份完整的数据快照文件的方式,更加脆弱一些,容易有 bug。不过 AOF 就是为了避免 rewrite 过程导致的 bug,因此每次 rewrite 并不是基于旧的指令日志进行 merge 的,而是基于当时内存中的数据进行指令的重新构建,这样健壮性会好很多。

RDB和AOF到底该如何选择

  • 不要仅仅使用 RDB,因为那样会导致你丢失很多数据
  • 也不要仅仅使用 AOF,因为那样有两个问题,第一,你通过 AOF 做冷备,没有 RDB 做冷备,来的恢复速度更快; 第二,RDB 每次简单粗暴生成数据快照,更加健壮,可以避免 AOF 这种复杂的备份和恢复机制的 bug。
  • redis 支持同时开启开启两种持久化方式,我们可以综合使用 AOF 和 RDB 两种持久化机制,用 AOF 来保证数据不丢失,作为数据恢复的第一选择; 用 RDB 来做不同程度的冷备,在 AOF 文件都丢失或损坏不可用的时候,还可以使用 RDB 来进行快速的数据恢复。

分布式事务系列:

Spring 分布式事务实现概览

REST微服务的分布式事务实现-使用Spring Cloud的fallback模式

Spring的分布式事务实现-使用和不使用XA

REST微服务的分布式事务实现-基于消息中间件

REST微服务的分布式事务实现-分布式系统、事务以及JTA介绍

某宝布式事务架构设计

大白话聊聊分布式事务

分布式事务解决方案

消息队列系列:

为什么使用消息队列?

如何保证消息队列的高可用?

如何保证消息不被重复消费?或者说,如何保证消息消费的幂等性?

如何保证消息的可靠性传输?或者说,如何处理消息丢失的问题?

如何保证消息的顺序性?

如何解决消息队列的延时以及过期失效问题?消息队列满了以后该怎么处理?

分库分表系列:

为什么要分库分表?

如何设计才可以让系统从未分库分表动态切换到分库分表上?

如何设计可以动态扩容缩容的分库分表方案?

分库分表之后,id 主键如何处理?

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-02-09,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 码上修行 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
面试题:Redis 的持久化有哪几种方式?
redis 的持久化有哪几种方式?不同的持久化机制都有什么优缺点?持久化机制具体底层是如何实现的?
用户1263954
2019/06/05
5.6K0
rdb和aof二种持久化方式对比(Redis)
比如你redis整个挂了,然后redis就不可用了,你要做的事情是让redis变得可用,尽快变得可用
HUC思梦
2020/09/03
4750
《【面试突击】— Redis篇》-- Redis哨兵原理及持久化机制
《【面试突击】— Redis篇》--Redis的线程模型了解吗?为啥单线程效率还这么高?
编程大道
2020/02/19
8330
redis RDB持久化方式的工作原理是怎样的_杜兰特挽留纳什
我们已经知道对于一个企业级的redis架构来说,持久化是不可减少的,持久化主要是做灾难恢复,数据恢复,也可以归类到高可用的一个环节里面,比如你redis整个挂了,然后redis就不可用了,你要做的事情是让redis变得可用,尽快变得可用,重启redis,尽快让它对外提供服务。
全栈程序员站长
2022/11/15
2550
redis RDB持久化方式的工作原理是怎样的_杜兰特挽留纳什
关于Redis的几件小事 | 持久化/缓存雪崩与穿透
redis持久化的意义,在于 故障恢复 。 如果没有对数据进行持久化,那么如果redis遇到灾难性的故障,就会丢失所有的数据。 如果通过redis的持久化机制将数据持久化到硬盘上面去,然后在定期将磁盘上的文件备份到一起其他的服务器上面(比如:云服务器),这样就可以保证即使redis遇到了灾难事故,也可以使用提前备份的文件对数据进行回复,之后丢失最近的一部分数据,而不会全部丢失数据。
大数据真好玩
2019/08/08
1.2K0
Redis学习一:Redis两种持久化机制
为了避免内存中的数据丢失,Redis提供了对持久化的支持。Redis共有RDB和AOF两种持久化机制。
一枝花算不算浪漫
2020/04/21
7340
Redis学习一:Redis两种持久化机制
对线面试官-Redis 九 | 持久化的方式及优缺点
当然AOF也会产生一写小的问题就是,进行数据恢复的时候,有可能不会恢复出一摸一样的数据。因为基于AOF这种较为复杂的基于命令日志/merage/回放的方式,比基于RDB每次持久化一份完整的数据快照文件的方式更加脆弱,容易有bug。不过AOF就是为了避免rewrite过程导致bug,因此每次rewirte的时候并不是基于旧的指令日志进行merge的,而是基于当时内存中的数据进行指令的重新构建,这样健壮性就会好一些。
@派大星
2023/08/10
1680
对线面试官-Redis 九 | 持久化的方式及优缺点
电商详情页缓存架构(三)redis持久化
通过持久化将数据存在磁盘上,然后可以定期同步和备份这些文件到云存储服务上去,那么就可以保证数据不丢失
chenchenchen
2022/03/09
4800
电商详情页缓存架构(三)redis持久化
突破Java面试(24)-Redis的持久化机制
Redis 对外提供数据访问服务时,使用的是常驻内存的数据。如果仅将数据存在内存,一旦宕机重启,数据全部丢失。
JavaEdge
2019/07/07
9180
突破Java面试(24)-Redis的持久化机制
Redis持久化机制详解
Redis持久化机制详解 一. 持久化的意义 Redis持久化的意义:主要在于故障恢复。Redis如果仅将数据完全保存在内存中,是无法应对灾难性故障的。如果Redis进程突然挂掉,保存在内存中的数据就全没了,如果没有持久化,后果不堪设想。使用持久化+定期备份(如备份到云存储上)的机制,可以在很大程度上解决Redis故障恢复的问题。这样即使Redis服务宕机,且磁盘损坏,也可以从云存储上拉取备份的数据进行恢复,不会造成数据的全部丢失。 从一定意义上来说,Redis的持久化也可以视为高可用的一部分。因为如果没有
张申傲
2020/09/03
4370
Redis持久化
Redis的持久化指的是将内存中redis数据库运行的数据,写到硬盘文件上。
用户7353950
2022/05/11
7720
详解 redis-4.x 持久化机制
redis的数据全部在内存中,如果突然宕机,数据就会全部丢失,因此必须有一种机制来保证redis的数据在遇到突发状况的时候不会丢失,或者只丢失少量,于是必须根据一些策略来把redis内存中的数据写到磁盘中,这样当redis服务重启中,就可以根据磁盘中的数据来恢复数据到内存中。
CoderJed
2019/03/05
5810
Redis的持久化机制
Redis最常用的场景就是做缓存,把DB数据存储在内存,然后直接从内存读数据,这样系统响应就会很快。 风险是一旦服务器宕机,内存中数据将全部丢失。
JavaEdge
2022/11/30
4780
Redis的持久化机制
Redis之持久化
Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等)数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程
yuanshuai
2022/08/22
2180
Redis之持久化
并发编程之Redis:Redis数据持久化及故障恢复方案
上面有说到,持久化的核心作用是为了故障恢复,既然redis可能故障,机器同样也会故障;就算是数据落到磁盘了,同样也可能因为磁盘故障,导致数据丢失;如上图!为了做好一个企业级的持久化方案,我们需要将持久化文件定期同步到云端或者远端的服务器,做好分布式存储,来防止因为机器故障带来的灾难性数据丢失。
一行Java
2022/04/06
6300
并发编程之Redis:Redis数据持久化及故障恢复方案
Redis持久化
Redis是一个基于内存的数据库,它的数据是存放在内存中,内存有个问题就是关闭服务或者断电会丢失。Redis的数据也支持写到硬盘中,这个过程就叫做持久化。
1neptune
2022/11/29
4130
Redis的持久化机制
Redis是一个基于内存的数据库,所有的数据都存放在内存中,如果突然宕机,数据就会全部丢失,因此必须有一种机制来保证 Redis 的数据不会因为故障而丢失,这种机制就是 Redis 的持久化机制。
全栈程序员站长
2022/06/29
5470
Redis持久化
当你满足制定的规则时,就会生成 dump.rdb 文件,该文件名可以在配置文件中进行修改。
张小驰出没
2021/12/06
5530
Redis持久化
Redis--Redis持久化方式
👨‍🎓作者:Java学术趴 🏦仓库:Github、Gitee ✏️博客:CSDN、掘金、InfoQ、云+社区 💌公众号:Java学术趴 🚫特别声明:原创不易,未经授权不得转载或抄袭,如需转载可联系小编授权。 🙏版权声明:文章里的部分文字或者图片来自于互联网以及百度百科,如有侵权请尽快联系小编。微信搜索公众号Java学术趴联系小编。 ☠️每日毒鸡汤:一件事你犹豫去不去做,那就是该立即动身做的。 1. Redis持久化Redis中的数据一般存储在内存中,也可以使用持久化的方式将数据写到硬盘中。Redis提供了
Java学术趴
2022/10/06
4130
Redis--Redis持久化方式
第一章· Redis入门部署及持久化介绍
Redis是一款开源的,ANSI C语言编写的,高级键值(key-value)缓存和支持永久存储NoSQL数据库产品。 Redis采用内存(In-Memory)数据集(DataSet) 。 支持多种数据类型。 运行于大多数POSIX系统,如Linux、*BSD、OS X等。 作者: Salvatore Sanfilippo
DriverZeng
2022/09/26
2590
第一章· Redis入门部署及持久化介绍
相关推荐
面试题:Redis 的持久化有哪几种方式?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档