首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

缓存设计问题

概述 缓存设计需要关注的点 关注指标: KV大小 读写峰值 命中率 缓存空间大小 置换策略 穿透加载时间 分类 本地缓存 远程缓存 应用模式 Cache Aside Read/Write Through...Write Back Caching 技巧/Tips 不要把缓存当数据库使用 评估业务所需缓存空间大小 缓存会给系统带来数据不一致的风险 尽量设置过期时间 缓存对象太大需要考虑做压缩,减少存储空间以及传输中带宽的占用...引入多级缓存时,需要考虑数据一致性 提前考虑扩容问题 常见的缓存问题 缓存雪崩 很多使用场景,查询的缓存数据都是由定时任务取刷新,然后缓存查不到从 DB 查了在更新缓存。...这种同一时间大量缓存的失效,导致请求直接打到 DB 上的情况, 就是缓存雪崩。...缓存穿透 缓存穿透指的是缓存缓存和数据库中都没有的数据,而用户不断发起请求,让请求直接落再DB上,增加数据库压力,可能导致数据库被击垮。这种请求很可能是攻击者恶意发起的。

34910

系统设计缓存

缓存可以存在于体系结构中的所有级别,但通常位于最靠近前端的级别,在那里实现缓存可以快速返回数据,而不会对下游级别造成负担。 应用服务器缓存缓存直接放置在请求层节点上可以实现响应数据的本地存储。...image.png 缓存失效 虽然缓存非常棒,但它确实需要一些维护,以保持缓存与真实来源(例如数据库)保持一致。如果数据库中修改了数据,则在缓存中应失效;如果没有,这可能导致应用程序行为不一致。...image.png cache-aside(旁路缓存) 发生在应用层,应用层保证缓存结果同DB的数据一致性,应用层来负责写入到数据库和整理缓存缓存层则不必插手此事。...因此也会带来缓存穿透、缓存雪崩、缓存击穿、缓存数据不一致等问题 refresh-ahead 简单的说就是在缓存数据过期前,能自动的刷新缓存数据。举个例子来说,某条数据在缓存中,过期时间是60秒。...当在48-60秒这个区间取数据时,缓存先将之前缓存的结果返回给外部应用程序,然后异步的再从数据库去更新缓存中的值,以尽可能的保证缓存的值是最新的。

2.8K483
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    性能设计 - 缓存

    Write Back 套路就是,在更新数据的时候,只更新缓存,不更新数据库,而我们的缓存会异步地批量更新数据库。这个设计的好处就是让数据的 I/O 操作飞快无比(因为直接操作内存嘛)。...在软件设计上,我们基本上不可能做出一个没有缺陷的设计,就像算法设计中的时间换空间、空间换时间一个道理。有时候,强一致性和高性能,高可用和高性能是有冲突的。...image.png 缓存设计的重点 缓存更新的模式基本如前面所说,不过这还没完,缓存已经成为高并发高性能架构的一个关键组件了。现在,很多公司都在用 Redis 来搭建他们的缓存系统。...另外,缓存是通过牺牲强一致性来提高性能的,这世上任何事情都不是免费的,所以并不是所有的业务都适合用缓存,这需要在设计的时候仔细调研好需求。使用缓存提高性能,就是会有数据更新的延迟。...缓存数据的时间周期也需要好好设计,太长太短都不好,过期期限不宜太短,因为可能导致应用程序不断从数据存储检索数据并将其添加到缓存

    48420

    缓存设计方式

    ,我们每一次去访问,就会先去访问缓存 , 这样就能极大的提高访问效率和系统性能 可以看出,有一个优秀的保安相当重要 缓存的基本设计方式是什么样的 设计缓存自然也是为了解决系统是的低效问题,让系统可以高性能...,高并发 例如我们直接访问单机的数据库如mysql 也就是上千级别的 qps,如果是访问 缓存的时候,就能达到上万,上十几万,这差距不是一点半点,是一个质的飞越 缓存设计实际上就是 DB 和 缓存操作顺序以及谁来操作的事情...,若缓存失效了,则是由缓存服务器自己将数据加载到缓存中 Write Through 是在更新数据库的时候,如果命中了缓存,则先更新缓存,再由缓存服务器自己去更新数据, 如果是没有命中缓存,那么就直接更新数据库...那么引入缓存除了可以带来高性能,高并发,自然也是有会带来一些问题的,例如: 缓存击穿 缓存穿透 缓存雪崩 如上 3 中情况,都是由于缓存这一层防线失守了,导致外部请求以各种各样的形式,各种各样的原因打到了数据库上...,导致出现的问题,详细的 缓存击穿,缓存穿透,缓存雪崩的出现情况,解决方式可以查看历史文章 redis 缓存穿透,缓存击穿,缓存雪崩

    18030

    SDRAM图像缓存设计

    本文讲述下利用sdram缓存从摄像头处得到的数据,并将图像显示到显示屏上的工程架构。本文不涉及具体的代码讲解,只描述其中的实现思路。...该工程的总体设计概要图如下,从摄像图获取的的数据先临时缓存到写fifo中,然后再写入到sdram中,需要显示图像时,图像数据先从sdram临时储存到读fifo中,然后显示屏驱动模块读取fifo中的数据,...3byte=1,382,400byte=1.3mbyte 480*272*3byte=391,680byte=0.3mbyte 通常板载的sdram的大小有16MB,32MB,64MB,128MB,等等,由设计成本决定...2,为什么要用fifo做数据的临时缓存? 为什么不能将数据直接存入sdram,还要经过fifo临时缓存呢?一是由于跨时钟域。摄像头产生的数据的速率和sdram的写入时钟速率不匹配。...故需要有一个双时钟端口的用于读数据的fifo做数据的临时缓存。 3,何时将fifo中的数据写入sdram?

    79420

    缓存层如何设计

    3)缓存层如何设计 马克-to-win:我们前面讲过 了n-tier架构。在我们的程序当中,还可以设计一个缓存层。...在去访问数据库之前,先看看缓存层中有没有数据,如果没有的话,从数据库取完数据回来,一 定要放在缓存层当中一份,下次就不用去数据库了。...马克-to-win:如果对数据库当中,某个数据更新了,同时一定要记住也更新一下缓存当中的数据。这样的话,既保证了缓存的 数据是最新的,也保证了将来查询时不用去查数据库,减轻了对数据库的压力。...可以做一个守护线程,发现某个表的版本变了,就重新把表的数据加载回你 的缓存。问题2,对于条件查询,如何处理缓存?比如30元到50元的衣服数据的第二页。...问题3,项目a处需要看表的 123列,b处需要看表的456列,缓存时就直接把123456列作为一个表缓存起来,供两处使用。马克-to-win:顺便说一句,缓存也可以缓存图片。

    82400

    Ehcache缓存设计原理

    纯Java开源缓存框架,配置简单、结构清晰、功能强大,是一个非常轻量级的缓存实现,Hibernate里面就集成了相关缓存功能。...通过缓存管理器的模式,可在单个应用中轻松隔离多个缓存实例,独立服务于不同业务场景需求,缓存数据物理隔离,同时需要时又可共享。 element 单条缓存数据的组成单位。...当对象自从被存放到缓存中后,如果处于缓存中的时间超过了 timeToLiveSeconds属性值,这个对象就会过期,Ehcache将把它从缓存中清除。...在一级内存中的缓存,如果没有主动刷入磁盘,应用异常时依然会出现缓存数据丢失。 为此可根据需要将缓存刷到磁盘,将缓存条目刷到磁盘的操作可通过cache.flush()方法执行。...:内存和磁盘,与一般的本地内存缓存相比,有了磁盘的存储空间,将可以支持更大量的数据缓存需求 具有缓存缓存管理器的监听接口,能更简单方便的进行缓存实例的监控管理 支持多缓存管理器实例,以及一个实例的多个缓存区域

    1K00

    Ehcache缓存设计原理

    纯Java开源缓存框架,配置简单、结构清晰、功能强大,是一个非常轻量级的缓存实现,Hibernate里面就集成了相关缓存功能。 Ehcache架构图 ?...通过缓存管理器的模式,可在单个应用中轻松隔离多个缓存实例,独立服务于不同业务场景需求,缓存数据物理隔离,同时需要时又可共享。 element 单条缓存数据的组成单位。...数据流转 Flush 缓存条目向低层次移动。 Fault:从低层拷贝一个对象到高层。在获取缓存的过程中,某一层发现自己的该缓存条目已经失效,就触发了Fault行为。...在一级内存中的缓存,如果没有主动刷入磁盘,应用异常时依然会出现缓存数据丢失。 为此可根据需要将缓存刷到磁盘,将缓存条目刷到磁盘的操作可通过cache.flush()方法执行。...:内存和磁盘,与一般的本地内存缓存相比,有了磁盘的存储空间,将可以支持更大量的数据缓存需求 具有缓存缓存管理器的监听接口,能更简单方便的进行缓存实例的监控管理 支持多缓存管理器实例,以及一个实例的多个缓存区域

    70130

    Redis 缓存设计原则

    基本原则 只应将热数据放到缓存中 所有缓存信息都应设置过期时间 缓存过期时间应当分散以避免集中过期 缓存key应具备可读性 应避免不同业务出现同名缓存key 可对key进行适当的缩写以节省内存空间...对于string类型,一个key对应的value大小应控制在10K以内,1K左右更优 hash类型,不应超过5000行 避免缓存穿透 数据库中未查询到的数据,可在Redis中设置特殊标识,以避免因缓存中无数据而导致每次请求均达到数据库...缓存层不应抛出异常 缓存应有降级处理方案,缓存出了问题要能回源到数据库进行处理 可以进行适当的缓存预热 对于上线后可能会有大量读请求的应用,在上线之前可预先将数据写入缓存中 读的顺序是先缓存...,后数据库;写的顺序是先数据库,后缓存 数据一致性问题 数据源发生变更时可能导致缓存中数据与数据源中数据不一致,应根据实际业务需求来选择适当的缓存更新策略: 主动更新:在数据源发生变更时同步更新缓存数据或将缓存数据过期...被动删除:根据缓存设置的过期时间有Redis负责数据的过期删除。一致性较低,维护成本较低。

    1.4K40

    Redis缓存设计原理

    3.2.2 Redis缓存(最佳) Redis是一个远程内存数据库(非关系型数据库),性能强劲,具有复制特性以及解决问题而生的独一无二的数据模型 Redis数据模型图 ?...hash槽,也就是说当前Redis Cluster支持的最大节点数就是4096 Redis Cluster使用的分布式算法也很简单:crc16( key ) % HASH_SLOTS_NUMBER 整体设计可总结为...以下多种Web应用场景,可以充分的利用Redis的特性,大大提高效率 在主页中显示最新的项目列表 Redis使用的是常驻内存的缓存,速度非常快 LPUSH用来插入一个内容ID,作为关键字存储在列表头部...LTRIM用来限制列表中的项目数最多为5000 如果用户需要的检索的数据量超越这个缓存容量,这时才需要把请求发送到数据库 删除和过滤 如果一篇文章被删除,可以使用LREM从缓存中彻底清除掉

    31820

    面向切面缓存设计

    二、常见的缓存设计分析 这是一个带有缓存的查询接口的时序图,相信这样的缓存设计大多数读者都实现过: ?...这里要 缓存切面的设计目的应该是: 1、将缓存设计和业务逻辑分离——将缓存设计放在切面中,将业务类加入切入点 2、切面内的缓存设计适用绝大多数的场景——从业务类中抽出高通用性的缓存设计设计统一的缓存切面...在满足了基本的缓存需求后,我们可以通过注解上的属性设计开关,对一些业务的缓存设计进行增强。...上述的缓存设计主要面向的是被动缓存,由于缓存设计的统一和注解配置的灵活性,缓存切面可以往主动缓存、多级缓存等进行扩展,能得到很好的支持。 篇幅有限不一一展开,架构如下图: ?...1、高复用主要体现在缓存切面里的缓存设计高度通用,使用缓存切面可以大大减少项目系统代码里重复的缓存设计,在开发和维护上节约人力成本。

    96320

    缓存设计思想

    使用缓存 缓存在系统设计中不可缺少,实现了以空间换时间,提高了系统的性能和减少了系统的处理时间。 例如这样的一个简单问题:我们要计算1到n(n>1)自然数的和?...怎么使用缓存来优化这个程序,提高程序的处理性能?借用缓存,把每次计算的结果都记录下来,再次计算该数时,从缓存中获取结果。...让缓存中的数据自动失效 设计淘汰算法 缓存自动过期处理 首先通过让cache中的数据失效, 基于以上的示例,做简单的优化,我的处理思路是设置一个定时器,到期后,map中的key全部失效。...delete(dic, key) } } } 使用goroutine运行一个定时任务,5秒清理一次map,这个cache数据过期处理的粒度有些过大,在做cache设计时...,其中会设计到一些数据结构的使用,在这里先不做展开,后边再开一个专题来介绍。

    55420

    YYCache 源码解析(二):磁盘缓存设计缓存组件设计思路

    上一篇讲解了YYCache的使用方法,架构与内存缓存设计。这一篇讲解磁盘缓存设计缓存组件的设计思路。 YYDiskCache YYDiskCache负责处理容量大,相对低速的磁盘缓存。...在接口的设计上,YYDiskCache与YYMemoryCache是高度一致的,只不过因为有些时候大文件的访问可能会比较耗时,所以框架作者在保留了与YYMemoryCache一样的接口的基础上,还在原来的基础上添加了...缓存组件的设计思路 保证线程安全的方案 我相信对于某个设计来说,它的产生一定是基于某种个特定问题下的某个场景的 由上文可以看出: YYMemoryCache 使用了 pthread_mutex 线程锁(...答案在框架作者的文章YYCache 设计思路里可以找到: 为什么内存缓存使用互斥锁(pthread_mutex)?...最后的话 通过看该组件的源码,我收获的不仅有缓存设计的思路,还有: 双向链表的概念以及相关操作 数据库的使用 互斥锁,信号量的使用 实现线程安全的方案 变量,方法的命名以及接口的设计 相信读过这篇文章的你也会有一些收获

    2K20

    缓存层场景实战读缓存,如何更新缓存+缓存的高可用设计+监控

    ◆ 如何更新缓存 更新缓存的步骤特别简单,共两步:更新数据库和更新缓存。但这简单的两步中需要考虑很多问题。 1)先更新数据库还是先更新缓存?更新缓存时先删除还是直接更新?...◆ 组合5:先删除缓存,更新数据库,再删除缓存 还有一个方案,就是先删除缓存,再更新数据库,再删除缓存。...前面花了较长的篇幅来讨论更新缓存的逻辑,接下来详细讨论缓存的高可用设计。...◆ 缓存的高可用设计 关于缓存高可用设计的问题,其实可以单独用一章来讲,但是考虑到Redis的用法介绍偏理论,本书主要讲场景,这里就不讲详细的用法了,只讲要点。 设计高可用方案时,需要考虑5个要点。...◆ 缓存的监控 缓存上线以后,还需要定时查看其使用情况,再判断业务逻辑是否需要优化,也就是所谓的缓存监控。 在查看缓存使用情况时,一般会监控缓存命中率、内存利用率、慢日志、延迟、客户端连接数等数据。

    79510

    缓存层场景实战读缓存,如何更新缓存+缓存的高可用设计+监控

    如何更新缓存 更新缓存的步骤特别简单,共两步:更新数据库和更新缓存。但这简单的两步中需要考虑很多问题。 1)先更新数据库还是先更新缓存?更新缓存时先删除还是直接更新?...组合5:先删除缓存,更新数据库,再删除缓存 还有一个方案,就是先删除缓存,再更新数据库,再删除缓存。...前面花了较长的篇幅来讨论更新缓存的逻辑,接下来详细讨论缓存的高可用设计。...缓存的高可用设计 关于缓存高可用设计的问题,其实可以单独用一章来讲,但是考虑到Redis的用法介绍偏理论,本书主要讲场景,这里就不讲详细的用法了,只讲要点。 设计高可用方案时,需要考虑5个要点。...本文给大家讲解的内容是缓存层场景实战,读缓存,如何更新缓存+缓存的高可用设计+缓存的监控 下篇文章给大家讲解的内容是缓存层场景实战,写缓存,业务场景:如何以最小代价解决短期高频写请求 觉得文章不错的朋友可以转发此文关注小编

    82130

    如何设计缓存系统:缓存穿透,缓存击穿,缓存雪崩解决方案分析

    前言 设计一个缓存系统,不得不要考虑的问题就是:缓存穿透、缓存击穿与失效时的雪崩效应。...缓存穿透 缓存穿透是指查询一个一定不存在的数据,由于缓存是不命中时被动写的,并且出于容错考虑,如果从存储层查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到存储层去查询,失去了缓存的意义。...缓存雪崩 缓存雪崩是指在我们设置缓存时采用了相同的过期时间,导致缓存在某一时刻同时失效,请求全部转发到DB,DB瞬时压力过重雪崩。 解决方案 缓存失效时的雪崩效应对底层系统的冲击非常可怕。...大多数系统设计者考虑用加锁或者队列的方式保证缓存的单线 程(进程)写,从而避免失效时大量的并发请求落到底层存储系统上。...这个时候,需要考虑一个问题:缓存被“击穿”的问题,这个和缓存雪崩的区别在于这里针对某一key缓存,前者则是很多key。

    91040

    redis缓存设计-Redis(七)

    (顺便一提redission分布式锁源码里通过lua脚本访问redis,保证事务和原子性) 三、数据库缓存双写不一致设计 线程1:set数据库10,删除缓存 线程2:set数据库6,删除缓存 线程3:...但这种情况不推荐,这种小概率事件而让所有请求都停顿) 针对读多写少的情况,加入缓存提高性能,针对写多读少并且不能容忍不一致性的情况,就没必要使用缓存,可以直接操作数据库,没必要为了提高性能,而增加很多复杂的设计...四、键值设计 1、key设计 1)以业务名(或者数据库名)为前缀,防止key冲突,冒号分割。 (微服务的情况下,加上服务名称) 2)统一在一个文件下管理,防止重复定义。...2、Value设计 Bigkey针对value的,绝对不能放大key,前面强调过很多次。在redis一个字符串最大512mb,哈希,set,zest,list可以存储大约40亿元素。...4、bigkey产生 正常都是程序设计不当, 1)社交类,大v粉丝太多,比是bigkey。 2)统计类,按天存储某项功能用户集合,用户多也是bigkey。

    18820
    领券