作者简介:曾任职于阿里巴巴,每日优鲜等互联网公司,任技术总监,15年电商互联网经历。
同事排查不到原因,迫不得已联系到正在休假的我。幸亏我带着电脑呢!(打工人的觉悟真高,休假都带着电脑)于是我打开电脑,连上V**,连接远程桌面,登录日志系统,查看一番,又翻了翻代码,发现是因为从Redis中查询的数据为字符串null(这种情况是Redis中不存在且数据库也不存在时,避免缓存穿透而临时缓存的字符串null),导致抛出业务异常,打印错误日志,从而触发邮件告警。接口调用量一上来,报错就多了,于是就收到了千余封告警邮件。
缓存穿透是指缓存和数据库中都没有的数据,而用户不断发起请求,这时的用户很可能是攻击者,攻击会导致数据库压力过大。
Linux系统使用一个专门的文件来将用户的登录名匹配到对应的UID值。这个文件就是 /etc/passwd文件,它包含了一些与用户有关的信息。如下:
1、设置过期时间功能:即对存储在 redis 数据库中的值可以设置一个过期时间。作为一个缓存数据库,这是非常实用的。如我们一般项目中的 token 或者一些登录信息,尤其是短信验证码都是有时间限制的,按照传统的数据库处理方式,一般都是自己判断过期,这样无疑会严重影响项目性能。我们 set key 的时候,都可以给一个 expire time,就是过期时间,通过过期时间我们可以指定这个 key 可以存活的时间。
NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。
这个问题来自于粉丝面试的时候遇到的,下面我来讲解一下。 什么是缓存击穿 对于这个问题,简单的说就是把缓存透了但数据库没透。还不明白?那么这一小节我来带大家通过一个形象的例子来讲解一下。 我们知道缓存层都会设置数据过期时间,如果不设置过期时间的话,随着查询的越来越多缓存就会越来越大,内存撑不住了服务器就炸了。但是我们设置了过期时间真的就万无一失了吗?假设数据已经到期了,那么缓存就查不到了,这时只能去数据库查。如果同一时间巨多的人发送的查询请求都是要求查这个数据。因为缓存过期了,所以这个巨多的查询都直接转向数
使用Redis做K-V存储,一定要注意过期时间的把控,任何K-V的存储都要设置过期时间,不管多长时间。一般在封装Redis操作工具类时提供默认使用系统公共超时时间的操作API,避免新手在使用时不设置过期时间,导致内存的浪费。另外,通过连接池 Jedis jedis = JedisPool.getResource(); 这样获取Redis连接最好使用try/finally块,并且在finally块中调用 jedis.close(); 将连接归还给连接池,否则将会一直持有连接,很有可能导致在将来的某一时刻报拿不到连接的错。这也是之前某一个同事犯过的错导致生产bug!
缓存异常有四种类型,分别是 缓存穿透、缓存雪崩、缓存击穿、缓存和数据库的数据不一致。
缓存穿透是指缓存和数据库中都没有的数据,而用户不断发起请求,如发起为id为“-1”的数据或id为特别大不存在的数据。这时的用户很可能是攻击者,攻击会导致数据库压力过大。
前台请求,后台先从缓存中取数据,取到直接返回结果,取不到时从数据库中取,数据库取到更新缓存,并返回结果,数据库也没取到,那直接返回空结果。
Redis是key-value数据库,可以设置Redis中缓存的key的过期时间。Redis的过期策略就是指当Redis中缓存的key过期了,Redis如何处理。
缓存雪崩是指缓存同一时间大面积的失效,所以,后面的请求都会落到数据库上,数据库CPU和内存造成巨大压力,造成数据库短时间内承受大量请求而崩掉。
随着https的普及,越来越多的客户重视Web访问的安全性,都纷纷接入https,但https是Web服务中的一个难点,用户经常会遇到各种各样奇怪的问题,比如为什么curl可以访问但浏览器不行,为什么有的用户可以访问但是有的不行?
正常情况下,使用缓存的话,大部分数据都会命中缓存(缓存不存在或者过期的话,也只有一次会查询数据库),可以极大的减轻数据库的压力。
纯手工打造每一篇开源资讯与技术干货,数十万程序员和Linuxer已经关注。 Linux技术交流QQ群:2659793(十二月最新!!) Redis数据库(Redis 如何表示一个数据库,数据库操作是如何实现的) 当Redis服务器初始化的时候会创建 redis.h/REDIS_DEFAULT_DBNUM(后面简写 N ) 个数据库,且数据库的id是从 0 到 N-1 , 所有的数据库保存到 redis.h/redisServer.db 数组中 。 在客户端可以通过 “SELECT” 命令进行切换,其中程序
缓存雪崩是指缓存同一时间大面积的失效,所以,后面的请求都会落到数据库上,造成数据库短时间内承受大量请求而崩掉。
导语 | Redis作为一个高性能的内存中的key-value数据结构存储系统,在我们日常开发中广泛应用于缓存、计数器、消息队列、排行榜等场景中,尤其是作为最常用的缓存方式,在提高数据查询效率、保护数据库等方面起到了不可磨灭的作用,但实际应用中,可能会出现一些Redis缓存异常的情况,本文主要对Redis缓存异常及处理方案进行了总结。 一、背景 Redis是一个完全开源的、遵守BSD协议的、高性能的key-value数据结构存储系统,它支持数据的持久化,可以将内存中的数据保存在磁盘中,而且不仅仅支持简单的k
redis不是垃圾桶也不是 SUPER MAN,能力和资源都有限,不合理的使用会降低它的健康度,严重时甚至会引起redis抖动、阻塞等进而导致服务不可用,每一个使用redis的开发人员都应当掌握规范的开发和使用方法。本文整理出redis开发过程中七个较常出现的使用不合理的场景,并辅以案例进行分析说明。
今天突然测试环境的Kubernetes 持续集成/持续发布出了问题了,然后上测试环境服务器排查,发现kubectl指令执行出现问题,
Redis 作为分布式缓存组件提供多个服务间的缓存,但是 Redis 需要网络开销,增加耗时。本地缓存是直接从本地内存中读取数据,没有网络开销,性能更高,例如秒杀系统或者数据量小的缓存等,比远程缓存更合适。
2 对象深浅复制(浅复制:对象内引用的对象不会复制,深复制会把引用对象复制。如何进行深浅复制,这块不懂的童鞋可以百度一下)
隐藏密码: 因为/etc/passwd和/etc/group文件的权限必须是0644,这意味着所有的用户都能读取到内容,所以为了安全起见,我们通过shaodw把用户和组的密码分别隐藏在/etc/shadow,/etc/gshadow文件中,且这两个文件只有管理员,也就是root能调用
在平时的开发中,我们会经常用到字典,比如我们数据库里面存的是设备编码,展示需要的是设备名称;数据库中存的是用户id,展示的是用户名称。这样的字段我们会频繁的调用,那么就会频繁的查询数据库,为了保证访问速度,我们会使用缓存。但是如果使用Redis之类的中间件缓存,又有点大材小用。当然我们也可以自己将需要的数据存入Map中,但是要考虑Map的预计容量,数据缓存的时间等等。这样对Map的设计就比较麻烦。
能坚持别人不能坚持的,才能拥有别人不能拥有的。
选择“添加Redis目录到环境变量PATH中”,这样方便系统自动识别Redis执行文件在哪里。
SDS具备动态扩容的能力,如果要给 SDS 追加一段字符串,首先先会申请新内存空间;
底层是hashmap和双向链表,每一个entry都有一个前项entry和一个后项entry
find 命令在linux中是很常用到的一个查找命令,它的功能非常地强大。可以结合正则匹配来搜索系统中的指定的内容,以下我就记录一下这个find常用到的一些用法 find 语法:find path -option [ -print ] [ -exec -ok command ] {} \;
索引使用的限制条件,sql优化有哪些 a,选取最适用的字段:在创建表的时候,为了获得更好的性能,我们可以将表中字段的宽度设得尽可能小。另外一 个提高效率的方法是在可能的情况下,应该尽量把字段设置为NOTNULL, b,使用连接(JOIN)来代替子查询(Sub-Queries) c,使用联合(UNION)来代替手动创建的临时表 d,事物: a)要么语句块中每条语句都操作成功,要么都失败。换句话说,就是可以保持数据库中数据的一致性和完整 性。事物以BEGIN关键字开始,COMMIT关键字结束。在这之间
缓存穿透是指用户请求的数据在缓存中不存在即没有命中,同时在数据库中也不存在,导致用户每次请求该数据都要去数据库中查询一遍,然后返回空。
使用Redis难免会遇到Redis缓存穿透,缓存击穿,缓存雪崩,热点Key的问题。有些同学可能只是会用Redis来存取,基本都是用项目里封装的工具类来操作。但是作为开发,我们使用Redis时可能会遇到上述问题,可能你还不知道这几个名词是什么意思,那么现在就让我们一起来探讨下吧。
查找目录:find /(查找范围) -name '查找关键字' -type d 查找文件:find /(查找范围) -name 查找关键字 -print
平时工作过程中,对于远程连接Linux,我们通常会使用SSH工具如:putty、xshell等,对于mysql、mongodb数据库管理通常会使用Navicat、Dbeaver这类工具,redis则有RedisDesktopManager,部分软件可能还需要破解才能使用。每次都要安装来安装去、安装多个软件,这样不免有些繁琐。那么有没有一款工具可以提供一站式管理呢,答案是有的。mayfly-go就是最近比较火的,一款开源的web版linux、mysql、redis、mongo统一管理操作平台。
有很多解决高并发的应用场景中都会使用memcache\redis缓存来解决响应慢的问题,但是缓存也不是万能的,在使用方面有很多的考虑的问题,把缓存比喻成防弹衣,但是如果你没有穿好这件防弹衣会适得其反,下面我根据自己的理解就展开来谈谈。
aof 类似于 mysql 的二进制日志,它把所有的操作都记录在日志里。而 rdb 就是真正存储的数据,相当于把内存中 redis 的所有数据快照到了磁盘中。
change命令常用指令: -d, --lastday LAST_DAY 将上次密码更改的日期设置为LAST_DAY,设置为0时,下次登录强制修改密码 -E, --expiredate EXPIRE_DATE 将帐户到期日期设置为EXPIRE_DATE -h, --help 显示此帮助消息并退出 -I, --inactive INACTIVE 在到期后将密码设置为非活动状态 -l, --list 显示帐户信息 -m, --mindays MIN_DAYS 将密码更改前的最小天数设置为MIN_DAYS -M, --maxdays MAX_DAYS 将密码更改前的最大天数设置为MAX_DAYS -R, --root CHROOT_DIR chroot into目录 -W, --warndays WARN_DAYS 将到期警告天数设置为WARN_DAYS
随着linux使用的普遍,对于linux用户以及系统的安全要求越来越高,而用户密码复杂程度是系统安全性高低的首要体现。因此如何对linux下用户的密码进行规则限制,以保证用户必须使用复杂的密码,杜绝用户随意使用简单的密码,从而提高用户的安全性和系统的安全性。下面就不做过多赘述,直接以centos6版本为例进行介绍: 1)用户密码策略 Linux系统下的用户密码的有效期,是否可以修改密码可以通过login.defs文件控制.对login.defs文件修只影响后续建立的用户,如果要改变以前建立的用户的有效期等可
缓存设计可谓老生常谈了,早些时候都是采用 memcache ,现在大家更多倾向使用 redis ,除了知晓常用的数据存储类型,结合业务场景有针对性选择,好像其他也没有什么大的难点。
缓存设计可谓老生常谈了,早些时候都是采用memcache,现在大家更多倾向使用redis,除了知晓常用的数据存储类型,结合业务场景有针对性选择,好像其他也没有什么大的难点。
在很长的一段时间里,我以为缓存击穿和缓存穿透是一个东西,直到最近去腾讯面试,面试官问我缓存击穿和穿透的区别;我回答它俩是一样的,面试官马上抬起头用他那细长的单眼皮眼睛瞪着我说:“你确定吗?”,最后面试提醒我,既然有不同的名字,那他们肯定就是不一样的,也就是说缓存击穿和缓存穿透不是一个东西;
如果你刚刚使用默认密码创建了一个用户帐户,你还可以使用此技巧强制该用户在第一次登录时更改其密码。 使用 passwd 命令 要强制用户更改用户的密码,首先必须是密码已过期,你可以使用 passwd command,用于通过指定-e或--expire开关以及用户名来更改用户的密码 # passwd --expire rumenz 接下来验证用户 rumenz 密码过期和老化信息 chage command # chage -l rumenz 运行后 passwd command 上面,你可以从输出中看到 c
之前的文章讲解了 Redis 的数据结构,这回就可以看看作为内存数据库,Redis 是怎么存储数据的以及键是怎么过期的。
当我们请求去查询一条记录,先到redis中查询后到mysql查询都发现找不到该条记录,但是请求每次都会打到数据库上面去,导致后台数据库压力暴增,这些请求像“穿透”了缓存一样直接打在数据库上,这种现象就叫做缓存穿透。这种现象我们称为缓存穿透,这个redis变成了一个摆设。
领取专属 10元无门槛券
手把手带您无忧上云