作者 | 汪翰林 编辑 | 蔡芳芳 Redis 作为最受欢迎的 NoSQL 数据库之一，具备高性能、高可用性、高扩展性等特点，在各互联网业务中使用广泛。目前业界针对 Redis 的性能优化主要针是配置项优化以及使用方式的优化。本文介绍网易数帆尝试撇开 Redis 本身，而从通用的协议栈层面来做优化，这种优化方式理论上可推广到其他 Socket 类互联网应用，如 Memcached、Ngnix、Envoy 等。 分 析 Redis-server 作为一个标准的 Socket 类应用，会通过监听地
在Redis中，一个字符串最大512MB，一个二级数据结构（例如hash、list、set、zset）可以存储大约40亿个(2^32-1)个元素，但实际中如果下面两种情况，我就会认为它是bigkey。
去年TSINGSEE青犀视频对旗下的EasyDSS、EasyGBS等视频平台陆续更换了新内核版本。新内核版本性能更加稳定，感兴趣的用户可以前往官网进行使用体验。
上周在kubernetes里发布了一个redis PaaS服务，不过其它同学简单测了一下，虽说功能上没啥问题，但性能相比物理上运行的Redis集群差太远，而且随着redis的分片数增加，性能并不能很好地线性增长，增长到一定程度就停止了，这个是需求方不能接受的，于是本周接了活，对部署在kubernetes中的redis服务进行性能优化。
在我们前面讲解零拷贝的内容时，我们了解到一个重要的概念，即内核缓冲区。那么，你可能会好奇内核缓冲区到底是什么？这个专有名词就是PageCache，也被称为磁盘高速缓存。也可以看下windows下的缓存区：如图所示：
案发现场的日志： 缓存集群redis重启错误报错： 29808:M 07 Jun 09:46:32.209 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128. 29808:M 07 Jun 09:46:32.209 # Server started, Redis version 3.0.4 2
调节三者之间的关系，实现整个系统（硬件、操作系统、应用）的性能最优化，不断满足现有的业务需求。
【1】ulimit 与 TCP backlog：1）、修改 ulimit：通过 ulimit 修改 open files 参数，redis 建议把 open files 至少设置成 10032，因为 maxclients 是10000 [客户端的数据是以文件的形式进行保存的] ，另外 redis 内部最多会使用 32 个文件描述符。
自从上次修改backlog之后, Silly的IO能力，就一直以少量（约4~6K)的差距落后于redis，却一直找不到原因。
Redis基础知识总结思维导图，系统的学习Redis。不定时更新。 主要包括： 基本数据和应用场景 常见问题分析 性能优化 持久化 集群模式 子模块 基本知识 基本数据类型和使用场景 基本数据类型 string 二进制安全，可以包含任何数据,一个键最大能存储512M hash 键值对集合，存储、读取、修改用户属性 list 链表(双向链表),可用于最新消息排行等功能(比如朋友圈的时间线)和消息队列 set 哈希表实现,元素不重复。可用于利用唯一性,统计访问网站的所有独立ip和好友推荐时
linux系统也是一种应用，它是基于计算机硬件的一种操作系统软件。当我们接收一次网络传输，计算机硬件的网卡会从网络中将读到的字节流写到linux的buffer缓冲区内存中，然后用户空间会调用linux对外暴露的接口，将linux中的buffer内存中的数据再读取到用户空间。这一次读操作就是一次IO。同样写也是这样的。
Opcache Preloading Opcache 预加载 新增 Opcache 预加载支持。预加载是在模块初始化的时候，将库和框架加载到 OPCache 中的过程
最近我出了一本非常受欢迎的新书──《深入理解Linux网络》。在这本书中我们深入地讨论了很多内核网络模块相关的问题。讨论了一个网络包是如何从网卡到达用户进程的，聊了同步阻塞和多路复用 epoll，也详细讨论了数据是如何从进程发送出去的等等一系列深度的网络工作原理。
通常来看，Redis开发和运维人员更加关注的是Redis本身的一些配置优化，例如AOF和RDB的配置优化、数据结构的配置优化等，但是对于操作系统是否需要针对Redis做一些配置优化不甚了解或者不太关心，然而事实证明一个良好的系统操作配置能够为Redis服务良好运行保驾护航。
IO通信即消息的输入、输出，这涉及到应用、操作系统以及硬件之间的通信，在java中，这涉及到用户态、内核态以及硬件的操作。在jdk1.4之前，IO(统称BIO)通信在Java语言中，性能一直堪忧，基于此，在jdk1.4开始，NIO面世了，并以高性能而闻名，并以此为基础，做了许多结构优化。
为帮助开发者更好地了解和学习前沿数据库技术，腾讯云数据库特推出"DB TALK"系列技术分享会，聚焦干货赋能创新，邀请数十位鹅厂资深数据库专家每月和您一起深入探讨云数据库的内核技术、性能、架构、管理运维和最佳实践等。 第二期分享会“数据库内核技术探秘”专场已结束，本期带来各讲师分享精华及直播回顾视频。想要讲师ppt的小伙伴，可在腾讯云数据库公众号后台发送"5.7内核课件"，即可获得讲师课件哦！ Redis的多可用区实践 刘家文，腾讯云数据库高级工程师 在如今的业务场景下，高可用性要求越来越高，核心业务跨可
#如以后台进程执行，则需指定一个pid，默觉得/var/run/redis.pid
『码哥』的 Redis 系列文章有一篇讲透了 Redis 的性能优化 ——《Redis 核心篇：唯快不破的秘密》。深入地从 IO、线程、数据结构、编码等方面剖析了 Redis “快”的内部秘密。65 哥深受启发，在学习 Kafka 的过程中，发现 Kafka 也是一个性能十分优秀的中间件，遂要求『码哥』讲一讲 Kafka 性能优化方面的知识，所以『码哥』决定将这篇性能方面的博文作为 Kafka 系列的开篇之作。
【持久化设置】 对于redis，有两种持久化方式：rdb和aof rdb：后台定期生成一个dump文件，保存当前redis内存中所有的数据 aof：类似日志，记录所有的操作命令
『码哥』的 Redis 系列文章有一篇讲透了 Redis 的性能优化 ——《Redis 核心篇：唯快不破的秘密》。
二面基本是场景设计题，具体忘了，有一说一百度面试体验很好，和面试官一起探讨解决的办法
这时我们还是需要一个全面的排障流程，不能无厘头地进行优化；全面的排障流程可以帮助我们找到真正的根因和性能瓶颈，以及实施正确高效的优化方案
作者：kevine 前言 在 Redis 的实际使用过程中，我们经常会面对以下的场景： 在 Redis 上执行同样的命令，为什么有时响应很快，有时却很慢； 为什么 Redis 执行 GET、SET、DEL 命令耗时也很久； 为什么我的 Redis 突然慢了一波，之后又恢复正常了； 为什么我的 Redis 稳定运行了很久，突然从某个时间点开始变慢了。 这时我们还是需要一个全面的排障流程，不能无厘头地进行优化；全面的排障流程可以帮助我们找到真正的根因和性能瓶颈，以及实施正确高效的优化方案。 这篇文章我们就从可能
当然在精简的同时，不要为了key的“见名知意”。对于value有些也可精简，比如性别使用0、1。
当应用程序向文件写入数据时，内核通常先将数据复制到内核缓冲区中，然后排入队列，然后由内核决定何时写入硬盘。
中文手册 http://www.cnblogs.com/stephen-liu74/archive/2012/02/27/2370212.html
FastDb 是高效的内存数据库系统，具备实时能力及便利的 C++ 接口。FastDB 不支持 client-server 架构因而所有使用 FastDB 的应 用程序必须运行在同一主机上。FastDB 针对应用程序通过控制读访问模式作了优化。通过降低数据传输的开销和非常有效的锁机制提供了高速的查询。对每一 个使用数据库的应用数据库文件被影射到虚拟内存空间中。因此查询在应用的上下文中执行而不需要切换上下文以及数据传输。fastdb 中并发访问数据库的同 步机制通过原子指令实现，几乎不增加查询的开销。fastdb 假定整个数据库存在于 RAM 中，并且依据这个假定优化了查询算法和接口。此外，fastdb 没有数据库缓冲管理开销，不需要在数据库文件和缓冲池之间传输数据。这就是 fastdb 运行速度明显快于把数据放在缓冲池中的传统数据库的原因。
元旦期间 订单业务线 告知 推送系统 无法正常收发消息，作为推送系统维护者的我正外面潇洒，无法第一时间回去，直接让 ops 帮忙重启服务，一切好了起来，重启果然是个大杀器。由于推送系统本身是分布式部署，消息有做各种的可靠性策略，所以重启是不会丢失消息事件的。
该原文是Ayende Rahien大佬业余自己在使用C# 和 .NET构建一个简单、高性能兼容Redis协议的数据库的经历。 首先这个"Redis"是非常简单的实现，但是他在优化这个简单"Redis"路程很有趣，也能给我们在从事性能优化工作时带来一些启示。 原作者：Ayende Rahien 原链接：https://ayende.com/blog/197441-A/high-performance-net-building-a-redis-clone-analysis 另外Ayende大佬是.NET开源的高性能多范式数据库RavenDB所在公司的CTO，不排除这些文章是为了以后会在RavenDB上兼容Redis协议做的尝试。大家也可以多多支持，下方给出了链接 RavenDB地址：https://github.com/ravendb/ravendb
大家好，又见面了，我是全栈君。 1.php7新特性 ?? 运算符（NULL 合并运算符） 函数返回值类型声明 标量类型声明 use 批量声明 define 可以定义常量数组
1.php7新特性 ?? 运算符（NULL 合并运算符） 函数返回值类型声明 标量类型声明 use 批量声明 define 可以定义常量数组 闭包（ Closure）增加了一个 call 方法 详细的
1，Redis集群3.0.7升级到3.2.9解决读从节点KEY过期不删除问题，集群有几千万KEY原来经核查3.0.7版本只有主上保存过期时间，所以需要主触发才能删除过期的KEY，默认有主动删除与惰性删除同时工作，但是KEY比较多，写的比删除的KEY，另外读从的话不能触发主动删KEY所以会有KEY没更新问题，升级3.2.X之后解决。
Redis在执行 fsync 的时候，redis 为了保证 AOF 文件安全性，会校验上次 fsync 的时间是否大于2秒。若超过2秒，会发生阻塞。
4. 采用make PREFIX=/usr/local/redis install
redis利用epoll实现IO多路复用，将连接信息和事件放到队列中，依次放到文件事件分派器，事件分派器将事件分发给事件处理器。
Redis 是一种使用非常广泛的内存型键值数据库，具有高效、高可用和高扩展性等优势。但是，在实际应用中也存在着一些性能问题，在这里我们将介绍 Redis 常见性能问题以及相应的解决方案。
本文分为以下几个部分说明介绍redis单线程 1.redis为何使用单线程 2.redis使用单线程为何性能那么高 3.redis哪些功能不是单线程
数据库内核技术是数据库的底层技术根基，腾讯云数据库在基础架构领域上一直坚持前沿技术探索与实际落地应用相结合，持续提升产品性能，助力企业国产化升级，推动国产数据库发展行稳致远。 近年来，腾讯云数据库积极拥抱云原生和国产化的趋势，致力于发展自研数据库技术，帮助全行业用户降低上云成本。其中腾讯云TDSQL已被3000多家来自金融、公共服务和电信垂直行业的客户采用，中国十大银行中的六家都应用了该产品。 5月7日19：00-21：40，腾讯云数据库"DB TALK"系列技术分享会第二期“数据库内核技术探秘”专场即
Redis客户端与服务器之间使用TCP协议进行通信，并且很早就支持管道（pipelining）技术了。在某些高并发的场景下，网络开销成了Redis速度的瓶颈，所以需要使用管道技术来实现突破。
那么对于nginx，对于php-fpm，backlog应该设置多大，是越大越好吗？backlog怎么设置合适？这是上篇文章中遗留的几个问题
本文主要记录了一次生产环境后台服务的性能分析过程，通过结合多种性能分析工具定位出系统的性能瓶颈并给出优化方案，将整个过程记录并总结如下。
在操作系统中，缓存是一种存储技术，用于提高数据读取和写入的速度。Linux 内核使用了两种主要的缓存机制：Buffer Cache和Page Cache。这两种缓存机制都是为了提高系统性能，但它们在实现方式和目标上有所不同。
1.Master写内存快照，save命令调度rdbSave函数，会阻塞主线程的工作，当快照比较大时对性能影响是非常大的，会间断性暂停服务，所以Master最好不要写内存快照。
新能源汽车今年是真的卷呀，小米汽车还没开卖，其他新能源汽车厂商已经主动降价了，有的甚至 50% 降幅。
栗子：hdfs getconf -confKey fs.defaultFS 查看 hdfs 的 uri 地址。
redis 是一个单线程却性能非常好的内存数据库， 主要用来作为缓存系统。 redis 采用网络IO多路复用技术来保证在多连接的时候， 系统的高吞吐量。 为什么 Redis 中要使用 I/O 多路复用这种技术呢？ 首先，Redis 是跑在单线程中的，所有的操作都是按照顺序线性执行的，但是由于读写操作等待用户输入或输出都是阻塞的，所以 I/O 操作在一般情况下往往不能直接返回，这会导致某一文件的 I/O 阻塞导致整个进程无法对其它客户提供服务，而 I/O 多路复用就是为了解决这个问题而出现的。 redis的io模型主要是基于epoll实现的，不过它也提供了 select和kqueue的实现，默认采用epoll。 那么epoll到底是个什么东西呢？ 其实只是众多i/o多路复用技术当中的一种而已，但是相比其他io多路复用技术(select, poll等等)。
导语：当面临存储选型时是选择关系型还是非关系型数据库？如果选择了非关系型的redis，redis常用数据类型占用内存大小如何估算的？redis的性能瓶颈又在哪里？ 背景 前段时间接手了一个业务，响应时间达到10s左右。阅读源码后发现，每一次请求都是查询多个分表数据（task1,task2….），然后再join其他表(course,teacher..)，时间全部花在了大量磁盘I/O上。脑袋一拍，重构，上redis！ 为什么选择redis 拍脑袋做技术方案肯定是不行的，得用数据和逻辑说服别人才可以。 时延
系统优化 echo "vm.overcommit_memory=1" > /etc/sysctl.conf 0， 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。 1， 表示内核允许分配所有的物理内存，而不管当前的内存状态如何。 2， 表示内核允许分配超过所有物理内存和交换空间总和的内存 echo never > /sys/kernel/mm/transparent_hugepage/enabled 禁用NUMA优化机制
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
