Redis是一种键值(Key-Value)数据库。相较于MySQL之类的关系型数据库，Redis是一种非关系型数据库。Redis存储的数据只包含键和值两部分，只能通过键来查询值。这样简单的存储结构，能让Redis的读写效率非常高(HashMap读写效率都是O(1))。
现在的分布式项目基本都会用到redis和mongodb，可是redis和mongdb到底有什么不同呢，今天我就基于我们公司的项目来具体介绍一下redis和mongodb的各自的应用场景。
type 对象的类型 类型常量对象的名称 REDIS_STRING 字符串对象 REDIS_LIST 列表对象 REDIS_HASH 哈希对象 REDIS_SET 集合对象 REDIS_ZSET 有序集合对象 ptr 指针 指向实际存储的对象的指针 encoding encoding 表示 ptr 指向的具体数据结构，即这个对象使用了什么数据结构作为底层实现。 编码常量编码所对应的底层数据结构 REDIS_ENCODING_INT long类型的整数 REDIS_ENCODING_EMBSTR enbstr编码的简单动态字符串 REDIS_ENCODING_RAW 简单动态字符串 REDIS_ENCODING_HT 字典 REDIS_ENCODING_LINKEDLIST 双向链表 REDIS_ENCODING_ZIPLIST 压缩列表 REDIS_ENCODING_INTLIST 整数集合 REDIS_ENCODING_SKIPLIST 跳表 每种类型的对象都至少使用了两种不同的编码，对象和编码的对应关系如下
有时候我们需要知道线上的Redis的使用情况，尤其需要知道一些前缀的key值，让我们怎么去查看呢？并且通常情况下Redis里的数据都是海量的，那么我们访问Redis中的海量数据？如何避免事故产生！今天就给大家分享一个小知识点，希望大家轻喷。
作为《深入理解缓存原理与实战设计》系列专栏，在前面的文章中，我们一起领略了Guava Cache、Caffeine、Ehcache等优秀的本地JVM级别本地缓存框架的特性、原理与具体的使用方法。除却本地缓存之外，在当前分布式、微服务等架构盛行的时代，本地缓存明显无法满足大型系统中的各种缓存诉求，比如前面文章中反复提及的缓存漂移问题、以及单机缓存无法逾越的内存容量瓶颈。作为应对之法，集中式缓存被广泛的使用在各中分布式系统中，而使用最广泛的莫过于大家耳熟能详的Redis了。
Redis Cluster是Redis的分布式解决方案，在3.0版本正式推出，解决单master架构的内存、并发、流量等瓶颈，以达到负载均衡的目的。
Redis Sentinel是一个高可用性解决方案，它能够监控Redis服务器集群，当主服务器下线时，自动将从服务器升级为主服务器，继续提供服务。
Windows版本安装及远程工具使用请参考随堂资料《Redis的Windows版安装及远程工具的使用.pdf》
本文链接：https://blog.csdn.net/u014427391/article/details/95992173
在Redis 在 2.8.9 版本才添加了 HyperLogLog，HyperLogLog算法是用于基数统计的算法，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。HyperLogLog适用于大数据量的统计，因为成本相对来说是更低的，最多也就占用12kb内存
偶然收到某客户问题“我的 Redis 内存碎片率很低在 0.2 左右，网上说会导致 Redis 性能变慢，我该咋办？”。
爱可生 DBA 团队成员，擅长故障分析和性能优化，文章相关技术问题，欢迎大家一起讨论。
我曾遇到过这么一个需求：要用 Redis 保存 5000 万个键值对，每个键值对大约是 512B，为了能快速部署并对外提供服务，我们采用云主机来运行 Redis 实例，那么，该如何选择云主机的内存容量呢？
原始数据的数据量太大了，能存下来就很不容易了，这个数据是没法直接来给业务系统查询和分析的：
你应该从网上看过太多的文章说缓存穿透怎么解决？无非就是布隆过滤器，缓存空值什么的。
在 Java 开发当中，我们用到的关于缓存使用的比较较多的就是 Redis，而关于 Redis 的面试题，也是我们在面试的过程中，会经常性的被问到，比如，Redis 为什么这么快，Redis存储的数据结构等等之类的面试题，而最近，又出现了新的内容，那就是 Redis 中的多线程。
在使用 Logstash 从 pg 库中将一张表导入到 ES 中时，发现 ES 中的数据量和 PG 库中的这张表的数据量存在较大差距。如何快速比对哪些数据没有插入？导入过程中，Logstash 日志没有异常。PG 中这张表有 7600W。
有时候我们需要知道线上的redis的使用情况，尤其需要知道一些前缀的key值，让我们怎么去查看呢？今天老顾分享一个小知识点
redis 集群部署方式大部分采用类 Twemproxy 的方式进行部署。即通过 Twemproxy 对 redis key 进行分片计算，将 redis key 进行分片计算，分配到多个 redis 实例中的其中一个。tewmproxy 架构图如下：
如果是保存不重要的数据可以使用RDB方式（比如缓存数据），如果是保存很重要的数据就要使用AOF，但是两种方式也可以同时使用。
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Redis等几个主流大数据技术的使用场景（首先声明一点，本文中所指的Hadoop，是很“狭义”的Hadoop，即在HDFS上直接跑MapReduce的技术，下同）。 我这几年实际研究和使用过大数据（包含NoSQL）技术包括Ha
Q1：为什么Redis中的数据量很大时，某些数据操作会导致Redis卡顿，甚至宕机？
redis cluster 支撑N个redis master node，每个master node都可以挂载多个slave node 读写分离的架构，对于每个master来说，写就写到master，然后读就从mater对应的slave去读 高可用，因为每个master都有salve节点，那么如果mater挂掉，redis cluster这套机制，就会自动将某个slave切换成master redis cluster（多master + 读写分离 + 高可用）
假设我们在一台主从机器上配置了200G内存，但是业务需求是需要500G的时候，主从结构+哨兵可以实现高可用故障切换+冗余备份，但是并不能解决数据容量的问题，用哨兵，redis每个实例也是全量存储，每个redis存储的内容都是完整的数据，浪费内存且有木桶效应。
虽然Redis 支持持久化，但是Redis的数据存储全部都是在内存中，成本昂贵。建议根据业务场景只将高频热数据存储到Redis 中，其他低频数据可以使用es、mongoDb等存储方式，不仅节省内存成本，而且数据量小操作速度更快，效率更高。
这类似于一张日志表，因此数据量很大，想要统计用户积分做排行榜时，表数据可能如下：
在很久很久以前, 数据以文件的形式保存. 这时, 我们要向去读取数据, 可以一行一行的readline, 使用工具可以是grep, awk, java等.
1 Redis数据库完全在内存中，因此处理速度非常快，每秒能执行约11万集合，每秒约81000+条记录；
在 Redis cluster 架构下，使用cluster bus 进行节点间通信，用来进行故障检测、配置更新、故障转移授权。cluster bus 用了一种二进制的协议&
我们做数据库选型的时候首先要问：需求是谁提出的，也就是说谁选型？是负责采购的同学、 DBA 还是业务研发？
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Redis等几个主流大数据技术的使用场景（首先声明一点，本文中所指的Hadoop，是很“狭义”的Hadoop，即在HDFS上直接跑MapReduce的技术，下同）。 我这几年实际研究和使用过大数据（包含NoSQL）技术包括
球友提问：Elasticsearch 的基数统计在大数据量下有什么办法能做到 100% 准确度吗？
首先是运维成本，包括监控告警是否完善、是否有备份恢复机制、升级和迁移的成本是否高、社区是否稳定、是否方便调优、排障是否简易等；
专栏作者简介 九茶 Python工程师，目前居于广州。Github知名开源爬虫QQSpider和SinaSpider作者，经常会在CSDN上分享一些爬虫、数据等福利。爬过的网站有 QQ空间、新浪微博、Facebook、Twitter、WooYun、Github、SearchCode、CSDN、博客园、天猫、大众点评、图吧 网、域名与IP数据、证券投资数据、中国土地数据、某些政府网站等。 除了爬虫领域之外，还会分享一些Python小应用（例如Python+PhantomJS批量注册账号，登录等），接下来在Py
最近在思考数据库以及缓存的问题，发现这些知识点其实是有一点关联的，于是这篇文章通过一个连环提问的方式将这些知识点串联起来。
mysql方案, 随着nosql的流行，大数据的持续热点，但是mysql仍然不可替代，对于大多数的中小项目，低于千万级的数据量，采用mysql分表+cache，是完全可以胜任的，而且稳定性是其他方案无可比拟的：
Redis集群模式(Cluster) 一. 单master在海量数据下的瓶颈 在单master的架构下，由于所有slave的数据都与master保持一致，因此Redis所能承载的数据量完全取决于master机器所在的内存。一旦出现内存不足的情况，只能进行垂直扩若，扩展性较差。 采用Cluster集群架构：多master + 读写分离 + 高可用 支持N个master，且每个master下都可挂在M个slave。基于Cluster的读写分离架构，每个master负责处理写请求，master下的sla
redis高可用的方式的其中一种是主从集群方式，主要是为了读写分离来分担读的压力，每个节点数据都是一致的。
上一篇文章《向量检索研究系列：本地向量检索（上）》介绍了如何加快向量相似度计算，但是一般的向量检索流程还包括对计算结果进行排序，以及有必要的话，在计算相似度之前可以对向量库中的向量进行过滤筛选（可选流程）。
之前接触的一个业务，数据量的话现在在数据库中存了有将近400W的数据，在搜索的时候得到的这些数据会放入达到异步队列中，然后单独开一个线程来进行双写，写缓存，然后写数据库。Redis中的存储格式是Hash存储的，数据库的存储格式类似Hash，当时设计存储方式的时候是有些问题的，在Redis中存储的时候，数据库中有多少条数据，Redis中就会有多少个Key值。也就是说Redis中存储的一级Key有400W个，这样的存储格式会造成Redis的查询变慢，具体的原因下面解释。
Redis是一种数据库。数据库是用于存储数据、管理数据的软件，不同的数据库有不同的特点，因此我们要根据项目的需要选择数据库，有时候，我们甚至需要在一个项目中使用多个数据库。
最近，Twitter Cache团队的工程师Yu Yao在Youtube发表了一段演讲，介绍了Twitter如何使用Redis提高系统可伸缩性。High Scalability对这段演讲进行了整理和总结。 Yu Yao首先解释了为什么Twitter Cache团队选择了Redis，而不是Memcache。原因在于Twitter对网络带宽以及长通用前缀（Long Common Prefix）在使用效率上的考虑。Twitter主要将Redis用于timeline服务，而针对这方面的功能，Redis的表现要优于M
在处理大规模数据时，要合理选择数据结构、设置合理的过期时间、使用索引和分布式锁等优化手段，以提高Redis字典的性能和可靠性。
本文来自作者 jason 在 GitChat 上分享 「大数据项目性能优化实战分享」
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
