前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >redis(一)数据类型与应用场景

redis(一)数据类型与应用场景

作者头像
杨小杰
发布于 2020-02-18 14:59:51
发布于 2020-02-18 14:59:51
4850
举报

简介

Redis 是一个由Salvatore Sanfilippo写的key-value存储系统。

它是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API

它通常被称为数据结构服务器,因为值(value)可以是 字符串(String), 哈希(Hash), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。

特点

  • Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
  • Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。
  • Redis支持数据的备份,即master-slave模式的数据备份
  • Redis有着更为复杂的数据结构并且提供对他们的原子性操作,这是一个不同于其他数据库的方式。Redis的数据类型都是基于基本数据结构的同时对程序员透明,无需进行额外的抽象。
  • Redis运行在内存中但是可以持久化到磁盘,所以在对不同数据集进行高速读写时需要权衡内存,因为数据量不能大于硬件内存。在内存数据库方面的另一个优点是,相比在磁盘上相同的复杂的数据结构,在内存中操作起来非常简单,这样Redis可以做很多内部复杂性很强的事情。同时,在磁盘格式方面他们是紧凑的以追加的方式产生的,因为他们并不需要进行随机访问。

优势

  • 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。
  • 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
  • 原子 – Redis的所有操作都是原子性的,意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务,即原子性,通过MULTI和EXEC指令包起来。
  • 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。

windows安装和启动

安装

下载地址:https://github.com/microsoftarchive/redis/releases

如上图,访问到路径后,选择Assets 我下拉选择的是 Redis-x64-3.2.100.zip,msi后缀的也可以(msi就是microsoft installer的简写,是微软格式的安装包)

启动

临时服务启动

  1. 进入redis安装根目录,执行命令redis-server.exe redis.windows.conf
  2. 看到出现一个立体的非规则性图案,redis启动成功
  3. 运行redis-cli.exe,就可以执行redis命令了。
  4. 非规则性图案那个cmd窗口,切记不要关闭,关闭redis就停止运行了

redis添加至服务

  1. 进入redis安装根目录,执行命令redis-server.exe --service-install redis.windows.conf --loglevel verbose
  2. 自定义服务名redis-server.exe --service-install redis.windows.conf --Service-name 服务名称 --loglevel verbose
  3. 安装成功后,退回到桌面右击我的电脑->管理->服务->找到服务名为redis的服务,启动
  4. 添加至服务,只是保障你可以不用开启非规则性图案redis-server.exe
  5. 进入redis安装根目录,打开cmd,执行redis-cli.exe -h 127.0.0.1 -p 6379(可以把该目录添加至环境变量,直接运行)
  6. 出现127.0.0.1:6379>代表启动成功
  7. 可以先使用命令先试试水。赋值:set key value取值:get key,是不是获取到正确的结果呢。

redis配置

Redis 的配置文件位于 Redis 安装目录下,文件名为redis.conf(Windows 名为 redis.windows.conf)

config 命令

通过 config 命令查看或设置配置项。

获取所有配置项

  1. 在redis窗口-->带有该字样的窗口127.0.0.1:6379>执行命令
  2. config get 配置项名称 获取该配置项名称的配置值
  3. config get * 获取所有配置项名称

编辑配置项

  1. 可以通过修改redis.conf/redis.windows.conf配置文件,来编辑配置项
  2. 通过命令config set 配置项名称 "配置项的值",来编辑配置项

redis.conf参数说明(此处非必须,可以跳过)

高亮的为 配置项名称 假定的值,不高亮的为描述

  1. daemonize no redis 默认不是以守护进程的方式运行,可以通过该配置项修改,使用 yes 启用守护进程(Windows 不支持守护线程的配置为 no )
  2. pidfile /var/run/redis.pid当 Redis 以守护进程方式运行时,Redis 默认会把 pid 写入 /var/run/redis.pid 文件,可以通过 pidfile 指定
  3. port 6379 指定 Redis 监听端口,默认端口为 6379,作者在自己的一篇博文中解释了为什么选用 6379 作为默认端口,因为 6379 在手机按键上 MERZ 对应的号码,而 MERZ 取自意大利歌女 Alessia Merz 的名字
  4. bind 127.0.0.1绑定的主机地址
  5. timeout 300 当客户端闲置多长时间后关闭连接,如果指定为 0,表示关闭该功能
  6. loglevel notice 指定日志记录级别,Redis 总共支持四个级别:debug、verbose、notice、warning,默认为 notice
  7. logfile stdout 日志记录方式,默认为标准输出,如果配置 Redis 为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给 /dev/null
  8. databases 16设置数据库的数量,默认数据库为0,可以使用SELECT 命令在连接上指定数据库id
  9. save <seconds> <changes>指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合. Redis 默认配置文件中提供了三个条件:save 900 1 save 300 10 save 60 10000 分别表示 900 秒(15 分钟)内有 1 个更改,300 秒(5 分钟)内有 10 个更改以及 60 秒内有 10000 个更改。
  10. rdbcompression yes指定存储至本地数据库时是否压缩数据,默认为 yes,Redis 采用 LZF 压缩,如果为了节省 CPU 时间,可以关闭该选项,但会导致数据库文件变的巨大
  11. dbfilename dump.rdb 指定本地数据库文件名,默认值为 dump.rdb
  12. dir ./指定本地数据库存放目录
  13. slaveof <masterip> <masterport>设置当本机为 slav 服务时,设置 master 服务的 IP 地址及端口,在 Redis 启动时,它会自动从 master 进行数据同步
  14. masterauth <master-password>当 master 服务设置了密码保护时,slav 服务连接 master 的密码
  15. requirepass foobared设置 Redis 连接密码,如果配置了连接密码,客户端在连接 Redis 时需要通过 AUTH <password> 命令提供密码,默认关闭
  16. maxclients 128 设置同一时间最大客户端连接数,默认无限制,Redis 可以同时打开的客户端连接数为 Redis 进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis 会关闭新的连接并向客户端返回 max number of clients reached 错误信息
  17. maxmemory <bytes>指定 Redis 最大内存限制,Redis 在启动时会把数据加载到内存中,达到最大内存后,Redis 会先尝试清除已到期或即将到期的 Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis 新的 vm 机制,会把 Key 存放内存,Value 会存放在 swap 区
  18. appendonly no指定是否在每次更新操作后进行日志记录,Redis 在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis 本身同步数据文件是按上面 save 条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为 no
  19. appendfilename appendonly.aof指定更新日志文件名,默认为 appendonly.aof
  20. appendfsync everysec指定更新日志条件,共有 3 个可选值: no:表示等操作系统进行数据缓存同步到磁盘(快) always:表示每次更新操作后手动调用fsync() 将数据写到磁盘(慢,安全) everysec:表示每秒同步一次(折中,默认值)
  21. vm-enabled no指定是否启用虚拟内存机制,默认值为 no,简单的介绍一下,VM 机制将数据分页存放,由 Redis 将访问量较少的页即冷数据 swap 到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析 Redis 的 VM 机制)
  22. vm-swap-file /tmp/redis.swap虚拟内存文件路径,默认值为 /tmp/redis.swap,不可多个 Redis 实例共享
  23. vm-max-memory 0 将所有大于 vm-max-memory 的数据存入虚拟内存,无论 vm-max-memory 设置多小,所有索引数据都是内存存储的(Redis 的索引数据 就是 keys),也就是说,当 vm-max-memory 设置为 0 的时候,其实是所有 value 都存在于磁盘。默认值为 0
  24. vm-page-size 32Redis swap 文件分成了很多的 page,一个对象可以保存在多个 page 上面,但一个 page 上不能被多个对象共享,vm-page-size 是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page 大小最好设置为 32 或者 64bytes;如果存储很大大对象,则可以使用更大的 page,如果不确定,就使用默认值
  25. vm-pages 134217728 设置 swap 文件中的 page 数量,由于页表(一种表示页面空闲或使用的 bitmap)是在放在内存中的,,在磁盘上每 8 个 pages 将消耗 1byte 的内存。
  26. vm-max-threads 4设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟。默认值为4
  27. glueoutputbuf yes设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启
  28. hash-max-zipmap-entries 64 hash-max-zipmap-value 512指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法
  29. activerehashing yes指定是否激活重置哈希,默认为开启
  30. include /path/to/local.conf指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件

redis的存储

数据类型

redis支持五种数据类型:

  • string(字符串)
  • hash(哈希)
  • list(列表)
  • set(集合)
  • zset(sorted set:有序集合)。

string

string 类型是二进制安全的。redis 的 string 可以包含任何数据。比如jpg图片或者序列化的对象。

string 类型是 Redis 最基本的数据类型,string 类型的值最大能存储 512MB。

命令

赋值:set key "value"

取值:get key

场景

很少使用

Hash

redis hash 是一个键值(key=>value)对集合。

redis hash 是一个 string 类型的 field 和 value 的映射表,hash 特别适合用于存储对象。

更多

命令

赋值:HMSET key field1 "value1" field2 "value2"

取值:HGET key field1

场景

存储、读取、修改用户属性

List(列表)

Redis 列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素到列表的头部(左边)或者尾部(右边)。

命令

赋值:lpush key value1,lpush key value2

取值:lrange key indexStart indexEnd

场景

set

Redis 的 Set 是 string 类型的无序集合。

集合是通过哈希表实现的,所以添加,删除,查找的复杂度都是 O(1)。

添加一个 string 元素到 key 对应的 set 集合中,成功返回 1,如果元素已经在集合中返回 0。

命令

赋值:sadd key value1,sadd key value2

取值:smembers runoob indexStart indexEnd

场景
  • 共同好友
  • 利用唯一性,统计访问网站的所有独立ip
  • 好友推荐时,根据tag求交集,大于某个阈值就可以推荐

sorted set 有序集合

Redis 有序集合和集合一样也是string类型元素的集合,且不允许重复的成员。

不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。

有序集合的成员是唯一的,但分数(score)却可以重复。

集合是通过哈希表实现的,所以添加,删除,查找的复杂度都是O(1)。集合中最大的成员数为 232 - 1 (4294967295, 每个集合可存储40多亿个成员)。

命令

赋值:ZADD key 1(sort number) value

取值:zrange key 0 10 withscores

场景
  • 排行榜
  • 带权重的消息队列

后话

本文为redis介绍,所以大部分内容摘自菜鸟教程

后续会推出JAVA如何连接redis,redis事物,redis发布与订阅,等等

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-01-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 JAVA知识总结与分享 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
验证码的识别
概要:在爬虫中我们时常会碰见登录时候需要识别验证码的问题, 当然,验证码有很多,本篇文章只说最普通的图片验证码。 1、首先需要下载OCR OCR,光学字符识别,作用是通过扫描图片,将其转换为文本。 百
不断折腾
2019/09/23
1.7K0
验证码的识别
字符型验证码识别
在开发爬虫的过程中会遇到一种常见的反爬措施,验证码。验证码(CAPTCHA)是“Completely Automated Public Turing test to tell Computers and Humans Apart”(全自动区分计算机和人类的图灵测试)的缩写,是一种区分用户是计算机还是人的公共全自动程序。
润森
2019/09/05
1.8K0
字符型验证码识别
【爬虫系列】1. 无事,Python验证码识别入门
代码地址:https://github.com/liguobao/python-verify-code-ocr
李国宝
2021/08/07
4590
用Python机器学习搞定验证码
写爬虫有一个绕不过去的问题就是验证码,现在验证码分类大概有4种: 图像类 滑动类 点击类 语音类 今天先来看看图像类,这类验证码大多是数字、字母的组合,国内也有使用汉字的。在这个基础上增加噪点、干扰线、变形、重叠、不同字体颜色等方法来增加识别难度。 相应的,验证码识别大体可以分为下面几个步骤: 灰度处理 增加对比度(可选) 二值化 降噪 倾斜校正分割字符 建立训练库 识别 由于是实验性质的,文中用到的验证码均为程序生成而不是批量下载真实的网站验证码,这样做的好处就是可以有大量的知道明确结果的数据集。 当
小小科
2018/05/02
1.2K0
用Python机器学习搞定验证码
python图形验证码模块tesserocr
ocr图片识别通常可以利用tesserocr模块,将图片中内容识别出来并转换为text并输出
菲宇
2019/07/02
1.6K0
python图形验证码模块tesserocr
【python 图像识别】图像识别从菜鸟
一、安装配置(python2.7) 1.pip install pytesseract 2、pip install pyocr 3、pip install pillow 4、安装tesseract-ocr:http://jaist.dl.sourceforge.net/project/tesseract-ocr-alt/tesseract-ocr-setup-3.02.02.exe,安装在C:\Program Files\下 5、找到 pytesseract.py 更改 tesseract_cmd = 'C
py3study
2020/01/10
10.3K0
【python 图像识别】图像识别从菜鸟
python识别验证码系列1
(1)图像验证码:这是最简单的一种,也很常见。就比如CSDN登录几次失败之后就会出验证码。
周小董
2019/03/25
1.6K0
python识别验证码系列1
Python验证码识别
最近在做爬虫的时候发现手动输入验证码算是比较烦了,就网上搜了一下,结果发现真的有现成的,作者:老板丶鱼丸粗面,写的很完整,看一下。所有源码点击阅读原文。
我被狗咬了
2019/09/23
2.9K0
Python验证码识别
Python爬虫之图形验证码的识别
目前,许多网站采取各种各样的措施来反爬虫,其中一个措施便是使用验证码。随着技术的发展,验证码的花样越来越多。验证码最初是几个数字组合的简单的图形验证码,后来加入了英文字母和混淆曲线。有的网站还可能看到中文字符的验证码,这使得识别愈发困难。
仲君Johnny
2024/02/20
6490
Python爬虫之图形验证码的识别
神器!使用Python 轻松识别验证码
在我们进行自动化测试的过程中,免不了要在登录时遇到验证码,很多时候我们都是只能找开发要万能验证码或者暂时关闭验证码这个功能,但是有时候我们必须要验证码是否能够正常生成,所以在这个时候,我们需要做的就是输入验证码,但是验证码这个东西是随机生成的,不是每一次都一样,所以我们还是需要识别然后输入,脚本是没有眼睛的,只能通过代码来进行识别,所以本文就来给大家介绍一下如何使用Python来轻松识别数字验证码。
霍格沃兹测试开发Muller老师
2024/05/12
5400
Python图片验证码降噪 — 8邻域降噪
图片验证码识别的可以分为几个步骤,一般用 Pillow 库或 OpenCV 来实现,这几个过程是:
jhao104
2019/12/05
2.2K0
Python_识别弱图片验证码
图片验证码采用加干扰线、字符粘连、字符扭曲方式来增强识别难度,对于以上类型的验证码均不支持。 支持的弱验证码如下:
Java架构师必看
2021/03/22
8090
Python_识别弱图片验证码
Python 实现识别弱图片验证码
目前,很多网站为了防止爬虫肆意模拟浏览器登录,采用增加验证码的方式来拦截爬虫。验证码的形式有多种,最常见的就是图片验证码。其他验证码的形式有音频验证码,滑动验证码等。图片验证码越来越高级,识别难度也大幅提高,就算人为输入也经常会输错。本文主要讲解识别弱图片验证码。
猴哥yuri
2018/08/16
4.2K0
图形验证码的识别
先将原图转为灰度图像,然后再制定二值化阀值。变量 threshold 代表二值化阈值,阈值设置为 80。
hankleo
2020/09/17
2.9K0
Python实战图片验证码降噪处理
图片验证码算是网络数据采集上的一道拦路虎,虽然有诸多公开的ORC接口、云打码平台,一旦大规模应用起来,还是内部写程序进行识别处理比较好。
州的先生
2019/11/06
3.2K0
用Python识别图形验证码,实现自动登陆!
验证码有图形验证码、极验滑动验证码、点触验证码、宫格验证码。这回重点讲讲图形验证码的识别。
小F
2020/10/09
2.3K0
用Python识别图形验证码,实现自动登陆!
Python 爬虫简单验证码识别和抓包
OCR 即Optical Character Recognition, 光学字符识别,是指通过扫描字符,然后通过其形状将其翻译成电子文本的过程。 tesserocr 是Python的一个OCR识别库。GitHub:https://github.com/tesseract-ocr/tesseract 1 软件安装: 注意:在安装tesserocr前都需要先安装tesseract,具体说明如下: pip install tesserocr #安装tesserocr pip install pillow #
Python知识大全
2020/02/13
1.4K0
Python 爬虫简单验证码识别和抓包
爬虫还担心验证码问题吗?这你给你解决方案!
这里使用了 pytesseract 来进行验证码识别,它是基于 Google 的 Tesseract-OCR ,所以在使用之前需要先安装 Tesseract-OCR。使用 PIL 来进行图像处理。pytesseract 默认支持 tiff、bmp 图片格式,使用 PIL 库之后,能够支持 jpeg、gif、png 等其他图片格式;
1480
2019/08/05
1.2K0
爬虫还担心验证码问题吗?这你给你解决方案!
验证码
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
云雀叫了一整天
2019/09/29
2.7K0
验证码
knn算法,识别简单验证码图片
声明:本文均在pycharm上进行编辑操作,并本文所写代码均是python3进行编写,如果不能正常运行本文内的代码,请自己调试环境
十四君
2019/11/27
6710
knn算法,识别简单验证码图片
相关推荐
验证码的识别
更多 >
LV.4
这个人很懒,什么都没有留下~
目录
  • 特点
  • 优势
  • 安装
  • 启动
    • 临时服务启动
    • redis添加至服务
  • config 命令
    • 获取所有配置项
    • 编辑配置项
    • redis.conf参数说明(此处非必须,可以跳过)
  • 数据类型
    • string
      • 命令
      • 场景
    • Hash
      • 命令
      • 场景
    • List(列表)
      • 命令
      • 场景
    • set
      • 命令
      • 场景
    • sorted set 有序集合
      • 命令
      • 场景
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档