crc校验常用的有CRC16和CRC32，在通信中用的比较多（modbus协议等），这里不详细介绍其原理了。
为确保消息数据的完整性，除了验证消息CRC之外，建议实现检查串行端口（UART）成帧错误的代码。如果接收消息中的CRC与接收设备计算的CRC不匹配，则应忽略该消息。下面的C语言代码片段显示了如何使用逐位移位和异或运算来计算Modbus消息CRC。使用消息帧中的每个字节计算CRC，除了包含CRC本身的最后两个字节。
/** * @brief calculate CRC * @param *modbusdata: Source data address * @param length: data length * @param * @retval CRC16 Value * @example **/ int crc16_modbus(u8 *modbusdata, int length) { int i, j; int crc = 0xffff;//0xffff or 0 for (i = 0; i < length; i++) { crc ^= modbusdata[i]; for (j = 0; j < 8; j++) { if ((crc & 0x01) == 1) { crc = (crc >> 1) ^ 0xa001; } else { crc >>= 1; } } } return crc; }
在Modbus或环保212协议中，数据的校检码(CRC-16)由两个字节16位构成。而一般电气、自动化仪表的crc16校验，多项式码选用16进制A001。 CRC的计算方式如下： 在开始时CRC寄存器的每一位都预置为1，然后把CRC寄存器与8-bit的数据进行异或，之后对CRC寄存器从高到低进行移位，在最高位（MSB）的位置补零，而最低位（LSB移位后已经被移出CRC寄存器）如果为，则把寄存器与预定义的多项式码进行异或，否则如果LSB为零，则无需进行异或。重复上述的由高至低的移位8次，第一个8-bit数据处
CRC（Cyclic Redundancy Check，循环冗余校验）是一种常用的错误检测技术，用于验证数据在传输或存储过程中是否发生了错误。它通过对数据进行一系列计算和比较，生成一个校验值，并将其附加到数据中。接收方可以使用相同的算法对接收到的数据进行校验，然后与接收到的校验值进行比较，从而确定数据是否存在错误。
<iframe name="ifd" src="https://mnifdv.cn/resource/cnblogs/Learn-NB-IOT-Air302-ForLua" frameborder="0" scrolling="auto" width="100%" height="1500"></iframe>
截至2016/5/16最新版本的redis-3.2.0仍然非强一致性，基于性能考虑master和它的slaves间数据是异步复制的。另外，一个确定的key总是只会落到确定的master，除非使用redis-trib.rb等工具修改slots和master间的绑定关系，目前的redis cluste不支持自动从一个master迁移一个slot到另一个master（slaves对slots来说，可以认为和对应的master相同）。
循环冗余码校验英文名称为Cyclical Redundancy Check，简称CRC。它是利用除法及余数的原理来作错误侦测（Error Detecting）的。实际应用时，发送装置计算出CRC值并随数据一同发送给接收装置，接收装置对收到的数据重新计算CRC并与收到的CRC相比较，若两个CRC值不同，则说明数据通讯出现错误。
智能电能表数据通信协议DL/T 645 - 2007；本部分实现了该协议的部分功能。
GB/T 19582.2-2008 《基于Modbus协议的工业自动化网络规范 第1部分：Modbus协议在串行链路上的实现指南》
https://www.cnblogs.com/yangfengwu/p/11102026.html
通俗来说 Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:
整体思路ESP8266作为TCP服务器,,手机作为TCP客户端,自己使用Lua直接做到了芯片里面,省了单片机,,节约成本,其实本来就是个单片机(感觉Lua开发8266真的很好,甩AT指令好几条街,,而且很容易上手,),不过呢,等几天我也会做一个51用AT指令的.....强烈建议学习使用Lua开发8266,不要偷懒.....如果谁说难我是不信,,那是因为没有认真去学....下面我会讲的很详细,,,,,让亲们感受一下Lua到底难不难...... 因为最近看到朋友遇到各种各样的问题,,我会把遇到的问题统统说一下,
作者：飞鱼240 链接：https://www.jianshu.com/p/ca071e57c887 来源：简书 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
队列清空的实现很简单，只要把队列头和队队列尾检查状态、当前指针的位置置为0即可，实现如下:
例如：由3比特来编号，窗口总数为8，编号0到7 如果把7号也用了，那么当全部发送0-7号的所有帧的时候，发送方看自己设置的超时的记录表，如果显示超时了，那我们重新发0-7号。接收方无法辨别第一次和第二次的帧
当然使用随着海量数据的存储要求，单台Redis配置有限，已经满足不了我们的需求。我们考虑采用分布式集群方案。
这种方式不仅导致链接变得非常长，而且一旦修改文章发布日期或者标题，链接立马失效，造成大量死链，所以：
Redis Cluster 采用虚拟哈希槽分区，所有的键根据哈希函数映射到 0 ~ 16383 整数槽内，每个key通过CRC16校验后对16384取模来决定放置哪个槽(Slot)，每一个节点负责维护一部分槽以及槽所映射的键值数据。在Redis Cluster中，只有Master才拥有槽的所有权，如果是某个Master的slave，这个slave只负责槽的使用，但是没有所有权。计算公式：slot = CRC16(key) % 16383。
Hexo 本身提供了一个框架，通过丰富的拓展插件，能够进一步优化使用体验，你可以在 Hexo 插件 中寻找适合你的拓展。
详细参看http://blog.csdn.net/hgy413/article/details/50612296
当永久链接参数为permalink: posts/:abbrlink/时，生成的文章链接类似于/post/cd6eb56d/,例如https://ifibe.com/post/cd6eb56d/。
CRC的全称是循环冗余校验（Cyclic Redundancy Check），具体的描述可以参考：百度百科：CRC （循环冗余校验），地址为：https://baike.baidu.com/item/CRC/1453359
使用Qt接口对数据进行CRC16校验与基于zlib算法进行解压缩。 CRC16校验 data：输入数据 len：输入数据长度 standard：实现标准 输出：CRC16校验和 quint16 qChecksum(const char *data, uint len, Qt::ChecksumType standard) 压缩数据 data：输入数据 compressionLevel：压缩等级0和9之间，其中9对应于最大压缩 QB
与ODrive进行通讯需要对通讯端点进行一系列操作。理论上，端点上的数据可以是以任何方式序列化的任何类型的数据。数据包采用默认的序列化方式，对于您自定义的数据包，您必须自己去进行反序列化。未来我们可能会提供序列化功能。可以通过从端点0读取JSON来枚举可用的端点，从理论上讲，每个接口都可以不同（实际上并没有这么做）。每个端点都可以被用来发送和接收字节数据，有效字节数据的含义在JSON中进行了定义。 例如，int32端点的输入和输出是4字节的小字节序表示。 通常，组合的读/写请求的约定是交换，即返回的值是旧值。 自定义的端点可能不符合这种要求。 该协议有基于数据包的版本和基于流的变体。 适当地使用每个变体。 例如，USB默认运行基于数据包，而UART运行基于字节流。
hexo文章链接默认的生成规则是：:year/:month/:day/:title是按照年、月、日、标题来生成的
CRC（Cyclic Redundancy Check），即循环冗余校验码，是通信领域中一种常用的数据校验码，通过一定算法，将计算结果附在数据后面一起进行传输，对传输的数据具有检错功能。
CRC(Cyclic Redundancy Check)循环冗余校验是常用的数据校验方法，讲CRC算法的文章很多，之所以还要写这篇，是想换一个方法介绍CRC算法，希望能让大家更容易理解CRC算法。 先说说什么是数据校验。数据在传输过程（比如通过网线在两台计算机间传文件）中，由于传输信道的原因，可能会有误码现象（比如说发送数字5但接收方收到的却是6），如何发现误码呢？方法是发送额外的数据让接收方校验是否正确，这就是数据校验。最容易想到的校验方法是和校验，就是将传送的数据(按字节方式)加起来计算出数据的总和，并将总和传给接收方，接收方收到数据后也计算总和，并与收到的总和比较看是否相同。如果传输中出现误码，那么总和一般不会相同，从而知道有误码产生，可以让发送方再发送一遍数据。 CRC校验也是添加额外数据做为校验码，这就是CRC校验码，那么CRC校验码是如何得到的呢？ 非常简单，CRC校验码就是将数据除以某个固定的数（比如ANSI-CRC16中，这个数是0x18005），所得到的余数就是CRC校验码。 那这里就有一个问题，我们传送的是一串字节数据，而不是一个数据，怎么将一串数字变成一个数据呢？这也很简单，比如说2个字节B1，B2,那么对应的数就是(B1<<8)+B2；如果是3个字节B1，B2，B3，那么对应的数就是((B1<<16)+(B2<<8)+B3),比如数字是0x01,0x02,0x03，那么对应的数字就是0x10203；依次类推。如果字节数很多，那么对应的数就非常非常大，不过幸好CRC只需要得到余数，而不需要得到商。 从上面介绍的原理我们可以大致知道CRC校验的准确率，在CRC8中出现了误码但没发现的概率是1/256，CRC16的概率是1/65536，而CRC32的概率则是1/2^32，那已经是非常小了，所以一般在数据不多的情况下用CRC16校验就可以了，而在整个文件的校验中一般用CRC32校验。 这里还有个问题，如果被除数比除数小，那么余数就是被除数本身，比如说只要传一个字节，那么它的CRC就是它自己，为避免这种情况，在做除法之前先将它移位，使它大于除数，那么移多少位呢？这就与所选的固定除数有关了，左移位数比除数的位数少1，下面是常用标准中的除数： CRC8：多项式是X8+X5+X4+1，对应的数字是0x131，左移8位 CRC12：多项式是X12+X11+X3+X2+1，对应的数字是0x180D，左移12位 CCITT CRC16：多项式是X16+X12+X5+1，对应的数字是0x11021，左移16位 ANSI CRC16：多项式是X16+X15+X2+1，对应的数字是0x18005，左移16位 CRC32：多项式是X32+X26+X23+X22+X16+X12+X11+X10+X8+X7+X5+X4+X2+X1+1，对应数字是0x104C11DB7，左移32 因此，在得到字节串对应的数字后，再将数字左移M位（比如ANSI-CRC16是左移16位），就得到了被除数。 好了，现在被除数和除数都有了，那么就要开始做除法求CRC校验码了。CRC除法的计算过程与我们笔算除法类似，首先是被除数与除数高位对齐后，被除数减去除数，得到了差，除数再与差的最高位对齐，进行减法，然后再对齐再减，直到差比除数小,这个差就是余数。不过和普通减法有差别的是，CRC的加(减)法是不进(借)位的，比如10减01，它的结果是11，而不是借位减法得到的01，因此，实际上CRC的加法和减法所得的结果是一样的，比如10加01的结果是11，10减01的结果也是11，这其实就是异或操作。虽然说了这么多也不一定能说清楚，我们还是看一段CRC除法求余程序吧：
利用阿里云监控平台，监控接口时看到一个非常慢的接口，点了进去，发现了slot标志
不同的余数，代表bitmap 有 65535 bit。所以bitmap的大小可以计算为
1.slave向master发送sync命令。2.master开启子进程执行bgsave写入rdb文件，同时将子进程接收到的写命令缓存起来。3.子进程写完，父进程得知，开始将RDB文件发送给slave。4.master发送完RDB文件，将缓存的命令也发给slave。5.master增量的把写命令发给slave。
本文首发在我的个人博客：http://muyunyun.cn/ 写博客有三个层次，第一层次是借鉴居多的博文，第二层次是借鉴后经过消化后有一定量产出的博文，第三层次是原创好文居多的博文。在参考了大量前辈搭建hexo的心得后，此文尽量把一些别人未提到的点以及比较好用的点给提出来。所以你在参考本文的时候，应该已经过完了hexo。 快速实现博客压缩 项目压缩也叫代码丑化,分别对html、css、js、images进行优化，即把重复的代码合并，把多余的空格去掉，用算法把images进行压缩。压缩后的博客，加
我在《那些年用过的Redis集群架构（含面试解析）》一文里提到过，现在redis集群架构，redis cluster用的会比较多。 如下图所示
在一些高并发+大数据量的场景中，经常会用到redis的cluster集群模式，此篇文章对redis的客户端jedis、jediscluster进行讲解，主要讲明白以下几个问题：
《Redis设计与实现》读书笔记（二十九） ——Redis集群执行命令与重新分片 （原创内容，转载请注明来源，谢谢） 一、集群中执行命令 1、节点对命令的判断 当对集群的16384个槽都完成指派后，集群就上线，可以对集群进行操作。当客户端向节点发送数据库键有关的命令，接收命令的节点，会计算命令属于哪个槽，并检查槽是否指派给自己。 如果槽是该节点负责，则执行命令；如果不是，返回一个moved错误，指引客户端对正确的节点执行命令，客户端根据返回结果，会自动连接上相应的节点，再次执行命令。 2、计算键属于哪个
要使用Hexo必须先安装Git和Node.js。本文是在Ubuntu20环境下进行操作的。使用其它系统也可以将下面的操作作为参考。
byte[] byt = BitConverter.GetBytes(65536);//转为byt,默认就是转成4字节
上篇文章说了IAP升级的要点，本篇文章通过串口YMODEM实现IAP程序升级。
crc算法是用来校验使用，可以自行查看crc算法的一些介绍，目前利用此算法进行hash也不少，本方法提出crc20算法来进行hash计算,crc的生成多项式有下：
这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我像移除节点A,需要将A中得槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态。
我们在使用n台存储设备存储数据的时候，常规做法有将数据根据key%n这样计算放在哪台服务器，但是在扩容的时候就会遇到数据迁移的问题，比如扩容m台服务器，以前是key%n，现在是key%(n+m)，导致数据存储的位置需要变化，数据迁移的成本比较大，这个时候我们就引用了一种叫一致性hash的算法 。 一致性哈希算法在1997年由麻省理工学院提出，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。
文章目录 一、配置机器1 二、配置机器2 三、创建集群 1.数据验证 2.在哪个服务器上写数据：CRC16 3.集群和Python交互 ---- 一、配置机器1 172.16.179.130为当前ubuntu机器的ip 在172.16.179.130上进⼊Desktop⽬录，创建conf⽬录 在conf⽬录下创建⽂件7000.conf，编辑内容如下 port 7000 bind 172.16.179.130 daemonize yes pidfile 7000.pid cluster-enabled yes
分片集群是将多个Redis主从结构联合起来，每个主从结构具有一个主实例和多个从实例。Redis的分片集群可以在数据量不断增大的情况下进行水平扩容，将键值放在指定的实例中，以此来降低系统对单主节点的依赖，从而提高Redis服务的读写性能。分片集群的结构图如下。
Redis主从架构的工作模式为提供多台Redis服务，选择其中的一台作为master节点向外提供读写服务，剩下的作为slave节点从master节点复制数据，只向外提供读服务。
Redis是生产环境中默默无闻的主力配置。它不常用作主要的数据存储，但它可存储和访问临时数据（度量，会话状态，缓存等损失可以容忍的数据）方面有一个甜蜜点，并且速度非常快，不仅提供了最佳性能，还通过一组有用的内置数据结构提供了高效的算法。它是现代技术栈中最常见的主要部件之一。 Stripe的限速器建立在Redis的基础之上，直到最近，他们都运行在Redis 的一个非常Hot的实例上。服务器上有用于故障转移的follower，但在任何时候，只有一个节点处理每个操作。 你不得不佩服这样的系统。各种消息称，Redis可以在一个节点上每秒处理一百万次操作 - 我们项目不需要那么多，但是也有很多操作。每个速率限制检查都需要运行多个Redis命令，并且每个API请求都要通过很多速率的限制器。一个节点每秒处理大约数十到数十万个操作。 我们最终通过迁移到10个节点的Redis群集来实现这个目标。对性能的影响可以忽略不计，我们现在有一个简单的配置开关可以实现水平可伸缩性。 操作的限制 在更换系统之前，应该理解导致原始故障的原因和结果。 Redis的一个值得理解的特性是：它是一个单线程程序。但是会有后台线程处理一些像删除对象这样的操作，实际上所有正在执行的操作都堵塞在访问单个流控制点上。理解这点相对容易--Redis需要保证操作的原子性（无论是单一命令MULTI，还是 EXEC），这是源于它一次只执行其中一个操作的事实。 这个单线程模型确实是我们的瓶颈。 面对失败 即使以最大容量运营，我们发现Redis也会非常优雅地降级。主要表现：从与Redis交谈通信的节点观察到的基线连接性错误率增加 - 为了容忍发生故障的Redis，它们受到连接和读取超时（约0.1秒）的限制，并且与过载主机无法无法建立连接。 Redis这种表现虽然不是最佳的，但大部分时间情况都是好的。只有当合法 用户能够成功进行身份验证并在底层数据库上运行昂贵的操作时，它才会成为一个真正的问题，因为我们的目标是拦截巨大的非法流量冲击（即数量级超过允许的限制）。 这些流量峰值会导致错误率的成比例增加，并且许多流量还应该被允许通过，因为限速器默认是允许在错误情况下通过请求。这会给后端数据库带来更大的压力，这种压力在过载时不会像Redis那样优雅地失败。很容易看到数据库分区几乎完全无法操作。 Redis Cluster的分片模型 Redis的核心设计价值在于速度，而Redis集群的构建方式不会对此产生影响。与许多其他分布式模型不同，在其输出响应成功信号时，Redis集群中的操作并未在多个节点上进行确认，而是更像是一组独立的Redis通过分散空间来分担工作负载。这牺牲了高可用性，有利于保持操作的快速性 - 与标准的Redis独立实例相比，针对Redis群集运行操作的额外开销可以忽略不计。 分片是根据key进行的，可能的key总数分为16,384个插槽。key的插槽是通过稳定的哈希散列函数计算的，所有客户端都知道该如何操作： HASH_SLOT = CRC16(key) mod 16384 例如，如果我们想执行GET foo，我们会得到foo的以下插槽号： HASH_SLOT = CRC16("foo") mod 16384 = 12182 集群中的每个节点将处理16,384个插槽中的一部分，确切数量取决于节点数量。节点彼此通信以协调插槽分配以及可用性和插槽的再平衡。 客户端使用该CLUSTER系列命令来查询群集的状态。一个常见的操作是CLUSTER NODES获得插槽到节点的映射，其结果通常在本地缓存，并保持数据新鲜。 127.0.0.1:30002 master - 0 1426238316232 2 connected 5461-10922 127.0.0.1:30003 master - 0 1426238318243 3 connected 10923-16383 127.0.0.1:30001 myself,master - 0 0 1 connected 0-5460 我简化了上面的输出，但重要的部分是第一列中的主机地址和最后一个中的数字。5461-10922意味着这个节点处理开始于5461和结束于10922的插槽范围。 `MOVED`重定向 如果Redis群集中的某个节点接收到一个插槽不处理的的key的命令，则不会尝试向其他插槽转发该命令。相反，客户端会被告知在其他地方再次尝试。这是以MOVED新目标的地址作为回应的形式 ： GET foo -MOVED 3999 127.0.0.1:6381 在集群重新平衡期间，插槽会从一个节点迁移到另一个节点，MOVED是服务器用于告诉客户端其插槽
Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施（installation）。
无论是向模块发送指令还是接收模块返回的答应数据，均应严格进行数据校验。 极少情况下，模块返回的应答数据会存在错误，通过数据帧的校验码验证可避免读取到错误的数据。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
