首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    WebAPi的可视化输出模式(RabbitMQ、消息补偿相关)——所有webapi似乎都缺失的一个功能

    最近的工作我在做一个有关于消息发送和接受封装工作。大概流程是这样的,消息中间件是采用rabbitmq,为了保证消息的绝对无丢失,我们需要在发送和接受前对消息进行DB落地。在发送前我会先进行DB的插入,单表插入,所以在性能上也是能接受的,单表插入做了压测基本上是一到两毫秒的时间,加上消息的发送(有ACK)再加上集群是两个节点的高可用(一个磁盘持久化节点),单台TPS基本上是在2000-3000左右。这对于我们的业务场景来说是够用了。一旦当消息丢失或者由于网络问题、集群问题业务不会中断,消息就算发不出去也没关系,我们会进行消息的补偿或者同步api调用补偿。这是架构设计的必须要考虑的A计划、B计划、C计划,这是敬畏或者危机意识。

    00

    Linux学习----文件的使者-Rsync(马哥教育原创)

    Rsync是Unix下的一款应用软件,它能同步更新两处计算机的文件与目录,并适当利用差分编码以减少数据传输。rsync中一项与其他大部分类似程序或协议中所未见的重要特性是镜像对每个目标只需要一次发送。rsync可拷贝/显示目录属性,以及拷贝文件,并可选择性的压缩以及递归拷贝。在常驻模式(daemon mode)下,rsync默认监听TCP端口873,以原生rsync传输协议或者通过远程shell如RSH或者SSH伺服文件。SSH情况下,rsync客户端运行程序必须同时在本地和远程机器上安装。Rsync的远程复制行为是对目录进行对比,相同的文件不再复制,只复制不同的文件,不像cp等命令需要先删除原文件再复制新文件,这样效率会高很多。Rsync的特点:1、 可以镜像保存整个目录树或文件系统;2、 较高的数据传输效率;3、 可以借助ssh实现安全数据传输;4、 支持匿名传输;Rsync算法:rsync公用程序利用由澳洲计算机程序师安德鲁·垂鸠(Andrew Tridgell)发明的算法,在当接受端电脑已经有相同结构(例如文件)但不同版本时,有效的将结构传输过通讯连接。接受端将文件拷贝打散成固定大小为S的不重叠片段,并对每个片段计算两个校验和:MD4散列函数与一个较弱的轮替校验和(rolling checksum)。它将这些校验和送给发送者。通讯协议版本30(与rsync版本3.0.0一并分发)现在使用MD5散列函数以替代MD4。发送者对位于其版本的文件中每个大小为S的片段计算轮替校验和,即使是重叠的片段。这可被有效的计算通过特别知识产权的轮替校验和算法:如果比特n到n+S-1的轮替校验和是R,从比特n+1到n+S的轮替校验和可从R,比特n,以及比特n+S计算出而不需要真正去检验中间的比特。因此,如果比特1到25的轮替校验和已被算出,那计算比特2到26的轮替校验和可完全依靠之前的校验和与比特1与比特26算出。rsync使用的轮替校验和是根据马克艾德勒(Mark Adler)的alder-32校验和算法。该算法也被用于zlib,而它本身也基于弗莱彻校验和(Fletcher's checksum)算法。发送者其后以接收者送来的一组轮替校验和比较它自己的轮替校验和以决定是否任何匹配存在。如果是的话,它便通过计算匹配区块的MD4校验和与接受端送来的MD4校验和比较来验证匹配。发送者稍后发送给接收者不与接收者方任何区块匹配的文件的那些部分,以及如何合并这些区块到接收者版本的组装指令。在实际上,这产生了与发送者端文件一模一样的拷贝。然而,在原则上是可能接收者的拷贝在这一点上不同:这可能发生在当两个文件有不同的区块但有着相同的MD4散列函数与轮替校验和;这种事情发生的概率在现实上极端罕见。如果发送者与接收者文件版本有许多区段相同,该公用程序只需发送相对小部分的数据以将文件同步。在rsync算法构成rsync应用程序核心并最优化两台电脑间TCP/IP的传输同时,rsync应用程序也支持其他种显著增进文件传输或备份的重要功能。他们包括在发送端与接收端个别利用zlib进行区块区块间压缩解压缩,以及支持通讯协议如ssh。该协议让加密传输兼具压缩与效率,通过rsync算法产生的差分数据变得可能。除ssh以外,stunnel亦可被利用于创造加密通道以保全被传输的数据。Rsync命令的工作模式:1、 shell模式,也称本地模式;2、 远程shell模式,可以利用ssh协议承载其远程传输过程;3、 列表模式,仅列出源中的内容,-nv;4、 服务模式,此时rsync工作为守护进程,能接受客户端的数据同步请求;Rsync命令的选项: -n:同步测试,不执行真正的同步过程;dry run(干跑) -v:详细输出模式 -q:静默模式 -c:checksum,开启校验功能 -r:递归复制 注意:rsync命令中,如果原路径是目录,且复制路径时目录末尾有/,则会复制目录中的内容,而非目录本身;如果没有/,则会同步目录本身及目录中所有文件;目标路径末尾是否有/无关紧要; -a:归档,保留文件的原有属性; -p:保留文件的权限; -t:保留文件的时间戳; -l:保留符号链接文件; -g:保留数组; -o:保留属主; -D:保留设备文件; -e ssh:使用ssh传输; -z:压缩后传输; --progress:显示进度条; --stats:显示如何执行压缩和传输;添加描述

    04

    Python - 了解bytes、str

    Python3有两种表示字符序列的类型:bytes和str。前者的实例包含原始的8位值,后者的实例包含Unicode字符。     Python2也有两种表示字符序列的类型,分别叫做str和Unicode。与Python3不同的是,str实例包含原始的8位值;而unicode的实例,则包含Unicode字符。     把Unicode字符表示为二进制数据(也就是原始8位值)有许多种办法。最常见的编码方式就是UTF-8。但是,Python3的str实例和Python2的unicode实例都没有和特定的二进制编码形式相关联。要想把Unicode字符转换成二进制数据,就必须使用encode方法。要想把二进制数据转换成Unicode字符,则必须使用decode方法。     编写Python程序的时候,一定要把编码和解码操作放在界面最外围来做。程序的核心部分应该使用Unicode字符类型(也就是Python3中的str、Python2中的unicode),而且不要对字符编码做任何假设。这种办法既可以令程序接受多种类型的文本编码(如Latin-1、Shift JIS和Big5),又可以保证输出的文本信息只采用一种编码形式(最好是UTF-8)。     由于字符类型有别,所以Python代码中经常会出现两种常见的使用情境: 开发者需要原始8位值,这些8位值表示以UTF-8格式(或其他编码形式)来编码的字符。 开发者需要操作没有特定编码形式的Unicode字符。     所以,我们需要编写两个辅助(helper)函数,以便在这两种情况之间转换,使得转换后的输入数据能够符合开发者的预期。

    01
    领券