首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Akka-Cluster(6)- Cluster-Sharding:集群分片,分布式交互程序核心方式

在前面几篇讨论里我们介绍了在集群环境里的一些编程模式、分布式数据结构及具体实现方式。到目前为止,我们已经实现了把程序任务分配给处于很多服务器上的actor,能够最大程度的利用整体系统的硬件资源。这是因为通过akka-cluster能够把很多服务器组合成一个虚拟的整体系统,编程人员不需要知道负责运算的actor具体在那台服务器上运行。当然,我所指的整体系统是一种分布式的系统,实质底层还是各集群节点作为完整个体独立运行的,所以核心理念还是需要将程序分割成能独立运算的任务,然后分派给可能分布在很多服务器上的actor去运算。在上一篇的cluster-load-balance里我们采用了一种fire-and-forget模式把多项独立任务分配给集群节点上的actor,然后任由它们各自完成运算,中途不做任何交互、控制。这也是一种典型的无内部状态的运算模式。对外界来讲就是开始、完成,中间没有关于运算进展或当前状态的交流需要。但在现实里,很多任务是无法完全进行独立细分的,或者再细分会影响系统效率。比如网上购物网站每个客户的购物车:它记录了客户在网上的所有商品拣选过程,每一个拣选动作都代表更新的购物车状态,直到完成结算。那么在一个可能有几十万用户同时在线购物的网站,保留在内存的购物车状态应该是任何机器都无法容纳的,只有回到传统的数据库模式了,还是要面对无法解决的多并发系统效率问题。这么分析,集群分片技术可能是最好的解决方法了。

02

对具有对抗性噪声的可压缩信号进行恢复保证

摘要:我们为已经被噪声破坏的可压缩信号提供恢复保证,并扩展了[1]中引入的框架,以防御神经网络对抗l0范数和ℓ2范数攻击。具体地说,对于在某些变换域中近似稀疏并且已经被噪声扰动的信号,我们提供了在变换域中准确恢复信号的保证。然后,我们可以使用恢复的信号在其原始域中重建信号,同时在很大程度上消除噪声。我们的结果是通用的,因为它们可以直接应用于实际使用的大多数单位变换,并且适用于l0范数有界噪声和l2范数有界噪声。在l0-norm有界噪声的情况下,我们证明了迭代硬阈值(IHT)和基础追踪(BP)的恢复保证。对于ℓ2范数有界噪声,我们为BP提供恢复保证。理论上,这些保证支持[1]中引入的防御框架,用于防御神经网络对抗敌对输入。最后,我们通过IHT和BP对抗One Pixel Attack [21],Carlini-Wagner l0和l2攻击[3],Jacobian Saliency Based攻击[18]和DeepFool攻击[17]对CIFAR进行实验证明这个防御框架-10 [12],MNIST [13]和Fashion-MNIST [27]数据集。这扩展到了实验演示之外。

04

Cell | 使用数据扩散从单细胞数据中恢复基因的相互作用

今天给大家介绍纪念斯隆凯特琳癌症中心的斯隆凯特琳研究所的Dana Pe’er教授等人发表在Cell上的一篇文章 “Recovering Gene Interactions from Single-Cell Data Using Data Diffusion” 。单细胞RNA测序技术受到许多技术噪音的困扰,包括mRNA分子采样不足等,造成的噪声被称为“dropout”,其可能严重模糊重要的基因-基因关系。为了解决这个问题,本文开发了MAGIC (基于马尔可夫亲和力的细胞图插补法) ,这是一种通过数据扩散在相似的细胞之间共享信息以消除细胞计数矩阵的噪声并填补“dropout”的方法。本文在几个生物系统上验证MAGIC,发现它在恢复基因-基因关系和附加结构方面是有效的。

02
领券