开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Akka集群分片--如何测试

Akka集群分片是一种用于构建分布式应用程序的开源框架。它基于Actor模型，提供了高可伸缩性和容错性。Akka集群分片允许将应用程序的状态分布在多个节点上，并自动处理节点故障和负载均衡。

在测试Akka集群分片时，可以采取以下步骤：

单元测试：编写单元测试来验证每个Actor的行为和逻辑。使用Akka TestKit来模拟Actor系统和消息传递，并断言期望的结果。
集成测试：编写集成测试来验证整个集群分片的行为。使用Akka TestKit和Akka Cluster TestKit来模拟多个节点的集群环境，并测试节点之间的消息传递和状态同步。
性能测试：使用工具如JMeter或Gatling来模拟大量并发用户，并测试集群分片在高负载情况下的性能和可伸缩性。
容错测试：模拟节点故障和网络分区等故障情况，验证集群分片的容错机制是否正常工作。可以使用Akka TestKit的工具来模拟故障和恢复。
可靠性测试：测试集群分片在长时间运行和大规模数据处理情况下的稳定性和可靠性。可以模拟长时间运行和大规模数据量的场景，并验证集群分片是否能够正确处理和同步状态。

在测试Akka集群分片时，可以使用腾讯云的云服务器CVM来搭建测试环境。腾讯云还提供了云数据库TencentDB、云原生服务Tencent Kubernetes Engine（TKE）等产品，可以与Akka集群分片结合使用，提供更完整的解决方案。

更多关于Akka集群分片的信息和腾讯云相关产品介绍，请参考以下链接：

Akka官方网站：https://akka.io/
Akka TestKit文档：https://doc.akka.io/docs/akka/current/testing.html
Akka Cluster TestKit文档：https://doc.akka.io/docs/akka/current/typed/cluster-testing.html
腾讯云云服务器CVM：https://cloud.tencent.com/product/cvm
腾讯云云数据库TencentDB：https://cloud.tencent.com/product/cdb
腾讯云云原生服务Tencent Kubernetes Engine（TKE）：https://cloud.tencent.com/product/tke

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

比较.NET 平台下四种流行Actor框架

让我们来看看在.NET生态系统中我们有哪些工具可以使用。在接下来的几节中，我们将介绍流行的框架选择。Orleans, Proto.Actor, Akka.Net, 和Dapr。我们将重点介绍它们的独特功能和方法。

01

Akka 指南之「集群分片」

为了使用集群分片（Cluster Sharding），你必须在项目中添加如下依赖：

06

Akka（13）：分布式运算：Cluster-Sharding-运算的集群分片

通过上篇关于Cluster-Singleton的介绍，我们了解了Akka为分布式程序提供的编程支持：基于消息驱动的运算模式特别适合分布式程序编程，我们不需要特别的努力，只需要按照普通的Acto

08

Akka-Cluster（6）- Cluster-Sharding：集群分片，分布式交互程序核心方式

在前面几篇讨论里我们介绍了在集群环境里的一些编程模式、分布式数据结构及具体实现方式。到目前为止，我们已经实现了把程序任务分配给处于很多服务器上的actor，能够最大程度的利用整体系统的硬件资源。这是因为通过akka-cluster能够把很多服务器组合成一个虚拟的整体系统，编程人员不需要知道负责运算的actor具体在那台服务器上运行。当然，我所指的整体系统是一种分布式的系统，实质底层还是各集群节点作为完整个体独立运行的，所以核心理念还是需要将程序分割成能独立运算的任务，然后分派给可能分布在很多服务器上的actor去运算。在上一篇的cluster-load-balance里我们采用了一种fire-and-forget模式把多项独立任务分配给集群节点上的actor，然后任由它们各自完成运算，中途不做任何交互、控制。这也是一种典型的无内部状态的运算模式。对外界来讲就是开始、完成，中间没有关于运算进展或当前状态的交流需要。但在现实里，很多任务是无法完全进行独立细分的，或者再细分会影响系统效率。比如网上购物网站每个客户的购物车：它记录了客户在网上的所有商品拣选过程，每一个拣选动作都代表更新的购物车状态，直到完成结算。那么在一个可能有几十万用户同时在线购物的网站，保留在内存的购物车状态应该是任何机器都无法容纳的，只有回到传统的数据库模式了，还是要面对无法解决的多并发系统效率问题。这么分析，集群分片技术可能是最好的解决方法了。

02

Akka 指南之「跨多个数据中心集群」

了解使用 Akka 集群时数据中心边界的原因是，与同一数据中心中的节点之间的通信相比，跨数据中心的通信通常具有更高的延迟和更高的故障率。

03

Akka-CQRS（5）- CQRS Writer Actor 部署和测试

上篇我们做了一个WriterActor的例子，主要目的是示范WriterActor如何作为集群分片用persistentActor特性及event-sourcing模式实现CQRS的写功能。既然是集群分片，那么我们就在这篇讲讲WriterActor的部署和测试，因为这个里面还是有些值得注意的地方。下面是一段WriteActor，即集群分片（cluster-sharding）的部署代码：

03

实习培训考核内容--Akka+Netty编写聊天室系统

前言：akka是一种基于Actor 模型，提供了一个在 JVM 上构建高并发、分布式和高容错应用程序的平台。框架资料较少，主要参考资料：akka官网文档：https://doc.akka.io/docs/akka/current/actors.html netty作为 JBOSS 提供的一个 Java 开源框架。Netty 提供异步的、基于事件驱动的网络应用程序框架，用以快速开发高性能、高可靠性的网络 IO 程序,是目前最流行的 NIO 框架。

02

akka-grpc - 应用案例

上期说道：http/2还属于一种不算普及的技术协议，可能目前只适合用于内部系统集成，现在开始大面积介入可能为时尚早。不过有些项目需求不等人，需要使用这项技术，所以研究了一下akka-grpc，写了一篇介绍。本想到此为止，继续其它项目。想想这样做法有点不负责任，像是草草收场。毕竟用akka-grpc做了些事情，想想还是再写这篇跟大家分享使用kka-grpc的过程。

01

Akka-CQRS（3）- 再想多点，全面点

上篇我介绍了CQRS模式存写部分的具体实现和akka-persistence一些函数和消息的用法。在这篇本来是准备直接用一个具体的例子来示范CQRS模式编程，主要是写端，或者是数据采集端。想着模拟收银机的后端操作，可以使用集群分片（cluster-sharding），每个分片shard代表一部POS机控制系统。在写这段程序之前首先把示例功能实现、cluster-sharding, persistence-actor,actor-passivation, backoff-supervisor, ClusterSharding.start和ClusterSharding.startProxy等技术细节搞清楚：

01

Akka-CQRS（0）- 基于akka-cluster的读写分离框架，构建gRPC移动应用后端架构

上一篇我们讨论了akka-cluster的分片（sharding）技术。在提供的例子中感觉到akka这样的分布式系统工具特别适合支持大量的带有内置状态的，相对独立完整的程序在集群节点上分布运算。这里重点要关注这些程序的内部状态，它们会占用系统资源包括内存。把状态保存在内存里相对存放在数据库里能显著提高程序运算效率。在系统出现各种情况下对这些非持久化的程序状态的管理自然就成为了需要考虑的问题，此其一。在一个多用户、高并发的大型分布式系统里往往数据库数据使用会产生大量的冲突影响系统性能。如果能够把数据库的写入和读取分成互不关联的操作就可以避免很多资源占用的冲突。

02

akka-typed(9) - 业务分片、整合，谈谈lagom, 需要吗？

在讨论lagom之前，先从遇到的需求开始介绍：现代企业的it系统变得越来越多元化、复杂化了。线上、线下各种系统必须用某种方式集成在一起。从各种it系统的基本共性分析：最明显的特征应该是后台数据库的角色了，起码，大家都需要使用数据。另外，每个系统都可能具备大量实时在线用户、海量数据特性，代表着对数据处理能力有极大的要求，预示系统只有通过分布式处理方式才能有效运行。

02

akka-typed(7) - cluster：sharding, 集群分片

在使用akka-typed的过程中发现有很多地方都简化了不少，变得更方便了，包括：Supervision，只要用Behaviors.supervise()把Behavior包住，很容易就可以实现这个actor的SupervisorStrategy.restartWithBackoff策略了。然后集群化的group router使用起来也很方便，再就是集群分片cluster-sharding了。下面我们就通过一个例子来介绍cluster-sharding的具体使用方法。

02

Akka-Cluster（0）- 分布式应用开发的一些想法

当我初接触akka-cluster的时候，我有一个梦想，希望能充分利用actor自由分布、独立运行的特性实现某种分布式程序。这种程序的计算任务可以进行人为的分割后再把细分的任务分派给分布在多个服务器上的actor上去运算。这些服务器都处于同一集群环境里，它们都是akka-cluster中的节点（node）。akka-cluster的节点数量只需要通过系统配置方式按照计算能力要求随意增减，在集群上运行的分布式程序可以在不修改软件的情况下自动调整actors在各节点上的分布，重新平衡程序运算负载，不受任何影响继续运行。

03

后起之秀Pulsar VS. 传统强者Kafka？谁更强

最近，我一直在研究 Pulsar 及其与 Kafka 的比较。通过快速搜索，你会看到这两个最著名的开源消息传递系统之间正在进行的"战争"。

01

Akka 指南之「集群的使用方法」

Akka 集群的核心是集群成员（cluster membership），以跟踪哪些节点是集群的一部分以及它们的健康状况。

06

Play For Scala 开发指南 - 第1章 Scala 语言简介

Scala是可伸缩语言(Scalable Language)的缩写，读作skah-lah，于2004年1月20日发布了第一个公开版本。其实早在2001年，Martin Odersky就开始Scala的设计工作，Martin 是瑞士洛桑联邦理工大学（EPFL）计算机与通信科学学院的一名教授， Martin曾和Haskell 语言设计者之一 Philip Wadler合作，设计了一个原型系统GJ，最终演变为 Java 泛型。Martin还曾受雇于 Sun 公司，编写了 javac 的参考编译器，这套系统后来

06

聊聊Akka

当前社会，人们越来越享受互联网带来的种种便利，同时也对互联网产品有了更高的要求，比如更快的响应速度和更稳定的服务；另一方面，互联网产品在不断发展的过程中也面临着非常多的技术挑战，比如服务化、分布式、并行计算等，那么，Akka在其中的哪些领域可以一展身手呢？

03

alpakka-kafka(9)-kafka在分布式运算中的应用

kafka具备的分布式、高吞吐、高可用特性，以及所提供的各种消息消费模式可以保证在一个多节点集群环境里消息被消费的安全性：即防止每条消息遗漏处理或重复消费。特别是exactly-once消费策略：可以保证每条消息肯定只被消费一次。换句话说就是在分布式运算环境里kafka的消息消费是能保证唯一性的。

01

Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境

目标配置一个spark standalone集群 + akka + kafka + scala的开发环境。创建一个基于spark的scala工程，并在spark standalone的集群环境中运行。创建一个基于spark+akka的scala工程，并在spark standalone的集群环境中运行。创建一个基于spark+kafka的scala工程，并在spark standalone的集群环境中运行。集群框架图本图主要是说明各个组件可以发布到不同的逻辑机器上。 image.png 本

06

Akka（10）：分布式运算：集群-Cluster

Akka-Cluster可以在一部物理机或一组网络连接的服务器上搭建部署。用Akka开发同一版本的分布式程序可以在任何硬件环境中运行,这样我们就可以确定以Akka分布式程序作为标准的编程方式了。

09

使用Lagom和Java构建反应式微服务系统

介绍 Lagom是一个帮助您构建反应式微服务的框架。大多数微服务框架着重于帮助您构建脆弱的单实例微服务，根据定义，这些微服务不具可扩展性或不具有弹性。 Lagom帮助您将微服务作为系统（反应系统）进行构建，以确保您的微服务从一开始就具有弹性。构建反应系统可能很困难，但是Lagom则将从复杂性中脱离出来。 Akka和Play在下面做了大量的工作，开发人员可以专注于一个更简单的事件驱动的编程模型，同时受益于一个消息驱动的系统。 Lagom提供了一个有意见的框架，像导轨一样加快你的旅程。 Lagom工

05

Akka 指南之「持久化」

为了使用 Akka 持久化（Persistence）功能，你必须在项目中添加如下依赖：

03

Akka-Cluster（1）- Cluster Singleton 单例节点

关于cluster-singleton我在前面的博文已经介绍过，在这篇我想回顾一下它的作用和使用方法。首先，cluster-singleton就是集群某个节点上的一个actor。任何时间在集群内保证只会有一个这种actor的实例。它可以是在任何节点上，具体位置由akka-cluster系统的leader节点根据一定规则选定。当cluster-singleton所处的节点停止运作时leader会选择另一个节点，然后系统会将cluster-singleton迁移到新的节点上来保证集群中一定有一个活着的cluster-singleton实例，不过值得注意的是迁移的actor会丢失它的内部状态。在编程实践中常常会需要保证一项程序功能只能由唯一的actor来运行的情况，比如我们需要保证某种运算的顺序，这时在集群环境里就可以使用cluster-singleton了。下面是cluster-singleton可能的一些使用场景：

03

分布式任务调度(04)--自研

兼容技术团队自研的RPC框架，技术团队不需要修改代码，RPC注解方法可以托管在任务调度系统中，直接当做一个任务来执行。

04

Spark集群 + Akka + Kafka + Scala 开发(3) : 开发一个Akka + Spark的应用

前言在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中，我们已经部署好了一个Spark的开发环境。在Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用中，我们已经写好了一个Spark的应用。本文的目标是写一个基于akka的scala工程，在一个spark standalone的集群环境中运行。 akka是什么？ akka的作用 akka的名字是action kernel的回文。根据官方定义：akka用于r

数字货币交易所：微服务架构设计

本文介绍一个实际开发并上线的加密货币交易所项目的逻辑架构设计，其中包括撮合服务、做市服务、用户服务、市场数据服务、钱包服务、报表服务等核心组件，并采用了基于AKKA集群的微服务架构。

04

Akka（11）：分布式运算：集群-均衡负载

在上篇讨论里我们主要介绍了Akka-Cluster的基本原理。同时我们也确认了几个使用Akka-Cluster的重点：首先，Akka-Cluster集群构建与Actor编程没有直接的关联。集群构建是

07

geotrellis使用（二十五）将Geotrellis移植到spark2.0

目录前言升级spark到2.0 将geotrellis最新版部署到spark2.0（CDH）总结一、前言事情总是变化这么快，前面刚写了一篇博客介绍如何将geotrellis移植导CDH中（见geotrellis使用（二十四）将Geotrellis移植到CDH中必须要填的若干个坑），刚各种折腾几天，就又跑不起来了，查找一番，发现是由于将geotrellis升级到最新版造成的，所以不得不赶紧再救火。原来是最新版以及以后的版本geotrellis都不再支持spark2.0以下版本，没办法只

04

Akka 指南之「消息传递可靠性」

Akka 帮助你构建可靠的应用程序，这些应用程序可以在一台机器中使用多个处理器核心（scaling up，纵向扩展）或分布在计算机网络中（scaling out，横向扩展）。实现这一点的关键抽象是，代码单元 Actor 之间的所有交互都是通过消息传递进行的，这就是为什么 Actor 之间传递消息的精确语义应该有自己的章节。

01

akka-typed(8) - CQRS读写分离模式

前面介绍了事件源（EventSource）和集群（cluster），现在到了讨论CQRS的时候了。CQRS即读写分离模式，由独立的写方程序和读方程序组成，具体原理在以前的博客里介绍过了。akka-typed应该自然支持CQRS模式，最起码本身提供了对写方编程的支持，这点从EventSourcedBehavior 可以知道。akka-typed提供了新的EventSourcedBehavior-Actor，极大方便了对persistentActor的应用开发，但同时也给编程者造成了一些限制。如手工改变状态会更困难了、EventSourcedBehavior不支持多层式的persist，也就是说通过persist某些特定的event然后在event-handler程序里进行状态处理是不可能的了。我这里有个例子，是个购物车应用：当完成支付后需要取个快照(snapshot)，下面是这个snapshot的代码：

02

Akka 指南之「Akka 简介」

欢迎来到 Akka，它是一组用于设计跨越处理器和网络的可扩展、弹性系统的开源库。Akka 允许你专注于满足业务需求，而不是编写初级代码来提供可靠的行为、容错性和高性能。

03

我的Machine Learning学习之路

从2016年年初，开始用python写一个简单的爬虫，帮我收集一些数据。 6月份，开始学习Machine Learning的相关知识。 9月开始学习Spark和Scala。现在想，整理一下思路。先感谢下我的好友王峰给我的一些建议。他在Spark和Scala上有一些经验，让我前进的速度加快了一些。学习算法作为一个程序猿，以前多次尝试看过一些机器学习方面的书，其过程可以说是步履阑珊，碰到的阻力很大。主要原因是，读这些机器学习的书，需要有一些数学方面的背景。问题就在这些数学背景上，这些背景

06

Akka 指南之「集群单例」

为了使用集群单例（Cluster Singleton），你必须在项目中添加如下依赖：

02

Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用

前言在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境，我们已经部署好了一个Spark的开发环境。本文的目标是写一个Spark应用，并可以在集群中测试。创建一个Scala的工程- SimpleAPP 建一个目录SimpleAPP mkdir SimpleAPP mkdir -p SimpleAPP/src/main/scala 建一个SimpleAPP/src/main/scala/SimpleApp.scala文件这个程序会进行MapReduce计算，

05

Akka 指南之「集群指标扩展」

为了使用集群指标扩展（Cluster Metrics Extension），你需要将以下依赖添加到你的项目中：

02

2018-09-12 构建大型支付系统时学到的分布式体系结构概念构建大型支付系统时学到的分布式体系结构概念

两年前我作为一名拥有后台开发经验的移动端软件工程师入职 Uber，并负责 APP 端支付功能的开发以及重构。后来我进入了工程师管理团队，并独立带领一个团队。由于我的团队负责很多后端支付相关的系统，因此我有更多的机会接触整个支付系统的后端知识。

02

Akka 指南之「集群客户端」

为了使用集群客户端（Cluster Client），你需要将以下依赖添加到你的项目中：

03

Akka（12）：分布式运算：Cluster-Singleton-让运算在集群节点中自动转移

在很多应用场景中都会出现在系统中需要某类Actor的唯一实例（only instance）。这个实例在集群环境中可能在任何一个节点上，但保证它是唯一的。Akka的Cluster-Singleton

07

管理工具kafka Manager

为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。

02

marathon错误记录原

这个问题是这个样子，如果你的zookeeper集群不稳定，而且此前有部署过marathon集群，这下就经常会出现这种问题。marathon如果开启集群模式（--ha=true）,如果zookeeper集群的节点连接出现延迟的问题或者其他问题，进而marathon无法确定其他节点的情况，失去竞选能力，然后自我毁灭。 zookeeper部署的时候要格外注意跟marathon集群的结合，另外如果你不启用marathon的集群模式，你最好关闭marathon的集群模式。

03

geotrellis使用（二十九）迁移geotrellis至1.1.1版

目录前言升级过程总结一、前言由于忙着安装OpenStack等等各种事情，有半年的时间没有再亲密的接触geotrellis，甚至有半年的时间没能畅快的写代码。近来OpenStack折腾的稍见成效，历经九九八十一Failure后成功的在16台服务器上搭建了云平台，于是干了一件疯狂的事情——在OpenStack上创建建立几台虚拟机，并用他们搭建了Hadoop集群，完事将之前的geotrellis代码运行在集群上。一切看似很顺利，但是我是个有强迫症的人，一看geotrellis已经升级到了1

04

Autodesk基于Mesos的通用事件系统架构

【编者按】本文由Autodesk Cloud软件架构师Olivier Paugam撰写，解释了如何集合Mesos、Kafka、RabbitMQ、Akka、Splunk、Librato、EC2等基础设施解决实际问题。此外，以如此小规模的团队解决问题确实令人赞叹。以下为分享原文：数月前分到了一项新的任务：做一个集中事件系统（central eventing system），允许各个后端彼此通讯——包括动态流式（activity streaming）后端、渲染、数据转换、BIM、日志报告、分析等等。最终确定，

05

Akka 指南之「集群感知路由器」

所有「routers」都可以知道集群中的成员节点，即部署新的路由（routees）或在集群中的节点上查找路由。当一个节点无法访问或离开集群时，该节点的路由将自动从路由器中注销。当新节点加入集群时，会根据配置向路由器添加额外的路由。当一个节点在不可访问之后再次可访问时，也会添加路由。

02

Akka 指南之「集群规范」

Akka 集群（Cluster）提供了一种容错的、分散的、基于点对点（peer-to-peer）的集群成员（membership）服务，不存在单点故障或单点瓶颈。它使用Gossip协议和自动故障检测器（failure detector）来实现这一点。

02

SDP（0）：Streaming-Data-Processor - Data Processing with Akka-Stream

再有两天就进入2018了,想想还是要准备一下明年的工作方向。回想当初开始学习函数式编程时的主要目的是想设计一套标准API給那些习惯了OOP方式开发商业应用软件的程序员们，使他们能用一种接近传统数据库软件编程的方式来实现多线程，并行运算，分布式的数据处理应用程序，前提是这种编程方式不需要对函数式编程语言、多线程软件编程以及集群环境下的分布式软件编程方式有很高的经验要求。前面试着发布了一个基于scalaz-stream-fs2的数据处理工具开源项目。该项目基本实现了多线程的数据库数据并行处理，能充分利用域内服务器的多核CPU环境以streaming，non-blocking方式提高数据处理效率。最近刚完成了对整个akka套装（suite）的了解，感觉akka是一套理想的分布式编程工具：一是actor模式提供了多种多线程编程方式，再就是akka-cluster能轻松地实现集群式的分布式编程，而集群环境变化只需要调整配置文件，无需改变代码。akka-stream是一套功能更加完整和强大的streaming工具库，那么如果以akka-stream为基础，设计一套能在集群环境里进行分布式多线程并行数据处理的开源编程工具应该可以是2018的首要任务。同样，用户还是能够按照他们熟悉的数据库应用编程方式轻松实现分布式多线程并行数据处理程序的开发。

01

阅读源码｜Spark 与 Flink 的 RPC 实现

近日常有同学来问我如何阅读代码，关于这个问题的一般性答案我特别提了一个问题并自问自答。出于提供一个实际的例子的考量，正好此前综合地阅读 Spark 的 RPC 实现、Flink 基于 Akka 的 RPC 实现和 Actor Model 的通信模型，写成本文分享我阅读分布式计算系统 Spark 和 Flink 中的 RPC 实现的过程和思考。

02

如何实现一个任务调度系统

写这篇文章，想和大家从头到脚说说任务调度，希望大家读完之后，能够理解实现一个任务调度系统的核心逻辑。

02

实现一个任务调度系统，看这篇就够了

写这篇文章，想和大家从头到脚说说任务调度，希望大家读完之后，能够理解实现一个任务调度系统的核心逻辑。

01

OpenDaylight Lithium-SR2 Cluster集群搭建

目的希望大家能够通过本教程对OpenDaylight集群的基本概念如shard／基本配置有所了解，感受OpenDaylight的High Availability（HA）（如果你同时运行着多台控制器，其中一台crash掉了，整个系统仍然还可以工作）。本文主要由三个部分组成，前提条件与配置步骤主要介绍了如何配置OpenDaylight的集群，第二个部分验证High Availbility，主要是通过实验让大家对High Availability有更直观的认识。第三个部分写在最后，简要的指出使用集群的优势，

06

Akka 指南之「集群中的分布式发布订阅」

为了使用分布式发布订阅（Distributed Publish Subscribe），你需要将以下依赖添加到你的项目中：

02

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭