Apache ServiceComb架构演进：支持多数据中心微服务发现

什么是Apache ServiceComb

ServiceComb提供了一套包含代码框架生成，服务注册发现，负载均衡，服务可靠性（容错熔断，限流降级，调用链追踪）等功能的微服务框架。

他包含以下三个组件

注册中心ServiceCenter： 负责服务注册发现

https://github.com/apache/incubator-servicecomb-service-center

java chassis：java语言编程框架

https://github.com/apache/incubator-servicecomb-java-chassis

saga：分布式事务

https://github.com/apache/servicecomb-saga

为何要演进架构

Service Center使用ETCD作为存储，上层封装以微服务管理为核心的API。

但是随着容器、容器平台等技术的兴起，ServiceCenter需要进行架构演进以支持更加复杂的场景，让我们来看看以下场景

假设你开发了一套SaaS系统，你有些机器是裸金属跑在自己的机房，有些机器跑在云上的kubernetes容器平台。

ConsumerB 由go chassis开发，他们会拥有元数据，比如infra、size等。有些微服务跑在容器里，有些跑在裸金属中。

请求通过API gateway（如果由go chassis开发gw，则ConsumerB可以省略） 进入到唯一的入口ConsumerB，ConsumerB根据请求的特征，也就是header来决定路由到哪个微服务中。

对于付费用户的请求，可以转给性能较高的裸金属中运行的微服务。而对于一些试用用户，则转向k8s环境中，只消耗1核的容器里。

以上场景Service Center是无法支持的，因为微服务数据都在kubernetes etcd当中，Service Center只能收到裸金属中运行的微服务注册信息。

为了能够支持异构的基础设施，并且使开发者更容易开发出异地多活的分布式系统，服务中心进行了一次技术演进。

多注册中心Adaptor架构

现在使用ServiceComb开发的微服务已经支持多数据中心服务发现，这个特性主要是依赖于服务管理中心ServiceCenter的多注册中心Adaptor架构设计。

从上图中可以知道，ServiceCenter实现了多种注册中心的Adaptor，如基于客户端注册的etcd和基于平台注册的kubernetes；其中也包括ServiceCenter自身。ServiceCenter会解析配置中声明的Adaptor类型（声明方式下面会详述），找到对应的实现类，并注册到Aggregator中，Aggregator定期（默认30秒）通过这些类的实例的discovery接口拉取已注册的微服务实例信息。这样设计的好处是方便扩展各类注册中心的Adaptor，方式就是实现discovery接口即可。另一个好处就是Adaptor可以根据配置多次被实例化，也就是支持同时接入不同的注册中心，ServiceCenter支持多数据中心服务发现的特性也正是依赖这一点实现的。

多数据中心服务发现

每个数据中心会部署一套ServiceCenter集群，且集群的每个实例配置中会声明该集群的别名和各个数据中心ServiceCenter集群完整的地址列表，下面是一个例子：

Cluster

Datacenter

Address

sc-1-1

dc-1

10.12.0.1

sc-1-2

dc-1

10.12.0.2

sc-3-1

dc-2

10.12.1.1

sc-1-2

dc-2

10.12.1.2

sc-3-1

dc-3

10.12.1.1

sc-1-2

dc-3

10.12.1.2

我们假设在三个数据中心dc-1/2/3中分别部署一套ServiceCenter集群（高可靠）sc-1/2/3，并使得注册到本数据中心的ServiceCenter的微服务可以发现并调用其它数据中心的微服务，当然，前提是数据中心之间的网络是互通的。

以配置一个数据中心的ServiceCenter为例，打开编辑ServiceCenter程序目录下conf/app.conf

# 服务监听地址

httpaddr = 10.12.0.1

# 配置服务发现的插件类型

discovery_plugin = aggregate

# 注册etcd和ServiceCenter两种服务发现机制

aggregate_mode = "etcd,servicecenter"

# 配置服务注册的插件类型

registry_plugin = etcd

# 当前集群名称后端注册中心的访问地址

manager_name = "sc-1"

manager_addr = "$"

manager_cluster = "sc-1=http://10.12.0.1:30100,http://10.12.0.1:30100,sc-2=http://10.12.1.1:30100,http://10.12.1.1:30100,sc-3=http://10.12.2.1:30100,http://10.12.2.1:30100"

# 自动拉取实例周期

auto_sync_interval = 30s

这里解释一下上述配置，aggregate_mode会让Aggregator创建etcd adaptor和servicecenter adaptor实例，etcd adaptor主要是让ServiceCenter支持本数据中心的微服务使用客户端注册方式接入，而servicecenter adaptor主要是拉取其它数据中心的ServiceCenter集群的微服务实例信息；manager_addr指明etcd的访问地址；manager_cluster指明各个数据中心ServiceCenter集群的完整地址列表。

注：其它数据中心部署时，只需要对应更新httpaddr，manager_name，manager_addr配置即可。

确认部署成功

这里官网推荐使用命令行工具scctl的

cluster指令，这样就可以很方便的看到当前接入了哪些数据中心的ServiceCenter集群。

scctl --addr http://10.12.0.1:30100 get cluster

# CLUSTER | ENDPOINTS

# +---------+-------------------------+

# sc-1 | http://10.12.0.1:30100

# | http://10.12.0.2:30100

# sc-2 | http://10.12.1.1:30100

# ...

Example

这里演示了一个很简单的例子，例子引用的微服务均为微服务开发框架go-chassis中的example。

Microservice

Datacenter

Address

Client

dc-1

10.12.0.3

Server

dc-2

10.12.0.3

我们假设微服务Client部署到数据中心dc-1，Server部署到数据中心dc-2中。

01

启动微服务Server

打开编辑配置文件

vi examples/discovery/server/conf/chassis.yaml

修改如下

cse:

service:

registry:

type: servicecenter

address: http://10.12.1.1:30100 # the address of SC in dc-2

运行

go run examples/discovery/server/main.go

02

启动微服务Client

打开编辑配置文件

vi examples/discovery/client/conf/chassis.yaml

修改如下

cse:

service:

registry:

type: servicecenter

address: http://10.12.0.1:30100 # the address of SC in dc-1

运行

go run examples/discovery/client/main.go

03

确认调用成功

由于Client微服务没有暴露外部访问接口，所以这里我们只需要检查它的调用日志即可。

2018-09-29 10:30:25.556 +08:00 INFO registry/bootstrap.go:69 Register [Client] success

...

2018-09-29 10:30:25.566 +08:00 WARN servicecenter/servicecenter.go:324 55c783c5c38e11e8951f0a58ac00011d Get instances from remote, key: default Server

2018-09-29 10:30:25.566 +08:00 INFO client/client_manager.go:86 Create client for highway:Server:127.0.0.1:8082

...

2018/09/29 10:30:25 AddEmploy ------------------------------ employList:

观察日志我们可以知道，部署在不同的数据中心的微服务相互发现和相互调用。

更多高级特性，可参考文档

https://github.com/apache/servicecomb-service-center/blob/master/docs/README.md