腾讯云容器微服务API设计实践

原创

金富玉

修改于 2018-04-03 22:08:40

8.1K15

修改于 2018-04-03 22:08:40

文章被收录于专栏：云极客Frey

本文会在腾讯云容器服务上面构造微服务基础小项目，通过搭建ELK集群，实现利用Logstash 采集Nginx日志，收纳及利用kibana展示的功能，同时利用Beego开发Rest API，定义ELK Service 服务，实现ELK Service GET/POST/DELETE/PUT的功能，用户可以通过访问API Gateway实现对API的调用，获取CCS上ELK服务的整体功能状态等信息。ELK 服务的所有信息存在于腾讯云CDB数据库中，当服务发生变化，状态信息会更新数据库，提供实时信息给用户。

基于腾讯云的这个小项目基本涵盖了微服务基础架构需要的内容，比如:

a. 选择了REST,而不是RPC

b. 选择腾讯云CCS做服务化开发

c. API Gateway提供API 鉴权及托管

d. 服务监控可以采用CCS提供的服务监控的功能，也可以搭建ELK实现日志收集，因为Logstatsh可以采集CMQ, CKafka等等的日志都可以方便的实现。

e. CCS提供服务前端的LB，支撑外网访问的负载均衡

f. 关于蓝绿部署，灰度发布，由于CCS容器服务可以非常好的提供Github CI/CD, 可以非常方便的构建不同版本的服务，发布到API Gateway提供外网访问， APIGw可以切换不同的版本环境

如果根据业务需要更加丰富的扩展，那么腾讯云也提供了非常多的考虑，比如TSF分布式微服务架构， DCDB分布式数据库，当然Redis等缓存策略也可以在微服务设计上面进行设计构造。

主要的步骤包括：

构造测试ELK容器集群，在腾讯云上分别构建nginx-basiauth, elasticsearch, logstash, kibana 容器。
在CVM安装测试BeeGO，golong, 调试确认ELKServiceAPI功能正常运行
制作Dockerfile以及ENTRYPOINT,将ELKServiceAPI commit到GitHub，从github构建ELKServiceAPI容器镜像
构建ServiceDiscovery镜像，此容器会监控ELKService状态，并写入ElkserviceAPI的CDB数据库
用户调用API Gateway，访问ELKService的状态信息
附录参考资料，代码相关部分可以访问 https://github.com/littleking1/elkserviceapi

首先，构造测试ELK容器集群

总共需要安装四个容器：

a. ElasticSearch服务：该服务提供日志集中存储和查询

b. Kibana服务：以web的形式提供日志的可视化展现和查询界面

c. Kibana登录鉴权服务：Kibana如果直接放到公网上，因为kibana本身没有鉴权机制，如果被端口扫描工具扫出来，很容易出现他人查看操作日志的行为，为避免该情况，在kibana前面加个nginx服务，利用nginx的basic认证来做鉴权。

d. nginx应用服务：创建该服务的目的是为了验证是否可以将应用日志采集到ElasticSearch里。该服务用nginx的访问日志做日志源，浏览器每访问一次nginx服务，就会生成一条access日志，和该服务在一起的logstash容器会将新产生的日志发到ElasticSearch里。

首先在容器CCS上创建集群，此集群包括两个集群节点，后面用来运行多个服务及容器。由于ElasticSearch需要至少2GB内存，我们选择两个节点都配置为2核4GB。

选择机型及主机配置：

在两台主机上分别跑下面的命令：【1】

sysctl -w vm.max_map_count=262144 -- 增大虚拟内存

echo 3 > /proc/sys/vm/drop_caches -- 内存不够，释放部分内存

接下来创建各个服务，我们选择从DockerHub拉取官方镜像：

创建 elasticseach服务，该服务包含一个ES容器，ES容器配置硬件：

2. 创建kibana服务，该服务包含一个kibana容器，kibana和Elasticsearch 之间以服务的方式连接。

3. 创建nginx应用服务，该服务包括两个容器，一个nginx还有一个是logstash，logstash和nginx容器之间共享数据目录/var/log/nginx,logstash采集nginx的访问日志文件并将新生成的日志发给ElasticSearch。

4. 添加nginx容器：

当容器服务建立完成后，访问nginx 服务80端口, 此时会在nginx上更新产生的日志信息，然后打开kibana，确认更新的日志信息会完全呈现.

BeeGO API开发测试

接下来，在CVM安装测试Beego，测试基本功能. beego提供了使用go语言进行Restapi开发的能力，同时很好的支持MVC模型建立和开发，实现ORMapping。

2.1 Ubuntu 16.04 CVM安装Golong

添加apt-get源并刷新

$ sudo add-apt-repository ppa:gophers/archive

$ sudo apt-get update

安装Go 1.8

$ sudo apt-get install golang-1.8

设置环境变量

等安装完毕后，Go会被安装到/usr/lib/go-1.8目录。我们要执行go命令和建立自己项目的话，需要增加一些环境变量。

代码要放在当前用户下的Go目录下，需要先创建2个目录：

$ mkdir -p ~/go/bin

$ mkdir -p ~/go/src

然后设置当前用户的环境变量：

vi ~/.profile

在结尾增加以下内容：

export GOROOT=/usr/lib/go-1.8

export PATH="$PATH:$GOROOT/bin"

export GOPATH=$HOME/go

export PATH="$PATH:$GOPATH/bin"

保存后，重新刷新环境变量

source ~/.profile

下载需要的go项目，在后面建立ORMapping的时候需要使用：

$ go get -u github.com/astaxie/beego

$ go get -u github.com/beego/bee

$ go get github.com/go-sql-driver/mysql

使用腾讯云CDB ,配置好密码及用户。

登录mysql， mysql -u root -p XXXX, 创建elkservice table

CREATE TABLE `elkservice` (

`Id` int(11) NOT NULL,

`Name` varchar(10),

`Status` varchar(10) ,

`Running` tinyint(1) ,

`FailedCount` int(11),

PRIMARY KEY (`Id`)

)

定义ELKService结构如下：

type Elkservice struct {

Id int

Name string

Status string

Running bool

FailedCount int }

2.2 开发ELKServiceAPI

创建API项目模板 ELKTestAPI

bee api ELKTestAPI

修改项目文件 go/src/ELKTestAPI/models/ELKTestAPI.go, 增加GET/POST/PUT/DELETE 函数（参考Github repository）

3. 测试程序可以成功运行：

bee run -gendoc=true -downdoc=true

构造Dockerfile及镜像

编写Dockerfile，将ELKService做成镜像，上传到腾讯云容器中，可以参考Github上面的Dockerfile进行制作https://github.com/littleking1/elkserviceapi

Dockerfile中使用下面的ENTRYPOINT ，在容器开始启动RestAPI运行：

#!/bin/bash

bee api testuserapi

cd /root/go/src/ELKTestAPI

bee run -gendoc=true -downdoc=true

Github Repository

上传程序源文件到Github，在腾讯云容器CCS中新建镜像仓库 -- elkapitest

建立镜像构建配置：

Dockerfile文件在根目录，所以不需要添加路径，如果不在根目录，需要格外添加修改，例如你的项目名称为test，Dockerfile在目录123/456下面，那么Dockerfile路径应该填写为 123/456/Dockerfile.

配置完成后，点击立即构建镜像，大概需要5~10分钟构建：

镜像构建完成后，在CCS上创建服务。如果定义了触发条件，每次源码发生变化，就可以触发服务更新，使用最新的容器镜像：

查看容器中正在运行的进程，确认项目已经在运行：

查询ELKService的状态，收到回复如下所示：

构造服务发现镜像

目前BeeGo Orm我们采用腾讯云的CDB作为API数据后端，用于存储ELKService的状态信息。ServiceDiscovery会监控ELKService，主要包括三个容器服务，当有任何一个服务的状态为不正常的时候，会发送消息到CMQ, CMQ收到当前ELKService的状态信息，触发SCF将ELKService的状况写入CDB,此时开发人员可以通过 ELKService的GET 方法获取服务的状态信息。同时，在API前端使用腾讯云API Gateway提供安全防护，启用TLS等安全加密措施。

构造ServiceDiscovery
构造SCF实现读取CMQ,并更新CDB
构造API Gateway

首先，下载腾讯云Python API SDK到开发环境， https://github.com/QcloudApi/qcloudapi-sdk-python ，由于目前SDK中不包含CMQ， CMQ-Topic的读写功能，所以我们需要修改底层的module，实现CMQ的API调用功能。

$ git clone https://github.com/QcloudApi/qcloudapi-sdk-python
$ cd qcloudapi-sdk-python

进入module目录, 新建文件cmq.py ,并贴入下面的内容：

from QcloudApi.modules import base

class Cmq(base.Base):

requestHost = 'cmq-queue-sh.api.qcloud.com'

回到QcloudApi目录，打开qcloudapi.py，添加cmq信息：

修改完成保存后，运行命令安装SDK：

python setup.py install

进入tests目录,打开demo.py,并编写ServiceDiscovery程序, 具体参考https://github.com/littleking1/elkserviceapi/tree/master/ServiceDis/tests

接下里构造SCF,实现读取CMQ Topic，并将信息写入到CDB，参考https://github.com/littleking1/elkserviceapi/tree/master/SCF

创建CMQ Topic触发，确定消息可以成功触发SCF，并成功写入CDB.

构造API Gateway

接下来，我们可以在API前端构造API Gateway，来实现对API的托管功能了。

API 网关是用于实现完整 API 托管的服务，用于协助开发者轻松完成 API 的创建、维护、发布、监控等整个生命周期的管理。通过 API 网关，可以封装后端各种服务，以 API 的形式，提供给各方使用。同时，API 网关可以协助完成 API 文档管理、API 测试和 SDK 生成等。

同时，由于API Gateway利用 TGW（Tencent Gateway）的强大能力，依赖其多地域多机分布式集群，提供高性能高可靠的服务，用于承载大规模大流量的 API 访问。同时利用腾讯云 API key 的secretid, secretkey提供非常安全的API鉴权功能，保证API不会被非法使用。