Docker下的OpenResty三部曲之三：OpenResty加Tomcat的服务

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

本篇概览

本章是《Docker下的OpenResty三部曲》的终篇，前面两章我们实战了OpenResty的lua脚本开发，并且将web服务发布在Docker环境下，本章我们在kubernetes环境下搭建OpenResty加Tomcat的web服务；

前文信息

第一章：《Docker下的OpenResty三部曲之一：极速体验》

第二章：《Docker下的OpenResty三部曲之二：细说开发》

kubernetes下实战Nginx和Tomcat的参考文章

您可以通过以下文章了解更详细的kubernetes实战：

《kubernetes下的Nginx加Tomcat三部曲之一：极速体验》

《kubernetes下的Nginx加Tomcat三部曲之二：细说开发》

《kubernetes下的Nginx加Tomcat三部曲之三：实战扩容和升级》

环境信息

本次实战搭建的环境如下所示：

本次实战的web服务

本次实战的web服务，主要功能为：浏览器发起http请求到OpenResty，OpenResty负责去处理业务，处理过程中向Tomcat发起http请求，将Tomcat响应的信息返回给浏览器；

和常见的Nginx加Tomcat有什么不同？

上图的架构和常见的Nginx加Tomcat很相似，不过还是有区别的：

1. Nginx节点主要工作是将请求转发到Tomcat，由Tomcat去执行具体业务；
2. OpenResty节点上的lua脚本可以执行具体业务，处理的过程中如有必要可以主动发起http请求到Tomcat，调用Tomcat提供的服务；
3. 关于OpenResty加Tomcat架构的更多特性和优点请移步开涛大神的博客：《跟我学Nginx+Lua开发》；

实战源码和Docke镜像材料下载

• 本次构建镜像所需的材料我已准备齐全，您可以在github下载到：

这个git项目中有多个目录，本次所需的资源放在tomcat_openresty_docker_image_files，如下图红框所示：

注意，本章用到的资源目录是tomcat_openresty_docker_image_files，上一章用的是nginx_lua_docker_image_files，里面是不同资源；

• Tomcat上的web工程源码在k8stomcatdemo目录下，是个普通的springboot工程，提供一个http接口可以返回Tomcat所在机器的IP地址，这个web工程已经被制作成镜像文件bolingcavalry/k8stomcatdemo:0.0.1-SNAPSHOT，有关这个工程的更多信息，请参照《kubernetes下的Nginx加Tomcat三部曲之二：细说开发》；

列举步骤

今天的整个实战，我们要做以下事情：

1. 在前一章的基础上重做OpenResty的Docker镜像，新增一些内容；
2. 在kubernetes创建Tomcat的副本集和service；
3. 在kubernetes创建OpenResty的副本集和service；
4. 通过浏览器验证kubernetes环境中的OpenResty加Tomcat提供的服务；

为什么要重做Docker镜像

在上一章我们已经做了OpenResty的镜像并体验过了，为何本章还要重做呢？

1. 在镜像中安装vim，并解决vim显示中文乱码的问题；
2. 新增一个http接口和lua脚本，浏览器访问这个接口时，对应的lua脚本会向Tomcat发请求；
3. 将OpenResty的http模块集成到镜像中；
4. 曲折的解决OpenResty的http模块无法解析域名的问题；

关于kubernetes环境

kubernetes环境的搭建和使用，您可以参照以下的文章：

1. 《rancher下的kubernetes之一：构建标准化vmware镜像》；
2. 《rancher下的kubernetes之二：安装rancher和kubernetes》；
3. 《rancher下的kubernetes之三：在linux上安装kubectl工具》；

前期铺垫说了这么多，接下来我们就开始实战吧；

制作OpenResty镜像

本次的镜像是在《Docker下的OpenResty三部曲之二：细说开发》中的Dockerfile的基础上添加了一些内容做成的，接下来详细说明这些新增的内容，完整的Dockerfile在GitHub资源的tomcat_openresty_docker_image_files文件夹下；

安装vim，并解决vim显示中文乱码的问题

以下是Dockerfile中vim相关的内容：

#创建安装命令
RUN apt-get install -y make vim gcc libreadline-dev libncurses5-dev libpcre3-dev libssl-dev perl 

#修改vim的配置信息，修复中文乱码问题
RUN sed -i '$a\set fileencodings=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936' /etc/vim/vimrc
RUN sed -i '$a\set termencoding=utf-8' /etc/vim/vimrc
RUN sed -i '$a\set encoding=utf-8' /etc/vim/vimrc

如上所示，通过sed命令向/etc/vim/vimrc文件中追加了三行，以保证中文显示；

添加OpenResty的http模块

首先下载http.lua和http_headers.lua这两个文件，放在Dockerfile所在目录，然后在Dockerfile添加以下内容：

#将http库文件复制到默认库
COPY ./http.lua $INSTALL_PATH/lualib/resty
COPY ./http_headers.lua $INSTALL_PATH/lualib/resty

增加一个http接口

为了对外新增一个http接口lua_http，在boling_cavalry.conf文件中增加了以下内容，

location ~ /lua_http/(\d+)/(\d+) {
        #设置nginx变量
        set $a $1;
        set $b $host;
        default_type "text/html";
        #nginx内容处理
        content_by_lua_file /usr/local/work/lua/test_http.lua;
    }

如上所示，当浏览器输入http://192.168.119.150:9000/lua_http/333/666这样URL时，就会由test_http.lua这个脚本来处理，test_http.lua的内容如下所示：

ngx.say("---------------------------------------------------------<br/>");

local http = require("resty.http")
--创建http客户端实例
local httpc = http.new()

local resp, err = httpc:request_uri("http://127.0.0.1:80",{
	method = "GET",
	path = "/tomcat_proxy/getserverinfo",
	headers = {
		["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36"
	}
})

if not resp then
	ngx.say("request error :", err)
	return
end


ngx.say("resp status--", resp.status)

ngx.say("<br/><br/>resp body--", resp.body)

httpc:close()

如上所示，该脚本的处理很简单：发起一个http请求，将收到响应的code和body在页面上显示出来；

你们注意到了吗？请求的地址是127.0.0.1，是OpenResty自己，不是Tomcat！！！

为什么要向自己发http请求呢？不是应该发请求给Tomcat么？我们一起来梳理一下吧：

按照原本的设计，此处的URL应该是http://tomcathost:8080/getserverinfo，tomcathost是Tomcat的Pod在kubernetes暴露的service名称，在kubernetes环境中tomcathost会被解析成Tomcat的Pod地址，请求就到了Tomcat了；

但是，OpenResty的httpc:request_uri这个API无法将tomcathost这个hostname解析成Tomcat的Pod地址，或者说不会用到kubernetes提供的DNS服务，因此请求无法到达Tomcat的Pod；

• 开涛大神的实例也用到了这个API，他在nginx.conf中配置了resolver 8.8.8.8，访问的是外网hostname：s.taobao.com，但我这里是kubernetes环境内的hostname，试过此方法，失败；
• 网上也有遇到此类问题的，写了脚本定时扫描/etc/hosts，将hostname对应的IP保存来下，在OpenResty中发起http请求时直接从这个对应关系中取IP，这个方法在Docker环境使用是OK的，Docker的link用的就是/etc/hosts中的关系，但是在kubernetes下，OpenResty的/etc/hosts中并没有写入Tomcat的IP，所以，失败；

我的笨办法，让OpenResty请求到Tomcat

我用的是笨办法，能将请求发到Tomcat，但是很曲折，理论上存在性能损失，亲爱的读者如果您有更科学的方法，期望能得到您的指点；

笨办法的思路如下：

1. 在nginx.conf中新建一个upstream：

upstream tomcat_client {
         server tomcathost:8080;
    } 

此upstream中的server用到了tomcathost，这是kubernetes中Tomcat的service的名字，能被成功的解析成Tomcat的Pod的IP；

1. 再增加一个http接口tomcat_proxy，boling_cavalry.conf文件中增加了以下内容：

location ~ /tomcat_proxy/(.*) {
        rewrite /tomcat_proxy(/.*) $1 break;
        proxy_pass http://tomcat_client;
        proxy_redirect default;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
    }

如上所示，如此一来，所有url是tomcat_proxy/xxxxxxx的请求都会被转发到Tomcat了；

注意这一行：rewrite /tomcat_proxy(/.) 1 break;，可以这么理解： a. http://127.0.0.1:80/tomcat_proxy/getserverinfo这个请求可以被tomcat_proxy(/.)这个正则表达式匹配； b. 因为/getserverinfo和第一个圆括号中的表达式匹配，所以 1的值就是/getserverinfo； c. 因此请求/tomcat_proxy/getserverinfo被rewrite成了

最后，在制作Dockerfile的时候，记得将新增的test_http.lua复制到镜像中：

COPY ./test_http.lua $WORK_PATH/lua

以上就是制作新的Dockerfile时要新增的内容了，在Dockerfile所在目录执行以下命令构建镜像，注意TAG是0.0.2，区别于上一章镜像的0.0.1：

docker build -t bolingcavalry/ubuntu16-openresty:0.0.2 .

让kubernetes的机器用上web工程的Docker镜像

现在的镜像只存在于开发和构建web工程的电脑上，为了让kubernetes的node机器能用上这个镜像，可以用以下四种方式实现：

1. 用docker push命令将本机镜像推送到hub.docker.com网站，这样其他机器都可以通过docker pull命令取得了，我就是用的这种方法，需要在hub.docker.com上注册；
2. 用docker save命令导出镜像文件，再用docker load命令导入到kubernetes的node机器；
3. kubernetes所在机器安装java和maven环境，将工程在这里编译构建；
4. 使用docker私有仓库，例如搭建局域网私有仓库或者阿里云私有仓库，参考《maven构建docker镜像三部曲之三：推送到远程仓库(内网和阿里云)》；

在kubernetes创建Tomcat的副本集和service

1. 登录到一台可以执行kubectl命令的机器，创建文件tomcat.yaml：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: tomcathost
spec:
  replicas: 3
  template:
    metadata:
     labels:
       name: tomcathost
    spec:
     containers:
     - name: tomcathost
       image: bolingcavalry/k8stomcatdemo:0.0.1-SNAPSHOT
       tty: true
       ports:
       - containerPort: 8080

以上文件用来定义Tomcat的Pod的副本集；

1. 在tomcat.yaml所在目录创建tomcat-svc.yaml文件，内容如下：

apiVersion: v1
kind: Service
metadata:
  name: tomcathost
spec:
  type: ClusterIP
  ports:
       - port: 8080
  selector:
    name: tomcathost

以上文件将Tomcat的Pod副本包装成service，名字是tomcathost，这样kubernetes环境中的其他Pod通过tomcathost这个hostname就能访问到Tomcat的Pod副本了；

1. 在tomcat.yaml文件所在目录下执行以下命令，创建Pod和service：

kubectl create -f tomcat.yaml,tomcat-svc.yaml

以上命令依次创建Pod和service；

1. 执行kubectl get service查看service情况，如下：

root@maven:/usr/local/work/openrest_rewrite# kubectl create -f tomcat.yaml,tomcat-svc.yaml
deployment "tomcathost" created
service "tomcathost" created
root@maven:/usr/local/work/openrest_rewrite# kubectl get service
NAME           TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
kubernetes     ClusterIP   10.43.0.1       <none>        443/TCP          62d
tomcathost     ClusterIP   10.43.192.125   <none>        8080/TCP         1m

至此，Tocmat服务就OK了，接下来我们创建OpenResty服务吧；

在kubernetes创建OpenResty的副本集和service

1. 在tomcat.yaml所在目录下，创建文件openresty.yaml：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: openresty001
spec:
  replicas: 1
  template:
    metadata:
     labels:
      name: openresty001
    spec:
     containers:
     - name: openresty001
       image: bolingcavalry/ubuntu16-openresty:0.0.2
       ports:
       - containerPort: 80

以上文件用来定义OpenResty的Pod的副本集；

1. 在openresty.yaml所在目录创建openresty-svc.yaml文件，内容如下：

apiVersion: v1
kind: Service
metadata:
  name: openresty001
spec:
  type: NodePort
  ports:
       - port: 80
         nodePort: 30007
  selector:
    name: openresty001

以上文件将openresty的Pod副本包装成service，名字是openresty001，并且将80端口和所在节点机器的30007端口建立映射；

1. 在openresty.yaml文件所在目录下执行以下命令，创建Pod和service：

kubectl create -f openresty.yaml,openresty-svc.yaml

以上命令依次创建Pod和service；

1. 执行kubectl get service查看service情况，如下：

root@maven:/usr/local/work/openrest_rewrite# kubectl create -f openresty.yaml,openresty-svc.yaml
deployment "openresty001" created
service "openresty001" created
root@maven:/usr/local/work/openrest_rewrite# kubectl get service
NAME           TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
kubernetes     ClusterIP   10.43.0.1       <none>        443/TCP          62d
openresty001   NodePort    10.43.148.118   <none>        80:30007/TCP     8s
tomcathost     ClusterIP   10.43.192.125   <none>        8080/TCP         43m

终于将所有的服务都创建好了，接下来开始验证吧；

验证服务

OpenResty服务所在的机器IP是192.168.119.153，所以在浏览器输入：http://192.168.119.153:30007/lua_http/333/666，可以看到如下效果：

如上所示，结合test_http.lua的源码来看，“200”是Tomcat的返回code，“10.42.11.12”是Tomcat所在Pod的IP地址，我们去kubernetes的dashboard印证一下，如下图，红框1是查看信息的路径，红框2是Pod的IP地址，果然有10.42.11.12：

至此，《Docker下的OpenResty三部曲》就全部结束了，由于文章大纲没有设计好，导致第三章内容太多，在这里向您道歉了，如果有疑问欢迎您邮件至zq2599@gmail.com，我们一起探讨，也希望本文能对您的kubernetes实战有所帮助