K8S容器应用优雅关闭-修复5003 Error

运维部落

发布于 2021-12-31 15:12:45

9180

发布于 2021-12-31 15:12:45

文章被收录于专栏：运维部落

1、遇到的问题
2、问题排查
3. 根因分析
- 3.1、SHELL 模式和 CMD 模式带来的差异
- 3.2、直接启动应用和通过脚本启动区别
4、总结

K8S容器应用优雅关闭-修复5003 Error

“运维就要无所不能，无所不会”

大家好，我是Stanley「史丹利」，今天聊技术：容器优雅关闭方案。

1、遇到的问题

公司某服务接入效能平台后，发布过程中，页面偶尔会出现5003报错，开始以为是Nacos没有及时的将服务反注册，即POD在已经正常关闭的情况下，注册中心依然有POD信息，请求依然到已经关闭的POD中导致

5003报错

5003-error-2

2、问题排查

2.1 首先找开发同学，协助排查了反注册逻辑及相关日志，没有发现什么异常

2.2 后来偶然发现POD中的主进程PID不为1，而PID为1的进程为shell进程，这会导致容器关闭时业务进程无法接受k8s发送的SIGTERM信号，只能在等待15秒后被强行杀死

process-shell

2.3 修改了程序启动参数，通过EXEC启动模式，使应用主进程PID为1

process-exec

2.4 重新发布验证，5003报错问题修复

3. 根因分析

3.1、SHELL 模式和 CMD 模式带来的差异

通常Dockerfile中CMD和ENTRYPOINT来启动应用，启动应用有两种模式，shell 模式和 exec 模式，对应的使用 shell 模式，PID 为 1 的进程为 shell，使用 exec 模式 PID 为 1 的进程为业务本身。

SHELL模式

FROM golang as builder
WORKDIR /go/
COPY app.go    .
RUN go build app.go
FROM ubuntu
WORKDIR /root/
COPY --from=builder /go/app .
CMD ./app

这种方式构建的镜像应用启动后PID为1的进程是shell进程

EXEC模式

FROM golang as builder
WORKDIR /go/
COPY app.go    .
RUN go build app.go
FROM ubuntu
WORKDIR /root/
COPY --from=builder /go/app .
CMD ["./app"]

这种方式构建的镜像应用启动后PID为1的进程是应用进程

3.2、直接启动应用和通过脚本启动区别

在实际生产环境中，因为应用启动命令后会接很多启动参数，所以通常我们会使用一个启动脚本来启动应用，方便我们启动应用。对应的在容器内 PID 为 1 的进程为 shell 进程但 shell 程序不转发 signals，也不响应退出信号。所以在容器应用中如果应用容器中启动 shell，占据了 pid=1 的位置，那么就无法接收 k8s 发送的 SIGTERM 信号，只能等超时后被强行杀死了。启动脚本 start.sh

start.sh

$ cat > start.sh<< EOF
#!/bin/sh
sh -c /root/app
EOF

Dockerfile

FROM golang as builder
WORKDIR /go/
COPY app.go    .
RUN go build app.go
FROM alpine
WORKDIR /root/
COPY --from=builder /go/app .
ADD start.sh /root/
CMD ["/bin/sh","/root/start.sh"]

3.2.1 解决方案

方案一：通过 k8s 的 prestop 参数调用容器内进程关闭脚本，实现优雅关闭。

在前面脚本启动的dockerfile 基础上，定义一个优雅关闭的脚本，通过k8s-prestop 在关闭 POD 前调用优雅关闭脚本，实现 pod 优雅关闭。

stop.sh

#!/bin/sh
ps -ef|grep app|grep -v grep|awk '{print $1}'|xargs kill -15

通过 yaml 部署到 k8s 中

stop.sh

apiVersion: apps/v1
kind: Deployment
metadata:
  name: app-prestop
  labels:
    app: prestop
spec:
  replicas: 1
  selector:
    matchLabels:
      app: prestop
  template:
    metadata:
      labels:
        app: prestop
    spec:
      containers:
      - name: prestop
        image: xx/app:v1.0-prestop
        lifecycle:
          preStop:
            exec:
              command:
              - sh
              - /root/stop.sh

方案二：shell 脚本修改为 exec 执行

修改start.sh脚本

stop.sh

#!/bin/sh
exec ./app

shell 中添加一个 exec 即可让应用进程替代当前 shell 进程,可将 SIGTERM 信号传递到业务层，让业务实现优雅关闭。

方案三：通过第三方 init 进程传递 SIGTERM 到进程中。

使用 dump-init 或 tini 做为容器的主进程，在收到退出信号的时候，会将退出信号转发给进程组所有进程。主要适用应用本身无关闭信号处理的场景。docker –init 本身也是集成的 tini。

stop.sh

FROM golang as builder
WORKDIR /go/
COPY app.go    .
RUN go build app.go
FROM alpine
WORKDIR /root/
COPY --from=builder /go/app .
ADD start.sh tini /root/
RUN chmoad a+x start.sh && apk add --no-cache tini
ENTRYPOINT ["/sbin/tini", "--"]
CMD ["/root/tini", "--", /root/start.sh"]