操作场景
腾讯云容器服务 TKE 提供升级 Kubernetes 版本的功能,您可通过此功能对运行中的 Kubernetes 集群进行升级。升级的过程为:升级的前置检查、升级 Master 和升级 Node。
升级须知
升级属于不可逆操作,请谨慎进行。
在升级集群前,确保集群状态均为健康状态。若集群不正常,您可以自行修复,也可以通过 在线咨询 联系我们协助您进行修复。
升级顺序:升级集群时,必须先完成 Master 版本升级,再尽快完成 Node 版本升级,且升级过程中不建议对集群进行任何操作。
仅支持向上升级 TKE 提供的最近 Kubernetes 版本,不支持跨多个版本升级(例如1.8跳过1.10直接升级至1.12),且仅当集群内 Master 版本和 Node 版本一致时才可继续升级下一个版本。
CSI-CFS 插件不兼容问题:关于 CSI 插件 COS CSI 和 CFS CSI,不同 Kubernetes 版本适配的 CSI 插件版本有以下差异,因此建议您:将集群升级到 TKE 1.14及以上版本时,在组件管理页面重新安装 CSI 插件(重建组件不影响已经在使用中的 COS 和 CFS 存储)。
Kubernetes 1.10 和 Kubernetes 1.12 版本适配的 CSI 插件版本是0.3。
Kubernetes 1.14 及以上版本适配的 CSI 插件版本是1.0。
HPA 失效问题:在 Kubernetes 1.18版本之前,HPA 中所引用的 deployment 对象的 apiversion 可能是
extensions/v1beta1
, 而 Kubernetes 1.18版本之后,deployment 的 apiversion 只有 apps/v1
,可能导致集群升级到 Kubernetes 1.18之后,HPA 会失效。
如果您使用了 HPA 功能,建议在升级之前,执行如下命令,将 HPA 对象中的 apiVersion 切换到 apps/v1
。kubectl patch hpa test -p '{"spec":{"scaleTargetRef":{"apiVersion":"apps/v1"}}}'
Helm 应用失效问题:每个应用支持的 Kubernetes 的版本不太相同,包括通过应用市场安装的应用或是通过第三方安装的应用。建议在升级集群前,查看已安装在集群里的应用列表,确认其支持的集群版本范围。有些应用本身对高版本的 Kubernetes 有适配,此时可能需要升级应用的版本。有些应用可能还没有对高版本的 Kubernetes 适配,此时请谨慎升级集群。
Nginx Ingress 版本问题:extensions/v1beta1 和 networking.k8s.io/v1beta1 API 版本的 Ingress 不在 v1.22 版本中继续提供,详情请 查看文档。您集群里面 Nginx Ingress 的版本可能比较低,在升级 Kubernetes 版本到 v1.22 及以上版本时,在组件管理页面升级 Nginx Ingress 组件。
操作步骤
升级 Master Kubernetes 版本
注意:
目前已支持托管集群、独立集群 Master 版本升级,且升级需要花费5 - 10分钟,在此期间您将无法操作您的集群。
Master 大版本与小版本升级说明
目前 Master 升级已支持大版本升级(例如从1.14升级到1.16)、小版本升级(例如从1.14.3升级到1.14.6,或者从v1.18.4-tke.5升级到v1.18.4-tke.6),强烈建议您升级前先查阅对应的功能发布记录:
在升级 Kubernetes 大版本之前,建议您查阅 TKE Kubernetes 大版本更新说明。
在升级 Kubernetes 小版本之前,建议您查阅 TKE Kubernetes Revision 版本历史。
说明:
当大版本升级(例如1.12升级到1.14),若您已设置自定义参数,需要您重新设置新版本的自定义参数。原参数不保留。详情可参见 自定义 kubernetes 组件启动参数。
当小版本升级时,您已设置的自定义参数会被保留,无需重新设置。
集群 Master 升级后,apiVersion 会更新为当前 Kubernetes 版本支持的最新版本。
注意事项
升级前,请详细阅读 升级须知。
1.7.8版本 TKE 集群,网络模式为 bridge,集群升级不会自动切换网络模式为 cni。
集群升级不会切换 kube-dns 为 core-dns。
创建集群时设置的部分特性(例如支持 ipvs),当集群 Master 版本升级到1.10和1.12后将不支持开通。
存量的集群升级后,若 Master 版本在1.10版本以上,Node 节点版本在1.8版本以下,PVC 功能将不可用。
升级 master 完成后,建议您尽快升级节点版本。
Master 升级技术原理
Master 节点升级分为3个步骤:前置组件升级、Master 节点组件升级、后置组件升级。
升级前置操作:将会升级前置依赖的组件,例如监控组件等,以防兼容性问题导致组件异常。
Master 节点组件升级:将按组件顺序对所有 Master 的对应组件进行升级,所有 Master 的某个组件升级完成后再进行下一个组件的升级。
TKE 会先升级 kube-apiserver,后升级 kube-controller-manager 和 kube-scheduler,最后升级 kubelet。具体步骤如下:
重新生成 kube-apiserver 组件静态 Pod 对应的 yaml 文件内容。
检查当前 kube-apiserver pod 是否健康,kubernetes 版本是否正常。
同理,依次升级 kube-controller-manager 和 kube-scheduler。
升级 kubelet,并检查所在 Master 节点是否 ready。
升级后置操作:
按需升级后置依赖组件,如 kube-proxy(并将其滚动更新策略改为 on delete)、cluster-autoscaler 组件等。
执行一些后置依赖组件相关的兼容性操作,防止兼容性问题导致组件异常。
Master 升级操作步骤
1. 登录容器服务控制台,选择左侧导航栏中的 集群。
2. 在集群管理页面,选择需进行 Master Kubernetes 版本升级的集群 ID,进入集群详情页。
3. 在基本信息页面的集群信息模块,单击 Master 版本右侧的升级。如下图所示:
![](https://qcloudimg.tencent-cloud.cn/image/document/803fd9c4ca8ed7f0891ce207b38259f7.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/803fd9c4ca8ed7f0891ce207b38259f7.png)
4. 在弹出窗口中单击提交,等待升级完成。
5. 您可以在集群管理页对应的集群状态处查看升级进度,也可以在升级进度弹窗中查看当前升级进展、Master 节点升级进度(托管集群不显示具体 Matser 节点列表)、升级持续时间。如下图所示:
![](https://qcloudimg.tencent-cloud.cn/image/document/3b6679afb1441c4b6a869d10a7db4ee7.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/3b6679afb1441c4b6a869d10a7db4ee7.png)
6. 该示例集群 Kubernetes 版本升级前 Master 版本为1.10.5,升级完成后为 Master 1.12.4。如下图所示:
![](https://qcloudimg.tencent-cloud.cn/image/document/cb86518f9f8a48fa27243a5509d6af46.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/cb86518f9f8a48fa27243a5509d6af46.png)
升级 Node Kubernetes 版本
集群 Master Kubernetes 版本升级完成后,集群列表页将显示该集群节点有可用升级。如下图所示:
![](https://qcloudimg.tencent-cloud.cn/image/document/6fe1e58ba45ac2f8c8f01b21c15d134c.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/6fe1e58ba45ac2f8c8f01b21c15d134c.png)
注意事项
升级前,请详细阅读 升级须知。
当 Node 节点处于运行中时,可进行升级操作。
选择升级方式
重装滚动升级:采用重装节点的方式升级节点版本。仅支持大版本升级,例如1.10可升级至1.12。
原地滚动升级:原地不重装,仅替换 Kubelet、kube-proxy 等组件。支持大版本、小版本升级,例如1.10可升级至1.12,1.14.3可升级至1.14.8。
重装滚动升级执行原理
基于重装的节点升级采用滚动升级的方式,同一时间只会对一个节点进行升级,只有当前节点升级成功才会进行下个节点的升级。如下图所示:
![](https://qcloudimg.tencent-cloud.cn/image/document/78c6b2ad07a5b0319d4514a314535a3c.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/78c6b2ad07a5b0319d4514a314535a3c.png)
升级前检查:对节点上的 Pod 进行驱逐前的检查。具体的升级前检查项如下:
统计该节点所有工作负载的 Pod 个数,若驱逐节点后,任何工作负载的 Pod 数目变为0 ,则检查不通过,不能进行升级。
以下系统控制面工作负载将被忽略:
l7-lb-controller
cbs-provisioner
hpa-metrics-server
service-controller
cluster-autoscaler
驱逐 Pod:首先将节点标记为不可调度,随后驱逐或者删除节点上所有 Pod。
移出节点:将节点从集群中移除。该步骤只进行基本的清理工作,不会删除节点在集群中的 Node 实例,所以节点的 label、taint 等属性都可保留。
重装节点:重装节点的操作系统,并重新安装新版本 kubelet。
升级后检查:检查节点是否 ready,是否为可调度的,并检查当前不可用 Pod 比例是否超过最大值。
重装滚动升级操作步骤(Node Kubernetes 版本)
1. 登录容器服务控制台,选择左侧导航栏中的 集群。
2. 在集群管理页面,选择需进行 Node Kubernetes 版本升级的集群 ID,进入集群详情页。
3. 在基本信息页面的集群信息模块,单击 Node Kubernetes 版本右侧的升级。如下图所示:
![](https://qcloudimg.tencent-cloud.cn/image/document/34587e863355a2fada93aa7d3e7fd0aa.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/34587e863355a2fada93aa7d3e7fd0aa.png)
4. 在升级须知步骤中,选择升级方式为重装滚动升级,仔细阅读升级须知。勾选我已阅读并同意上述技术条款,并单击下一步。如下图所示:
注意:
该升级方式将重装系统,原有数据将会被清除,请注意提前备份数据。
![](https://qcloudimg.tencent-cloud.cn/image/document/e605e132c837dcf1e38559c2f3517671.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/e605e132c837dcf1e38559c2f3517671.png)
5. 在节点选择步骤中,选择本批次需要升级的节点,并单击下一步。
6. 在升级设置步骤中,按需填写节点信息,并单击下一步。
7. 在确认步骤中,确认信息并单击完成即可开始升级。
8. 查看节点升级进度, 直至所有节点升级完成。
![](https://qcloudimg.tencent-cloud.cn/image/document/8616e8a8a0e321d6ed69f7327da7bc9f.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/8616e8a8a0e321d6ed69f7327da7bc9f.png)
原地滚动升级执行原理
节点原地升级采用滚动升级的方式,同一时间只会对一个节点进行升级,只有当前节点升级成功才会进行下个节点的升级。原地升级目前已同时支持大版本升级以及大版本的不同小版本升级。如下图所示:
![](https://qcloudimg.tencent-cloud.cn/image/document/985c19d8f13f8cd4decdb2bc2e1f42a6.png)
步骤描述如下:
![](https://qcloudimg.tencent-cloud.cn/image/document/985c19d8f13f8cd4decdb2bc2e1f42a6.png)
组件更新:替换和重启节点上的 kubelet 和二进制部署的 kube-proxy 组件。
注:以 DaemonSet 形式部署的 kube-proxy 组件,会在节点升级完成后再更新。
升级后检查:检查节点是否 ready,并检查当前不可用 Pod 比例是否超过最大值。
原地滚动升级操作步骤
1. 登录容器服务控制台,选择左侧导航栏中的 集群。
2. 在集群管理页面,选择需进行 Node Kubernetes 升级的集群 ID,进入集群详情页。
3. 在基本信息页面的集群信息模块,单击 Node Kubernetes 版本右侧的升级。
4. 在升级须知中,选择升级方式为“原地滚动升级”,仔细阅读升级须知。勾选我已阅读并同意上述技术条款,并单击下一步。如下图所示:
![](https://qcloudimg.tencent-cloud.cn/image/document/0c7c27b895ddfe8a294864513109edb7.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/0c7c27b895ddfe8a294864513109edb7.png)
5. 在节点选择步骤中,选择本批次需要升级的节点,单击下一步。
6. 在确认步骤中,确认信息并单击完成即可开始升级。
7. 查看节点升级进度, 直至所有节点升级完成。
![](https://qcloudimg.tencent-cloud.cn/image/document/9e89b60f6f88f7a63ae3d5465704244a.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/9e89b60f6f88f7a63ae3d5465704244a.png)