前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
首页
学习
活动
专区
工具
TVP最新优惠活动
返回腾讯云官网
社区首页 >专栏 >KubeSphere 最佳实战：KubeKey 扩容 Kubernetes Worker 节点实战指南

KubeSphere 最佳实战：KubeKey 扩容 Kubernetes Worker 节点实战指南

作者头像
运维有术
发布于 2024-07-16 15:26:01
2310
发布于 2024-07-16 15:26:01
举报
文章被收录于专栏：运维有术

你好，欢迎来到运维有术。

今天分享的内容是 KubeSphere 最佳实战「2024」 系列文档中的 KubeKey 扩容 Kubernetes Worker 节点实战指南。

在今天的技术分享中，我们将探讨一个生产环境中不可或缺的环节--集群扩容。我将带领大家模拟一个真实的生产场景，展示如何运用 KubeSphere 打造的 KubeKey 工具，实现将新的 Worker 节点自动化地融入到现有 Kubernetes 集群的全过程。

尽管本文的操作示例是基于 openEuler 22.03 LTS SP3 操作系统，但是，这套扩容策略和步骤同样适用于通过 KubeKey 部署的，运行在 CentOS、Ubuntu 等主流操作系统之上的 Kubernetes 集群。

实战服务器配置(架构1:1复刻小规模生产环境，配置略有不同)

主机名

IP

CPU

内存

系统盘

数据盘

用途

ksp-registry

192.168.9.90

4

8

40

200

Harbor 镜像仓库

ksp-control-1

192.168.9.91

4

8

40

100

KubeSphere/k8s-control-plane

ksp-control-2

192.168.9.92

4

8

40

100

KubeSphere/k8s-control-plane

ksp-control-3

192.168.9.93

4

8

40

100

KubeSphere/k8s-control-plane

ksp-worker-1

192.168.9.94

4

16

40

100

k8s-worker/CI

ksp-worker-2

192.168.9.95

4

16

40

100

k8s-worker

ksp-worker-3

192.168.9.96

4

16

40

100

k8s-worker

ksp-storage-1

192.168.9.97

4

8

40

400+

Containerd、OpenEBS、ElasticSearch/Longhorn/Ceph/NFS

ksp-storage-2

192.168.9.98

4

8

40

300+

Containerd、OpenEBS、ElasticSearch/Longhorn/Ceph

ksp-storage-3

192.168.9.99

4

8

40

300+

Containerd、OpenEBS、ElasticSearch/Longhorn/Ceph

ksp-gpu-worker-1

192.168.9.101

4

16

40

100

k8s-worker(GPU NVIDIA Tesla M40 24G)

ksp-gpu-worker-2

192.168.9.102

4

16

40

100

k8s-worker(GPU NVIDIA Tesla P100 16G)

ksp-gateway-1

192.168.9.103

2

4

40

自建应用服务代理网关/VIP：192.168.9.100

ksp-gateway-2

192.168.9.104

2

4

40

自建应用服务代理网关/VIP：192.168.9.100

ksp-mid

192.168.9.105

4

8

40

100

部署在 k8s 集群之外的服务节点（Gitlab 等）

合计

15

56

152

600

2100+

实战环境涉及软件版本信息

  • 操作系统：openEuler 22.03 LTS SP3 x86_64
  • KubeSphere：v3.4.1
  • Kubernetes：v1.28.8
  • KubeKey: v3.1.1
  • Containerd：1.7.13
  • NVIDIA GPU Operator：v24.3.0
  • NVIDIA 显卡驱动：550.54.15

1. 前置条件

1.1 准备需要扩容的 Worker 节点

后续实验，我们计划增加 Ceph、Longhorn 等服务作为集群持久化存储。

按规划增加以下 3个 节点，每个节点增加 3 块盘，作为 Containerd、Longhorn、Ceph 等服务的数据盘，ksp-storage-1 节点多加一块，用作 NFS 存储。

节点名称

100G 磁盘 /dev/sdb 规划

100G 磁盘 /dev/sdc 规划

100G 磁盘 /dev/sdd 规划

100G 磁盘 /dev/sde 规划

ksp-storage-1

采用 LVM 类型， 格式化并挂载到 /data，提供给 Containerd、OpenEBS 、ElasticSearch、NFS 使用

采用 LVM 类型， 格式化并挂载到 /longhorn，提供给 Longhorn 使用

裸盘提供给 Ceph 使用

采用 LVM 类型， 格式化并挂载到 /datanfs，提供给 NFS 使用

ksp-storage-2

采用 LVM 类型， 格式化并挂载到 /data，提供给 Containerd、OpenEBS 、ElasticSearch 使用

采用 LVM 类型， 格式化并挂载到 /longhorn，提供给 Longhorn 使用

裸盘提供给 Ceph 使用

ksp-storage-3

采用 LVM 类型， 格式化并挂载到 /data，提供给 Containerd、OpenEBS 、ElasticSearch 使用

采用 LVM 类型， 格式化并挂载到 /longhorn，提供给 Longhorn 使用

裸盘提供给 Ceph 使用

1.2 操作系统初始化配置

请参考 Kubernetes 集群节点 openEuler 22.03 LTS SP3 系统初始化指南，完成操作系统初始化配置。

注意： 磁盘初始化时只需要配置 Containerd 对应的 /dev/sdb 。

初始化配置指南中没有涉及操作系统升级的任务，在能联网的环境初始化系统的时候一定要升级操作系统，然后重启节点。

2. 使用 KubeKey 扩容 Worker 节点

接下来我们使用 KubeKey 将新增加的节点加入到已有的 Kubernetes 集群，参考官方说明文档，整个过程比较简单，仅需两步。

  • 修改 KubeKey 部署集群时使用的配置文件
  • 执行增加节点的命令

2.1 修改集群配置文件

登录 Control-1 节点，切换到部署集群时使用的 KubeKey 程序目录，修改原有的集群配置文件，我们实战中使用的名字为 ksp-v341-v1288.yaml，请根据实际情况修改 。

主要修改点：

  • spec.hosts 部分：增加新的 worker 节点的信息。
  • spec.roleGroups.worker 部分：增加新的 worker 节点的信息

修改后的示例如下：

代码语言：javascript
复制
apiVersion: kubekey.kubesphere.io/v1alpha2
kind: Cluster
metadata:
  name: opsxlab
spec:
  hosts:
  ......(保持不变)
  - {name: ksp-storage-1, address: 192.168.9.97, internalAddress: 192.168.9.97, user: root, password: "OpsXlab@2024"}
  - {name: ksp-storage-2, address: 192.168.9.98, internalAddress: 192.168.9.98, user: root, password: "OpsXlab@2024"}
  - {name: ksp-storage-3, address: 192.168.9.99, internalAddress: 192.168.9.99, user: root, password: "OpsXlab@2024"}
  roleGroups:
    ......(保持不变)
    worker:
    ......(保持不变)
    - ksp-storage-1
    - ksp-storage-2
    - ksp-storage-3
    
# 下面的内容保持不变

2.2 使用 KubeKey 增加节点

在增加节点之前，我们再确认一下当前集群的节点信息。

代码语言：javascript
复制
$ kubectl get nodes -o wide
NAME               STATUS   ROLES           AGE     VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE                    KERNEL-VERSION                        CONTAINER-RUNTIME
ksp-control-1      Ready    control-plane   13d     v1.28.8   192.168.9.91    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-control-2      Ready    control-plane   13d     v1.28.8   192.168.9.92    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-control-3      Ready    control-plane   13d     v1.28.8   192.168.9.93    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-gpu-worker-1   Ready    worker          7d      v1.28.8   192.168.9.101   <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-gpu-worker-2   Ready    worker          7d      v1.28.8   192.168.9.102   <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-worker-1       Ready    worker          13d     v1.28.8   192.168.9.94    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-worker-2       Ready    worker          13d     v1.28.8   192.168.9.95    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-worker-3       Ready    worker          13d     v1.28.8   192.168.9.96    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13

接下来我们执行下面的命令，使用修改后的配置文件将新增的 Worker 节点加入集群。

代码语言：javascript
复制
export KKZONE=cn
./kk add nodes -f ksp-v341-v1288.yaml

上面的命令执行后，KubeKey 先检查部署 Kubernetes 的依赖及其它配置是否符合要求。通过检查后，系统将提示您确认安装。输入 yes 并按 ENTER 继续部署。

扩容完成需要大约 2~5 分钟左右，具体时间看网速、机器配置、增加的节点数量。

扩容完成后，您应该会在终端上看到类似于下面的输出。

代码语言：javascript
复制
......
20:45:09 CST [ChownModule] Chown user $HOME/.kube dir
20:45:10 CST success: [ksp-gpu-worker-2]
20:45:10 CST success: [ksp-storage-2]
20:45:10 CST success: [ksp-storage-3]
20:45:10 CST success: [ksp-gpu-worker-1]
20:45:10 CST success: [ksp-storage-1]
20:45:10 CST success: [ksp-worker-3]
20:45:10 CST success: [ksp-worker-2]
20:45:10 CST success: [ksp-worker-1]
20:45:10 CST success: [ksp-control-2]
20:45:10 CST success: [ksp-control-3]
20:45:10 CST success: [ksp-control-1]
20:45:10 CST [AutoRenewCertsModule] Generate k8s certs renew script
20:45:11 CST success: [ksp-control-2]
20:45:11 CST success: [ksp-control-1]
20:45:11 CST success: [ksp-control-3]
20:45:11 CST [AutoRenewCertsModule] Generate k8s certs renew service
20:45:12 CST success: [ksp-control-3]
20:45:12 CST success: [ksp-control-2]
20:45:12 CST success: [ksp-control-1]
20:45:12 CST [AutoRenewCertsModule] Generate k8s certs renew timer
20:45:13 CST success: [ksp-control-2]
20:45:13 CST success: [ksp-control-1]
20:45:13 CST success: [ksp-control-3]
20:45:13 CST [AutoRenewCertsModule] Enable k8s certs renew service
20:45:14 CST success: [ksp-control-3]
20:45:14 CST success: [ksp-control-2]
20:45:14 CST success: [ksp-control-1]
20:45:14 CST Pipeline[AddNodesPipeline] execute successfully

3. 扩容后集群状态验证

3.1 KubeSphere 管理控制台验证集群状态

我们打开浏览器访问 Control-1 节点的 IP 地址和端口 30880，登录 KubeSphere 管理控制台的登录页面。

进入集群管理界面，单击左侧「节点」菜单，点击「集群节点」查看 Kubernetes 集群可用节点的详细信息。

ksp-clusters-nodes-add-storage-v341-v128

3.2 Kubectl 命令行验证集群状态

  • 查看集群节点信息

在 Control-1 节点运行 kubectl 命令获取 Kubernetes 集群的节点信息。

代码语言：javascript
复制
kubectl get nodes -o wide

在输出结果中可以看到，Kubernetes 集群节点已经变成 11个，并详细展示每个节点的名字、状态、角色、存活时间、Kubernetes 版本号、内部 IP、操作系统类型、内核版本和容器运行时等信息。

代码语言：javascript
复制
$ kubectl get nodes -o wide
NAME               STATUS   ROLES           AGE   VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE                    KERNEL-VERSION                        CONTAINER-RUNTIME
ksp-control-1      Ready    control-plane   13d   v1.28.8   192.168.9.91    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-control-2      Ready    control-plane   13d   v1.28.8   192.168.9.92    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-control-3      Ready    control-plane   13d   v1.28.8   192.168.9.93    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-gpu-worker-1   Ready    worker          7d    v1.28.8   192.168.9.101   <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-gpu-worker-2   Ready    worker          7d    v1.28.8   192.168.9.102   <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-storage-1      Ready    worker          21m   v1.28.8   192.168.9.97    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-storage-2      Ready    worker          21m   v1.28.8   192.168.9.98    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-storage-3      Ready    worker          21m   v1.28.8   192.168.9.99    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-worker-1       Ready    worker          13d   v1.28.8   192.168.9.94    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-worker-2       Ready    worker          13d   v1.28.8   192.168.9.95    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
ksp-worker-3       Ready    worker          13d   v1.28.8   192.168.9.96    <none>        openEuler 22.03 (LTS-SP3)   5.10.0-218.0.0.121.oe2203sp3.x86_64   containerd://1.7.13
  • 查看 Pod 列表

输入以下命令获取在 Kubernetes 集群上运行的 Pod 列表，按工作负载在 NODE 上的分布排序。

代码语言：javascript
复制
kubectl get pods -o wide -A | sort -k 8

以 ksp-storage-1 为例，输出结果中可以看到， 新增的 Worker 节点上运行了 5 个必须的基本组件。

代码语言：javascript
复制
$ kubectl get pods -o wide -A | sort -k 8
NAMESPACE                      NAME                                   READY   STATUS    RESTARTS        AGE     IP              NODE          NOMINATED NODE   READINESS GATES
kube-system                    calico-node-9d8zp                      1/1     Running     0             18m     192.168.9.97    ksp-storage-1      <none>           <none>
kube-system                    haproxy-ksp-storage-1                  1/1     Running     0             38m     192.168.9.97    ksp-storage-1      <none>           <none>
kube-system                    kube-proxy-xfkqd                       1/1     Running     0             38m     192.168.9.97    ksp-storage-1      <none>           <none>
kube-system                    nodelocaldns-znxsn                     1/1     Running     0             38m     192.168.9.97    ksp-storage-1      <none>           <none>
kubesphere-monitoring-system   node-exporter-7cdhg                    2/2     Running     0             16m     192.168.9.97    ksp-storage-1      <none>           <none>
  • 查看 Image 列表

输入以下命令查看在 Worker 节点上已经下载的 Image 列表。

代码语言：javascript
复制
crictl images ls

在新增的 Worker 节点执行，输出结果如下：

代码语言：javascript
复制
$ crictl images ls
IMAGE                                                                         TAG                 IMAGE ID            SIZE
registry.cn-beijing.aliyuncs.com/kubesphereio/haproxy                         2.9.6-alpine        52687313354fc       12.3MB
registry.cn-beijing.aliyuncs.com/kubesphereio/kube-rbac-proxy                 v0.11.0             29589495df8d9       19.2MB
registry.cn-beijing.aliyuncs.com/kubesphereio/pause                           3.9                 e6f1816883972       321kB
registry.cn-beijing.aliyuncs.com/kubesphereio/calico/cni                      v3.27.3             6527a35581401       88.4MB
registry.cn-beijing.aliyuncs.com/kubesphereio/calico/node                     v3.27.3             5c6ffd2b2a1d0       116MB
registry.cn-beijing.aliyuncs.com/kubesphereio/kubesphere/k8s-dns-node-cache   1.22.20             ff71cd4ea5ae5       30.5MB
registry.cn-beijing.aliyuncs.com/kubesphereio/kubesphere/kube-proxy           v1.28.8             5ce97277076c6       28.1MB
registry.cn-beijing.aliyuncs.com/kubesphereio/prom/node-exporter              v1.3.1              1dbe0e9319764       10.3MB

注意： Worker 节点的 Image 初始数量为 8 个。

至此，我们完成了利用 Kubekey 在现有Kubernetes 集群中增加 Worker 节点的全部任务。

4. 运维自动化

文章中所有操作步骤，已全部编排为自动化脚本，包含以下内容（因篇幅限制，不在此文档中展示）：

  • Ansible 自动初始化 K8S 集群节点

运维有术星球会员请到专属代码仓库下载（价值内容，仅星球会员专享）。

以上，就是我今天分享的全部内容。下一期分享的内容还没想好，敬请期待开盲盒。

如果你喜欢本文，请分享、收藏、点赞、评论！ 请持续关注 @运维有术，及时收看更多好文！

欢迎加入 「知识星球｜运维有术」 ，获取更多的 KubeSphere、Kubernetes、云原生运维、自动化运维、AI 大模型等实战技能。未来运维生涯始终有我坐在你的副驾。

免责声明：

  • 笔者水平有限，尽管经过多次验证和检查，尽力确保内容的准确性，但仍可能存在疏漏之处。敬请业界专家大佬不吝指教。
  • 本文所述内容仅通过实战环境验证测试，读者可学习、借鉴，但严禁直接用于生产环境。由此引发的任何问题，作者概不负责！

Get 本文实战视频（请注意，文档视频异步发行，请先关注）

本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。
原始发表：2024-07-16，如有侵权请联系 cloudcommunity@tencent.com 删除
集群
配置
kubernetes
worker
操作系统

本文分享自 运维有术 微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ，欢迎热爱写作的你一起参与！

集群
配置
kubernetes
worker
操作系统
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
LV.
文章
0
获赞
0
目录
  • 1. 前置条件
    • 1.1 准备需要扩容的 Worker 节点
      • 1.2 操作系统初始化配置
      • 2. 使用 KubeKey 扩容 Worker 节点
        • 2.1 修改集群配置文件
          • 2.2 使用 KubeKey 增加节点
          • 3. 扩容后集群状态验证
            • 3.1 KubeSphere 管理控制台验证集群状态
              • 3.2 Kubectl 命令行验证集群状态
              • 4. 运维自动化
              相关产品与服务
              容器服务
              腾讯云容器服务（Tencent Kubernetes Engine, TKE）基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务，覆盖 Serverless、边缘计算、分布式云等多种业务部署场景，业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者，主导开源项目Crane，全面助力客户实现资源优化、成本控制。
              产品介绍产品文档
              精选特惠 用云无忧
              领券

              腾讯云开发者

              扫码关注腾讯云开发者

              扫码关注腾讯云开发者

              领取腾讯云代金券

              热门产品

              热门推荐

              更多推荐

              Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

              深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

              腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

              Copyright © 2013 - 2024 Tencent Cloud.

              All Rights Reserved. 腾讯云 版权所有

              登录 后参与评论