SuperEdge 高可用云边隧道有哪些特点？

腾讯云原生

发布于 2021-08-05 15:40:17

9140

发布于 2021-08-05 15:40:17

作者李腾飞，腾讯容器技术研发工程师，腾讯云TKE后台研发，SuperEdge核心开发成员。

背景

在边缘集群中，边缘端和云端为单向网络，云端无法主动连接边缘端，常见的解决方案是边缘端主动和云端（tunnel server）建立长连接，云端通过长连接将请求转发到边缘端。在云端隧道 server 实例扩容后需要考虑新增的实例对已有的边缘端长连接转发的影响。出于系统稳定性的考虑，能通过云边隧道采集到边缘端的监控信息。

社区方案ANP[1]

隧道云端 Server 自动扩缩容

ANP 主要用于代理转发 apiserver 的请求，架构图如下图所示:

ANP 的 server 仅支持单实例，如果是多实例会存在问题，下面根据多实例的架构图进行说明：

ANP Agent 需要和所有的 ANP Server 实例建立长连接
ANP Server 扩容之后，支持接入的 ANP Agent 的规模不会增加

节点监控

ANP 项目主要针对 K8s 1.16版本发布的特性 EgressSelector，在这个特性中 apiserver 会首先使用 HTTP CONNECT 方法建立隧道，然后通过隧道把请求边缘端的请求发送到 ANP Server，ANP Server 通过与 ANP Agent 建立的长连接，把请求发送到边缘端。业界常用的监控采集组件 Prometheus 是不支持 EgressSelector 特性的，因此使用 ANP 项目是无法支持节点监控的。

SuperEdge云边隧道(tunnel)方案

SuperEdge 云边隧道 tunnel 在方案设计时使用 DNS 做边缘节点的注册中心，注册中心存储的是 tunnel-edge 的ID 和 tunnel-edge 连接到 tunnel-cloud 的 podIp，在做 apiserver 到边缘端请求转发时可以根据注册中心的ID将请求转发到边缘端连接到的 tunnel cloud 的 pod 上，具体架构图如下所示：

上图中的 apiserver 组件可以是云端其他组件，比如 Prometheus，下面分别从自动扩缩容和节点监控对 tunnel 的使用场景做进一步的说明。

tunnel cloud 的自动扩缩容（HPA）

在多实例的场景下对比 ANP 项目，tunnel 具备以下的优势：

tunnel-edge 只需和一个 tunnel-cloud 实例长连接即可。apiserver 根据 tunnel-dns 的存储的 tunnel-edge 的 ID 和 tunnel-cloud pod 的映射关系确定请求的 tunnel-cloud pod ,然后再把请求转发到 tunnel-edge。
tunnel-cloud 扩容之后，tunnel-cloud 支持接入的 tunnel-edge 的数目会增加。

自定义自动扩缩容策略[2]

tunnel-cloud 除了根据内存和 CPU 的使用情况自动扩缩容之外，还可以根据与 tunnel-cloud 建立长连接的边缘节点的个数实现自动扩缩容，架构图如下：

prometheus 从 tunnel-cloud 的 pod 采集 metrics

{
      "__name__": "tunnel_cloud_nodes",
      "instance": "172.31.0.10:6000",
      "job": "tunnel-cloud-metrics",
      "kubernetes_namespace": "edge-system",
      "kubernetes_pod_name": "tunnel-cloud-64ff7d9c9d-4lljh"
    }

prometheus-adapter 向 apiserver 注册 Custom Metrics API 的扩展 apiserver

{
  "kind": "APIResourceList",
  "apiVersion": "v1",
  "groupVersion": "custom.metrics.k8s.io/v1beta1",
  "resources": [
    {
      "name": "namespaces/nodes_per_pod",
      "singularName": "",
      "namespaced": false,
      "kind": "MetricValueList",
      "verbs": [
        "get"
      ]
    },
    {
      "name": "pods/nodes_per_pod",
      "singularName": "",
      "namespaced": true,
      "kind": "MetricValueList",
      "verbs": [
        "get"
      ]
    }
  ]
}

prometheus-adapter 将 metrics 转化为 pod 度量指标

{
    "describedObject":{
        "kind":"Pod",
        "namespace":"edge-system",
        "name":"tunnel-cloud-64ff7d9c9d-vmkxh",
        "apiVersion":"/v1"
    },
    "metricName":"nodes_per_pod",
    "timestamp":"2021-07-14T10:19:37Z",
    "value":"1",
    "selector":null
}

配置自定义 HPA

apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: tunnel-cloud
  namespace: edge-system
spec:
  minReplicas: 1
  maxReplicas: 10
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: tunnel-cloud
  metrics:
    - type: Pods
      pods:
        metric:
          name: nodes_per_pod
        target:
          averageValue: 300       #平均每个pod连接的边缘节点的个数，超过这个数目就会触发扩容
          type: AverageValue

节点监控方案[3]

节点监控主要采集边缘节点 kubelet 的 metrics 和 node-exporter 采集到的硬件、系统指标。在部署 Prometheus 时配置 pod 的 dns 指向 tunnel-dns，Prometheus 使用节点名访问边缘节点上的 kubelet 和 node-exporter，tunnel-dns 会把节点名解析为边缘节点的 tunnel-edge 连接的 tunnel-cloud 的 podIp，Prometheus 根据 podIp 访问 tunnel-cloud（其中获取 kubelet 的 metrics 访问的是10250端口，请求 node-exporter 访问的9100端口），tunnel-cloud 通过长连接隧道将请求转发到 tunnel-edge，由 tunnel-edge 向 kubelet 和 node-exporter 发起请求，整个流程的框图如下所示：

配置 Prometheus 的 DNS 指向 tunnel-dns

dnsConfig:
  nameservers:
    - <tunnel-dns的clusterip>
  options:
    - name: ndots
      value: "5"
  searches:
    - edge-system.svc.cluster.local
    - svc.cluster.local
    - cluster.local
dnsPolicy: None

配置 Prometheus 使用节点名访问 kubelet 和 node-exporter

- job_name: node-cadvisor
  kubernetes_sd_configs:
    - role: node
  scheme: https
  tls_config:
    insecure_skip_verify: true
  relabel_configs:
    - source_labels: [__meta_kubernetes_node_name]
      regex: (.+)
      target_label: __address__
      replacement: ${1}:10250
    - source_labels: [__meta_kubernetes_node_name]
      regex: (.+)
      target_label: __metrics_path__
      replacement: /metrics/cadvisor
    - source_labels: [__address__]
      target_label: "unInstanceId"
      replacement: "none"
- job_name: node-exporter
  kubernetes_sd_configs:
    - role: node
  scheme: https
  tls_config:
    insecure_skip_verify: true
  relabel_configs:
    - source_labels: [__meta_kubernetes_node_name]
      regex: (.+)
      target_label: __address__
      replacement: ${1}:9100
    - source_labels: [__meta_kubernetes_node_name]
      regex: (.+)
      target_label: __metrics_path__
      replacement: /metrics
    - source_labels: [__address__]
      target_label: "unInstanceId"
      replacement: "none"