腾讯ECN——泛在互联，便捷入云

鹅厂网事

发布于 2022-04-19 16:10:22

5.4K0

发布于 2022-04-19 16:10:22

前言

在移动互联网时代，腾讯网络团队支撑了腾讯即时通信、内容、广告、游戏等各种产品，让C端客户可以便利享受到腾讯提供的优质服务。在产业互联网时代，腾讯网络进一步升级，通过ECN(External Connection Network)网络，接入不同区域、不同行业的B端客户，让这些客户可以把数据中心、办公网、分支机构和腾讯云便捷互联，完成业务的数字化升级。

便捷接入

作为B端客户接入的网络产品，ECN面临各种各样的场景和需求，有些客户对接入的时延有要求，有些客户对接入的带宽有要求，有些客户对接入链路有要求，有些客户对接入的地点有要求...虽然接入的场景有很多，ECN通过2类产品，就可以帮助不同客户实现便捷、灵活的高可靠组网：

云专线：通过有线接入和虚拟化的网关，实现多租户的隔离接入。
云VPN：通过加密通道和虚拟化的网关，实现多租户的隔离接入。

云专线

B端的业务上云后，无论是数据库、分布式缓存还是微服务都会在云上云下动态分布，导致云上云下产生大量系统调用，这些系统调用对时延的要求都极其敏感，往往需要网络提供毫秒甚至是亚毫秒的时延；而大数据、AI等业务会产生大量的数据传输，占用大量的网络带宽。这类大带宽、低时延的业务，是客户使用云资源的一个典型场景，物理专线接入也是面对这个场景而产生。

我们在国内大中城市乃至全球部署了大量接入点，这样可以更帖近客户，方便客户接入，同时我们提供了从千兆到100G，从电到光，从几十米到几十公里的多种接入形态来满足不同客户的接入需求。

针对客户上云，资源的是需要在IDC、云上VPC甚至跨地域VPC部署分布，为了满足客户能够灵活部署业务的需求，专线支持就近接入、云联网跨地域访问的能力，在提高了组网灵活性的同时，腾讯云提供的各类PaSS服务，比如日志、缓存、DB等，客户也可以通过专线直接访问，而不需要单独在云上部署对应的系统，进一步提升业务系统交互的灵活性。

专线支持客户通过多网关、多线路灵活的组网，可以提升端到端的组网可靠性, 单点的设备、线路故障快速收敛，不影响业务的连线性。同时通过双BGP 会话的能力，支持云上设备、软件更新对客户无感知，进一步提升链路稳定性，极致的可靠性混合网络。

云VPN

云专线接入提供了一个用户专用的、高质量的网络连接方案，但建设时间相对较长、成本较高导致无法满足部分客户场景，例如短期或临时使用、门店快速发展等。作为一种更加快捷、低成本、广域接入的云网络接入方式，云VPN应运而生。云VPN包括VPN网关产品和SDWAN产品，实现客户IDC、分支、第三方云、腾讯云间的混合云、多云互联、分支互联、移动办公等接入场景。

VPN网关产品提供租户独占、安全、可靠的企业上云与移动办公服务, 支持适合企业混合云组网方案的IPsec VPN服务和适合移动/远程办公场景下员工通过移动终端安全访问云上业务的SSL VPN服务，在组网、易用性、性能、算法等方面有如下特点：

组网丰富：云端可连接到VPC，也可连接到云联网；对端可连接IDC、总部或分支、第三方云VPC，个人终端可连接至PC、平板和手机；支持VPNHub功能，实现多个分支间按需互通。
简单易用：IPsec VPN支持与10余家业界主流设备厂商以及StrongSwan、AWS等主流的开源和云服务厂商的对端网关对接，并生成对端配置，直接使用；SSL VPN仅需在客户端上安装兼容的OpenVPN组件，导入从云端下载的配置文件即可一键连接，无需任何额外的配置。
性能领先：单网关实例支持Gbps级别网关转发、千级别通道/连接数，租户可通过多个网关进一步平行扩展性能。
算法丰富：认证算法既支持常见的SHA1、MD5、SHA256/384/512等，还支持国密SM3；加解密算法既支持DES、3DES、AES128/192/256（CBC及GCM均支持）、国密SM4等，还支持选择不加密。

随着租户分支数量的不断增多，混合组网的开通、配置、维度等复杂度越来越高，SDWAN产品具有即插即用、多地域覆盖、智能管控等能力，可为租户提供更简单、可靠、智能的一站式上云服务，尤其适合全球分布、大量站点、急速扩展分支的场景。主要包括如下特点：

即插即用：分支CPE设备支持零配置启动，自动与接入点建立VPN隧道，一跳上云，业务极速开通。
丰富接入：CPE WAN侧支持静态配置、DHCP、PPPOE、4G、5G等多种接入方式；LAN侧可支持二层、三层接入，支持通过DHCP为分支内服务器分配IP地址。
稳定可靠：提供 Edge 设备级、链路级、接入点三级容灾，有效避免单点故障，全方位多维度地保障业务稳定性。
智能加速：CPE设备/vCPE软件智能选择接入点，依托腾讯云全球广域覆盖的20+数据中心接入点及云骨干网、云联网资源，满足更加稳定的带宽和低时延通信需求。
智简运维：提供可视化网络拓扑管理界面，可实时监控网络、链路状态，智能更新并轻松实现网络全方位、智能化管理，例如隧道切换等。

融合

对于部分兼顾高可靠性和低成本的场景下，专线和VPN可以混合组网，形成VPN链路对专线物理链路的备份。在正常情况下，通过物理专线提供稳定传输和低时延保障，在极端故障下，切换到VPN链路保证业务的连续性。

创新架构

云的接入层，客户的场景和需求是多变的，这个时候要求网络系统可以灵活、快速迭代。传统的思路，网络的系统一般使用商用设备和网管，但是在腾讯云里面商用系统并不适用。一方面商用系统转发面只支持处理芯片定义好的报文封装和转发，控制面只支持处理定义好的网络协议，在腾讯云中，为了贴近业务，重新定义了一套转发面和控制面协议，并且随业务调整是会变化的，这些是商用系统不支持的；另一方面商用系统商用版本迭代长（半年到一年），一个特性系统内部是相互耦合的（设备和网管），当面临多租户ipv6、大规格表项、多租户组播广播等场景的接入时，无法快速迭代、灵活进行灰度。

传统思路的网络系统，不能够很好贴近腾讯云的需求，所以我们调整了思路，准备通过自研软件系统来实现ECN网络系统。因为ECN是网络系统，所以我们不可能跳出网络的范畴，所以我们还是准备借鉴网络系统本身的能力，首先我们分析了一下商用设备，对它的功能模块进行了抽象：

我们把商用设备主要抽象成三个主要功能模块：转发模块（芯片）、控制模块（处理配置和表项）、路由模块（处理各种的协议生成转发路由）。因为这三个模块是集成在设备的板卡上的，所以会产生一定封闭性。我们把三个功能模块，升级成三个软件系统，每个系统是分布式系统，系统和系统间标准接口交互，这样实现ECN网络系统的迭代是可以基于子系统独立、快速迭代，可以系统层面选择实例进行灰度。

转发系统：无状态NFV，基于转发表项匹配报文的租户、快速封装转发。因为NFV相互间没有状态信息交互，所以可以scale out方式扩展达到T级别的转发能力。同时通过切分多个cluster的方式，形成模块化的转发子系统，多cluster之间可以有版本差异，这样通过系统内异构实现小范围的灰度、以及批次化的灾难性故障。

路由系统：状态类NFV，对接客户的标准网络协议（BGP/BFD/IKE/IPSEC等），同时生成路由/会话信息；因为涉及状态信息交互，所以会有2个以上NFV组合成一个个cluster形成灾备，承载不同客户的协议交互。

控制系统：管理业务在不同路由系统、转发系统的分布、调度和无损迁移，通过各类微服务，实现业务到网络模型转换、转发表项计算、转发表项下发。

最终，整套ECN提供的是一套构建在基础设备上的分布式系统，相互是独立的，可以单独迭代、单独灰度。

极致性能

ECN作为接入层，一面是面向云，大量微服务会部署在容器、大量的计算节点会部署在虚拟机中，网络层会产生百万甚至千万级的转发表项；一面是面向客户，各种的数据交互会有大量的微突发以及T级别的带宽, 大量的客户接入会产生成千上万的实例，这要求ECN网络系统除了提供便捷接入、灵活架构，还要能够有极致的性能。

在转发系统，我们提供了两类NFV，一类是通过DPDK搭建的软转发NFV，这类NFV部署在虚拟机或者x86物理机上，可以实现单核百万级、整机千万级的PPS处理能力，单加密隧道性能随CPU核数平行扩展的能力，同时支持千万级的转发表项，并且通过平行扩展，实现T级别的带宽转发。一类是通过P4芯片搭建的硬转发NFV，这类NFV部署在自研交换机上，可以实现us级的延时转发能力和几十T级别的带宽转发。

在路由系统，我们把NFV部署在x86服务器上，可以实现远超商用设备的处理能力；同时通过容器实现服务的快速拉起和销毁，以及sclout out和处理能力，可以灵活快速扩展、支持千万级的路由处理能力。

在控制系统中，我们把所有功能模块抽象成独立的微服务，分散部署在多AZ，并利用腾讯的tRPC实现服务间的消息通信，并充分利用云上的分布式缓存、数据库、日志等组件，最终支持控制系统实现亿级路由、百万级网关实例管理的能力。

产业深化

随着ECN接入产品的广泛使用，ECN产品不仅仅满足了租户分支等云下网络与云上VPC网络的互联互通需求，ECN产品能力也还在不断演进，逐渐与业务系统实现协同，以更好地服务租户的业务需求，提供更加高效、便捷地的产品服务，例如：

SSL VPN接入与租户认证系统协同实现SSO单点登录：实现企业员工通过企业账号、企业微信账号等单点SSO登录使用SSL VPN服务，员工便捷登录，简化额外证书管理。
SDWAN CPE支持差异化业务流量管理服务：企业分支与云上互通流量可能包括业务记账流量、上网流量等不同优先级流量，高流量突发场景下CPE QoS能力仍能保障高优先级业务流量不受影响，同时支持L4-L7层业务过滤等防火墙能力。